এল 2 নিয়মিতকরণ গাউসিয়ান পূর্বের সমতুল্য

56

আমি এটি পড়তে থাকি এবং স্বজ্ঞাতভাবে আমি এটি দেখতে পারি তবে এল 2 নিয়মিতকরণ থেকে কেউ কীভাবে বলতে পারেন যে এটি বিশ্লেষণাত্মকভাবে গাউসিয়ান প্রাইমার? একইভাবে এল 1 বলার আগে ল্যাপলেশনের সমান।

পরবর্তী কোনও রেফারেন্স দুর্দান্ত হবে।

regression references regularization

— নামবিহীন
সূত্র

54

আমাদের কল্পনা আপনি কিছু প্যারামিটার অনুমান করা চান $\beta$ কিছু পর্যবেক্ষিত ইনপুট-আউটপুট জোড়া থেকে $(x_1,y_1)\dots,(x_N,y_N)$ । আসুন ধরে নেওয়া যাক আউটপুটগুলি ইনপুটগুলির সাথে লাইনিকভাবে সম্পর্কিত মাধ্যমে $\beta$ এবং কিছু শব্দে ডেটাটি দূষিত হয় $\epsilon$ :

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

যেখানে গড় সঙ্গে গসিয়ান গোলমাল এবং ভ্যারিয়েন্স । এটি গাউসিয়ান সম্ভাবনার জন্ম দেয়: $\epsilon$ $0$ $\sigma^2$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

আমাদের পরামিতি নিয়মিত যাক মনোরম গসিয়ান পূর্বে দ্বারা যেখানে একটি কঠোরভাবে ইতিবাচক স্কালে হয়। অতএব, সম্ভাবনা এবং আমাদের সহজভাবে থাকা পূর্বের সমন্বয়: $\beta$ $\mathcal{N}(\beta|0,\lambda^{-1}),$ $\lambda$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

আসুন উপরের অভিব্যক্তিটির লগারিদমটি গ্রহণ করি। আমরা পাই এমন কিছু ধ্রুবক বাদ দিচ্ছি:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

আমরা যদি সম্মানের সঙ্গে উপরে অভিব্যক্তি বাড়ানোর লক্ষ্যে , তখন আমরা তথাকথিত সর্বোচ্চ একটি আরোহী অনুমান পেতে , বা সংক্ষেপে মানচিত্র আনুমানিক হিসাব। এই অভিব্যক্তিতে এটি স্পষ্ট হয়ে যায় যে কেন গাউসীয় পূর্বে এল 2 নিয়মিতকরণ শব্দ হিসাবে ব্যাখ্যা করা যায়। $\beta$ $\beta$

একইভাবে L1 আদর্শ এবং ল্যাপ্লেসের আগের সম্পর্ক একই ফ্যাশনে বোঝা যায়। কোনও গাউসিয়ান পূর্বে পরিবর্তে নিন, একটি ল্যাপ্লেস পূর্ব আপনার সম্ভাবনার সাথে এটি একত্রিত করুন এবং লগারিদম নিন।

উভয় ইস্যুর বিবরণ দেওয়ার একটি ভাল রেফারেন্স (সম্ভবত কিছুটা উন্নত) হ'ল কাগজটি "তদারকি শিক্ষার জন্য অভিযোজিত স্পারনেস" যা বর্তমানে অনলাইনে খুঁজে পাওয়া সহজ বলে মনে হয় না। বিকল্পভাবে "জেফরি প্রাইমার ব্যবহার করে অ্যাডাপটিভ স্পারনেস" দেখুন । আরেকটি ভাল রেফারেন্স হ'ল "ল্যাপ্লেস প্রিয়ার্স সহ বায়েশিয়ান শ্রেণিবিন্যাস" ।

— ngiann
সূত্র

1

একটি D dimensionরৈখিক রিগ্রেশনের মামলা, করতে betaএবং sigmaস্পষ্ট সমাধান আছে? আমি পিআরএমএল পড়ছি, এবং পৃষ্ঠা 30 এ সমীকরণ (1.67) খুঁজে পাচ্ছি এবং কীভাবে এটি সমাধান করবেন সে সম্পর্কে কোনও ধারণা নেই। সর্বাধিক সম্ভাবনায়, আমরা সমাধান করি betaএবং তারপরে sigmaগ্রেডিয়েন্টটি শূন্যে সেট করে। নিয়মিতভাবে সর্বনিম্ন স্কোয়ারে, যেহেতু প্রয়োজনীয়করণের পরম কিছু lambdaজানা যায়, আমরা betaসরাসরি সমাধান করি । কিন্তু যদি আমরা সরাসরি মানচিত্র সমাধান, কি সমাধানে ক্রম এর beta, sigma? তাদের স্পষ্ট সমাধান থাকতে পারে বা আমাদের অবশ্যই পুনরাবৃত্তি প্রক্রিয়াটি ব্যবহার করতে পারি?

— stackunderflow

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

@ অ্যাডামো এটি সহগের গ্রহণযোগ্য মানগুলি সীমাবদ্ধ করে। উদাহরণস্বরূপ যদি পূর্বেরটি 1-10 এর মধ্যে হয় তবে তার সাথে অন্য কোনও মান যেমন, [-inf থেকে 1] এবং [10, + ইনফ] নেওয়া সহগের 0 সম্ভাবনা রয়েছে।

— imsrgadich

1

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

11

$L_{2}$

নোট করুন যে বায়েসীয় উত্তরোত্তর একটি সম্ভাবনার বন্টন হিসাবে আরও মৌলিক পার্থক্য রয়েছে, যখন তিখোনভ নিয়মিতভাবে ন্যূনতম স্কোয়ার সমাধান একটি নির্দিষ্ট পয়েন্ট অনুমান।

বিপরীত সমস্যার জন্য বায়েশিয়ান পদ্ধতিগুলির অনেক পাঠ্যপুস্তকে এটি আলোচনা করা হয়েছে, উদাহরণস্বরূপ দেখুন:

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

$L_{1}$

— ব্রায়ান বোর্চার্স
সূত্র

9

প্রথম লক্ষ্য করুন যে মিডিয়ান এল 1 আদর্শকে ন্যূনতম করে ( এল 1 এবং এল 2 সম্পর্কে আরও শিখার জন্য এখানে বা এখানে দেখুন)

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

যখন মানে এল 2 হ্রাস করে

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

$\mu$ $\mu$

হারলি, ডব্লিউজে (২০০৯) ডাবল এক্সপেনসিয়াল ডিস্ট্রিবিউশনের জন্য এমএলই গণনা করার জন্য একটি সূচক পদ্ধতি । আধুনিক প্রয়োগিত পরিসংখ্যান পদ্ধতির জার্নাল: 8 (2), অনুচ্ছেদ 25।

— টিম
সূত্র

সম্ভবত এটি এখানে দেওয়া সবচেয়ে গাণিতিকভাবে কঠোর উত্তর নয়, তবে এটি নিশ্চিতভাবে L1 / L2 নিয়মিতকরণের প্রাথমিকের জন্য সবচেয়ে সহজ, সবচেয়ে স্বজ্ঞাত one

— এসকিউএল সার্ভারস্টেভ

8

$k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

পেনাল্টির সাথে নিয়মিত রেজিস্ট্রেশনে do $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

আমরা সমানভাবে করতে পারি (সাইন পরিবর্তনগুলি নোট করুন)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

এটি সরাসরি বায়েশিয়ান নীতির সাথে সম্পর্কিত

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

বা সমতুল্য (নিয়মিততার শর্তে)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

কোন সূক্ষ্ম পরিবার বিতরণ কোন জরিমানার প্রকারের সাথে মিলে যায় তা এখন দেখা কঠিন নয়।

— জর্জি এম গোয়ার্গ
সূত্র

3

সমতা আরও স্পষ্টভাবে বলা:

এল 2 নিয়মিতকরণের সাথে স্কোয়ার ত্রুটি ক্ষতির ফাংশন হ্রাস করার জন্য মডেল ওজনগুলির অনুকূলকরণ বেইস নিয়মের সাহায্যে মূল্যায়ন উত্তরোত্তর বিতরণের অধীনে সম্ভবত এমন ওজনগুলি সন্ধানের সমতুল্য, পূর্বে শূন্য-স্বতন্ত্র গাউসিয়ান ওজন সহ

প্রমাণ:

উপরে বর্ণিত হিসাবে ক্ষতি ফাংশন দ্বারা দেওয়া হবে

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

নোট করুন যে মাল্টিভারিয়েট গাউসির বিতরণটি হ'ল

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

বেয়েস রুল ব্যবহার করে আমাদের তা আছে

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

যেখানে আমরা বহু-মাত্রিক গুসিয়ানকে একটি প্রোডাক্টে বিভক্ত করতে সক্ষম হয়েছি, কারণ সমবায়ু পরিচয় ম্যাট্রিক্সের একাধিক।

নেতিবাচক লগ সম্ভাবনা নিন

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

আমরা অবশ্যই ধ্রুবকটি ড্রপ করতে পারি এবং ক্ষতির ক্রিয়াকলাপটিকে মৌলিকভাবে প্রভাবিত না করে কোনও পরিমাণে গুণতে পারি। (ধ্রুবক কিছুই করে না, গুণগুলি কার্যকরভাবে শিক্ষার হারকে মাপায়। মিনিমার অবস্থানকে প্রভাবিত করবে না) সুতরাং আমরা দেখতে পাচ্ছি যে উত্তরোত্তর বিতরণের নেতিবাচক লগ সম্ভাবনাটি L2 নিয়মিত স্কোয়ার ত্রুটি ক্ষতি ফাংশনের সমতূল্য ক্ষতির কাজ।

এই ইক্যুইভ্যালেন্সটি সাধারণ এবং ওজনগুলির যে কোনও প্যারামিটারাইজড ফাংশনের জন্য ধারণ করে - উপরে বর্ণিত বলে মনে হয় কেবল লিনিয়ার রিগ্রেশন নয়।

— nickelnine37
সূত্র

1

বায়সিয়ান মডেলিংয়ের দুটি বৈশিষ্ট্য রয়েছে যেগুলিকে জোর দেওয়া দরকার, যখন নির্দিষ্ট শাস্তিযুক্ত সর্বাধিক সম্ভাবনার প্রাক্কলন এবং বায়সিয়ান পদ্ধতিগুলির সমতা নিয়ে আলোচনা করা হয়।

বায়েশিয়ান কাঠামোয়, পূর্ববর্তীটি সমস্যার নির্দিষ্টতার উপর ভিত্তি করে নির্বাচিত হয় এবং এটি গণনীয় সাফল্যের দ্বারা অনুপ্রাণিত হয় না। অতএব, বেয়েশিয়ানরা বিরল পূর্বাভাসকারী সমস্যার আগে এখন জনপ্রিয় ঘোড়াওয়ালা সহ বিভিন্ন প্রাইভর ব্যবহার করে এবং এল 1 বা এল 2 জরিমানার সমতুল্য প্রিয়ারদের উপর এত বেশি নির্ভর করার দরকার নেই।
সম্পূর্ণ বায়েশিয়ান পদ্ধতির সাহায্যে আপনার কাজ শেষ হয়ে গেলে সমস্ত অনুমানমূলক পদ্ধতিতে আপনার অ্যাক্সেস থাকতে পারে। উদাহরণস্বরূপ আপনি বৃহত্তর রিগ্রেশন সহগের জন্য প্রমাণকে মাপ দিতে পারেন এবং আপনি রিগ্রেশন সহগ এবং সামগ্রিক পূর্বাভাসিত মানগুলির উপর বিশ্বাসযোগ্য অন্তর পেতে পারেন। ঘনঘনবাদী কাঠামোর মধ্যে, একবার আপনি শাস্তি বেছে নিলে আপনি সমস্ত অনুমানমূলক মেশিন হারাবেন।

— ফ্র্যাঙ্ক হ্যারেল
সূত্র