23

আমি নিয়মিতকরণের উপরের সাহিত্যের দিকে নজর রেখেছিলাম এবং প্রায়শই গৌসিয়ানগুলির সাথে এল 2 নিয়মিতকরণের সাথে এল 2 এবং ল্যাপ্লেসের সাথে শূন্যকে কেন্দ্র করে এল 1-র সংযোগকারী অনুচ্ছেদগুলি দেখি।

আমি জানি যে এই প্রিরিয়ারগুলি দেখতে কেমন, তবে আমি বুঝতে পারি না, এটি কীভাবে অনুবাদ করে, উদাহরণস্বরূপ, রৈখিক মডেলের ওজন। এল 1-তে, আমি যদি সঠিকভাবে বুঝতে পারি তবে আমরা বিরল সমাধান আশা করি, অর্থাত কিছু ওজন হ'ল শূন্যের দিকে ঠেলে দেওয়া হবে। এবং এল 2-তে আমরা ছোট ওজন পাই তবে শূন্য ওজন পাই না।

তবে কেন এমন হয়?

আমার আরও তথ্য সরবরাহ করতে বা আমার চিন্তাভাবনার পথটি স্পষ্ট করার প্রয়োজন হলে মন্তব্য করুন।

— দিমিত্রি স্মারনভ
সূত্র

সম্পর্কিত: লাসোর পেনাল্টি কেন ডাবল এক্সপেনশিয়ালের (ল্যাপ্লেস) সমতুল্য?

— অ্যামিবা বলছেন পুনর্নির্মাণ মনিকা

1

একটি খুব সাধারণ স্বজ্ঞাত ব্যাখ্যা হ'ল এল 2 আদর্শ ব্যবহার করার সময় জরিমানা হ্রাস পায় তবে এল 1 আদর্শ ব্যবহার করার সময় নয়। সুতরাং যদি আপনি ক্ষতির ফাংশনের মডেল অংশটি সমান রাখতে পারেন এবং আপনি দুটি ভেরিয়েবলের মধ্যে একটি হ্রাস করে এটি করতে পারেন তবে L2 ক্ষেত্রে উচ্চতর পরম মানের সাথে পরিবর্তনশীল হ্রাস করা ভাল তবে L1 ক্ষেত্রে নয়।

— পরীক্ষার্থী

21

মিডিয়ানের (বা L1 আদর্শ) পূর্বে ল্যাপ্লেস বিতরণের সম্পর্কটি ল্যাপ্লেস নিজেই খুঁজে পেয়েছিলেন, যিনি দেখেছিলেন যে এইরকম প্রাক ব্যবহার করার আগে আপনি সাধারণ বন্টনের মতো গড়ের চেয়ে মিডিয়ানের অনুমান করেন (স্টিংলার, 1986 বা উইকিপিডিয়া দেখুন )। এর অর্থ হ'ল ল্যাপলেস ত্রুটি বিতরণের সাথে রিগ্রেশনটি মধ্যমকে অনুমান করে (যেমন কোয়ান্টাইল রিগ্রেশন যেমন), যখন সাধারণ ত্রুটিগুলি ওএলএসের প্রাক্কলনকে বোঝায়।

আপনার সম্পর্কে যে শক্তিশালী প্রিয়ারদের জিজ্ঞাসা করা হয়েছিল, তাদের বিবরণ তিবশিরানী (১৯৯ were) দিয়েছিলেন যারা লক্ষ্য করেছিলেন যে বায়সিয়ান সেটিংয়ে শক্তিশালী লাসো রিগ্রেশন ল্যাপ্লেস ব্যবহারের আগে সমান। সহগের জন্য এই জাতীয় পূর্ববর্তী শূন্যের চারদিকে কেন্দ্রিক হয় (কেন্দ্রিক ভেরিয়েবলগুলি সহ) এবং এর বিস্তৃত লেজ থাকে - সুতরাং বেশিরভাগ রিগ্রেশন সহগগুলি এটি ব্যবহার করে অনুমান করা হয় যে একেবারে শূন্য হয়। আপনি যদি নীচের ছবিটি ঘনিষ্ঠভাবে লক্ষ্য করেন তবে এটি স্পষ্ট হয়, ল্যাপ্লেস বিতরণ শূন্যের কাছাকাছি থাকে (একটি বৃহত্তর বিতরণ ভর থাকে), যখন সাধারণ বিতরণ শূন্যের কাছাকাছি আরও বিচ্ছুরিত হয়, তাই শূন্য-অমূল্যগুলির সম্ভাবনা বেশি থাকে। শক্তিশালী প্রিয়ারদের অন্যান্য সম্ভাবনা হ'ল কচী বা - বিতরণ। $t$

এ জাতীয় প্রিয়ার ব্যবহার করে আপনি অনেকগুলি শূন্য-মানের গুণাগুণ, কিছু মাঝারি আকারের এবং কিছু বৃহত আকারের (দীর্ঘ লেজ) সহ শেষ হওয়ার প্রবণতা বজায় রাখেন, তবে সাধারণ পূর্বের সাথে আপনি আরও মাঝারি আকারের সহগগুলি পাবেন যা সঠিক শূন্য নয়, তবে এছাড়াও শূন্য থেকে দূরে নয়।

(চিত্র উত্স তিবশিরানী, 1996)

স্টিলার, এসএম (1986)। পরিসংখ্যানের ইতিহাস: 1900 এর আগে অনিশ্চয়তার পরিমাপ Cam কেমব্রিজ, এমএ: হার্ভার্ড বিশ্ববিদ্যালয় প্রেসের বেলকনাপ প্রেস।

তিবশিরানী, আর। (1996)। পাদদেশ সংকোচন এবং lasso মাধ্যমে নির্বাচন। রয়্যাল স্ট্যাটিস্টিকাল সোসাইটির জার্নাল। সিরিজ বি (মেথডোলজিকাল), 267-288।

গেলম্যান, এ।, জাকুলিন, এ।, পিট্টো, জিএম, এবং সু, ওয়াই- এস। (2008)। লজিস্টিক এবং অন্যান্য রিগ্রেশন মডেলগুলির জন্য দুর্বল তথ্যযুক্ত ডিফল্ট পূর্ব বিতরণ। ফলিত পরিসংখ্যানগুলির অ্যানালস, 2 (4), 1360-1383।

নর্টন, আরএম (1984) দ্বৈত তাত্পর্যপূর্ণ বিতরণ: সর্বাধিক সম্ভাবনার অনুমানের জন্য ক্যালকুলাস ব্যবহার। আমেরিকান পরিসংখ্যানবিদ, 38 (2): 135-136।

— টিম
সূত্র

বাহ, এটি খুব ভাল ব্যাখ্যা, এবং সংযুক্ত প্রশ্নের জন্য বিশেষ ধন্যবাদ যেখানে নিয়মিতকরণের মানগুলি স্বতঃস্ফূর্তভাবে মোড, মেডিয়ান এবং এর সাথে সংযুক্ত রয়েছে, এটি আমার পক্ষে সত্যই অনেক স্পষ্ট করে!

— দিমিত্রি স্মিমনভ

1

@ টিম, কচী ডিস্ট্রিবিউশনে ভারী লেজ রয়েছে তবুও জিরোর সম্ভাবনা সাধারণ বিতরণের চেয়ে কম। সুতরাং এটি কীভাবে বিরল সমাধান প্ররোচিত?

— রই

5

ঘনঘনবাদী দর্শন 👀

এক অর্থে, আমরা উভয় নিয়মিতকরণকে "ওজন সঙ্কুচিত" হিসাবে ভাবতে পারি ; এল 2 ওজনগুলির ইউক্লিডিয়ান আদর্শকে হ্রাস করে, যখন এল 1 ম্যানহাটনের আদর্শকে হ্রাস করে। এই চিন্তাভাবনার লাইন অনুসরণ করে, আমরা যুক্তি করতে পারি যে এল 1 এবং এল 2 এর সরঞ্জামগুলি যথাক্রমে গোলাকার এবং হীরা আকারের, সুতরাং বিশপের প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিংয়ে চিত্রিত হিসাবে, এল 1 স্পারস দ্রবণগুলির দিকে পরিচালিত হওয়ার সম্ভাবনা বেশি :

বায়েশিয়ান ভিউ 👀

তবে, প্রবীণরা কীভাবে লিনিয়ার মডেলের সাথে সম্পর্কিত তা বোঝার জন্য আমাদের সাধারণ রৈখিক প্রতিরোধের বায়েশিয়ান ব্যাখ্যাটি বুঝতে হবে । ক্যাথরিন বেইলির ব্লগপোস্ট এটির জন্য দুর্দান্ত পড়া। সংক্ষেপে, আমরা আমাদের রৈখিক মডেলটিতে সাধারণত বিতরণকৃত আইড ত্রুটিগুলি ধরে নিই

Y = θ^{⊤} এক্স + + ε

$\mathbf{y} = \mathbf{\theta}^\top\mathbf{X} + \mathbf\epsilon$

$N$ $y_i, i = 1, 2, \ldots, N$ $\epsilon_k\sim \mathcal{N}(0,\sigma)$

$\mathbf{y}$

পি (Y | এক্স, θ; ε) = এন (θ^{⊤} এক্স, σ)

$\begin{equation} p(\mathbf{y}|\mathbf{X}, \mathbf{\theta}; \mathbf{\epsilon}) = \mathcal{N}(\mathbf{\theta}^\top\mathbf{X}, \mathbf{\sigma}) \end{equation}$

যেমনটি দেখা যাচ্ছে ... সর্বাধিক সম্ভাবনা অনুমানকারী ত্রুটির জন্য স্বাভাবিকতা অনুমানের অধীনে পূর্বাভাস এবং আসল আউটপুট মানগুলির মধ্যে স্কোয়ার ত্রুটি হ্রাস করার অনুরূপ।

\begin{aligned} {\hat{θ}}_{MLE} & = ARG \underset{θ}{সর্বোচ্চ} লগ পি (Y | θ) \\ = \underset{θ}{ARG সর্বনিম্ন} Σ_{আমি = 1}^{এন} (Y_{আমি} - θ^{⊤} {এক্স}_{আমি})^{2} \end{aligned}

$\begin{align*} {\bf \hat{\theta}_{\text{MLE}}} &= \arg\max_{\bf \theta} \log P(y | \theta) \\ &=\underset{\theta}{\arg\min} \sum_{i=1}^n(y_i - \theta^\top{\mathbf{x}_i})^2 \end{align*}$

প্রাইয়ারদের ওজনে রেখে নিয়মিতকরণ

যদি আমরা লিনিয়ার রিগ্রেশন ওজনের আগে কোনও অ-ইউনিফর্ম রাখি, তবে সেক্ষেত্রে সর্বাধিক পোস্টেরিয়েরি সম্ভাবনা (এমএপি) অনুমান করা যায়:

{\hat{θ}}_{মানচিত্র} = ARG \underset{θ}{সর্বোচ্চ} লগ পি (Y | θ) + + লগ পি (θ)

$\begin{equation*} {\bf \hat{\theta}_{\text{MAP}}} = \arg\max_{\bf \theta} \log P(y | \theta) + \log P(\theta) \end{equation*}$

হিসাবে উদ্ভূত ব্রায়ান কেং এর ব্লগপোস্টটিকে , যদি একটি Laplace বন্টন এটা সমতুল্য হল L1 নিয়মিতকরণ অন করার জন্য । $P(\theta)$ $\theta$

একইভাবে, যদি গাউসীয় বিতরণ হয় তবে এটি এল 2 নিয়মিতকরণের সমান । $P(\theta)$ $\theta$

এখন কেন আমাদের ওজনের আগে ল্যাপ্লেস রাখার ফলে ঝাঁকুনির প্রবণতা আরও বেড়ে যায় সে সম্পর্কে আমাদের আরেকটি মতামত রয়েছে : যেহেতু ল্যাপ্লেস বিতরণ শূন্যের চারপাশে আরও বেশি কেন্দ্রীভূত , তাই আমাদের ওজন শূন্য হওয়ার সম্ভাবনা বেশি।

— ক্রিস্টাবেলা ইরওয়ন্তো
সূত্র

ল্যাপ্লেস কেন বিরল সমাধান উত্পাদন আগে?

ঘনঘনবাদী দর্শন 👀

বায়েশিয়ান ভিউ 👀

প্রাইয়ারদের ওজনে রেখে নিয়মিতকরণ