লাসোর পেনাল্টি কেন আগে ডাবল এক্সপেনশিয়ালের (ল্যাপ্লেস) সমতুল্য?

Question

আমি রেফারেন্স একটি সংখ্যা পড়া আছে যে রিগ্রেশন প্যারামিটার ভেক্টর জন্য Lasso অনুমান এর অবর মোড সমতূল্য যাতে প্রতিটি জন্য পূর্বের বন্টন একটি ডবল সূচকীয় বণ্টনের (এছাড়াও Laplace বন্টন নামেও পরিচিত) হয়।$B$$B$$B_i$

আমি এটি প্রমাণ করার চেষ্টা করে যাচ্ছি, কেউ কি বিশদটি প্রকাশ করতে পারেন?

Comments

@ ব্যবহারকারী 7777 আমি আজ কিছুক্ষণ সেই বইটি দিয়ে থাম্ব করছি was প্রাসঙ্গিক কিছু খুঁজে পাইনি।

— শীতকালীন

সম্পর্কিত: stats.stackexchange.com/questions/177210/…

— টিম

Answer 1

সরলতার জন্য এলইটি শুধু একটি পরিবর্তনশীল একটি একক পর্যবেক্ষণ বিবেচনা করছে যেমন যে $Y$

$$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$$

$\mu \sim \mbox{Laplace}(\lambda)$ এবং অপ্রকৃত পূর্বে ।$f(\sigma) \propto \mathbb{1}_{\sigma>0}$

তারপর যুগ্ম ঘনত্ব সমানুপাতিক হয় $Y, \mu, \sigma^2$

$$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$$

লগ নেওয়া এবং বাতিল করার শর্তাদি যা , জড়িত নয়$\mu$

$$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$$

সুতরাং সর্বোচ্চ (1) মানচিত্রের প্রাক্কলন হিসাবে বিবেচিত হবে এবং আমরা \ টিলডে de ল্যাম্বদা = \ ল্যাম্বদা \ সিগমা ^ 2 পুনঃনির্মাণের পরে লাসোর সমস্যা $\tilde \lambda = \lambda \sigma^2$।

রিগ্রেশন এক্সটেনশানটিকে স্পষ্ট - প্রতিস্থাপন সঙ্গে সাধারন সম্ভাবনা, এবং পূর্বে সেট স্বাধীন laplace একটা ক্রম হতে ডিস্ট্রিবিউশন।$\mu$$X\beta$$\beta$$(\lambda)$

Answer 2

লাসো অপ্টিমাইজ করছে পরিমাণ পরিদর্শন করে এটি সুস্পষ্ট।

পূর্বে মতের জন্য গড় শূন্য এবং কিছু স্কেল দিয়ে স্বাধীন Laplace হতে ।$\beta_i$$\tau$

সুতরাং ।$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

ডেটার মডেলটি হ'ল স্বাভাবিক প্রতিরোধ অনুমান ।$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

এখন মাইনাস দ্বিগুণ লগ পোস্টের হয়

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

যাক au এবং আমরা -পোস্টারিয়ের পেতে পারি$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

জন্য এমএপি অনুমানকারী উপরেরটি হ্রাস করে, যা হ্রাস করে$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

সুতরাং জন্য ম্যাপের প্রাক্কলনকারী হ'ল লাসো।$\beta$

(এখানে আমি কার্যকরভাবে স্থির হিসাবে কে চিকিত্সা করেছি তবে আপনি এটি দিয়ে অন্যান্য কাজ করতে পারেন এবং এখনও লাসো বেরিয়ে আসতে পারেন))$\sigma^2$

সম্পাদনা: লাইন বন্ধ উত্তর রচনা করার জন্য এটিই আমি পেয়েছি; আমি দেখতে পাইনি একটি ভাল উত্তর ইতিমধ্যে অ্যান্ড্রু পোস্ট করেছিলেন। আমার সত্যিই তার কিছু করা হয় না already আমি আমার জন্য এখনই ছেড়ে যাব কারণ এটি দিক থেকে বিকাশের আরও কয়েকটি বিবরণ দেয় ।$\beta$

Comments

আপনার উত্তর এবং অ্যান্ড্রু এর মধ্যে একটি পার্থক্য বলে মনে হচ্ছে। আপনার উত্তরে নিয়ন্ত্রকের সঠিক ফর্ম রয়েছে: , অন্যদিকে অ্যান্ড্রুতে, যেখানে লিনিয়ার রিগ্রেশন হয়, আমরা পাই । $\lambda \|\beta\|_1$$\lambda |\mu|$$\mu=X\beta$

— অ্যালেক্স আর

@ অ্যালেক্সআর আমি মনে করি আপনি অ্যান্ড্রুয়ের উত্তরটিতে mis এর ভুল ব্যাখ্যা করছেন। একাধিক রিগ্রেশনে সাথে নয়, কেবলমাত্র একটি ইন্টারসেপ্টের সাথে রিগ্রেশনটিতে μ সেখানে এর সাথে রয়েছে ; একই যুক্তি বৃহত্তর মামলার জন্য অনুসরণ করে (আমার উত্তরের সাথে সমান্তরালগুলি নোট করুন) তবে সহজ ক্ষেত্রে অনুসরণ করা আরও সহজ। অ্যান্ড্রুয়ের উত্তরটি মূলত সঠিক তবে পাঠকের পক্ষে কিছুটা পূরণ করার জন্য অল্প পরিমাণ রেখে মূল প্রশ্নটির সাথে সমস্ত বিন্দু সংযুক্ত করে না I এবং যে তিনি পুরোপুরি টিকটি প্রাপ্য$\beta_0$$X\beta$

— Glen_b -Rininstate মনিকা