লাসসো যদি ল্যাপ্লেসের সাথে লিনিয়ার রিগ্রেশনের সমতুল্য হয় তবে শূন্যের উপাদানগুলির সাথে সেটগুলিতে ভর কীভাবে হতে পারে?

Question

$${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$$
$$\exp(-\lambda \| \beta \|_1 )$$ $\lambda$

বিবেচনা করুন যে বয়েসীয় দৃষ্টিকোণ থেকে আমরা পরবর্তী সম্ভাবনাগুলি গণনা করতে পারি যে, বলুন যে শূন্য-না-প্যারামিটার অনুমানগুলি প্রদত্ত অন্তরগুলির যে কোনও সংগ্রহের মধ্যে রয়েছে এবং লাসো দ্বারা শূন্যে নির্ধারিত পরামিতিগুলি শূন্যের সমান। আমার যে বিষয়টি বিভ্রান্ত করেছে তা হ'ল ল্যাপলেস পূর্বের ধারাবাহিকভাবে (বাস্তবে একেবারে অবিচ্ছিন্ন) তবে set set এর ব্যবধানে এবং সিঙ্গলেটের পণ্য এমন কোনও সেটটিতে কীভাবে ভর থাকতে পারে ?$\{0\}$

Comments

আপনি কী ভাবেন যে উত্তরোত্তর এছাড়াও একটি অবিচ্ছিন্ন পিডিএফ নয়? সর্বাধিক পিছনের অংশটি এমন এক পর্যায়ে ঘটে যা ঘটে যা প্রচুর পরিমাণে 0 টি উপাদান থাকে বলে নিজে থেকে বোঝানো হয় না যে উত্তরোত্তর একটি ধারাবাহিক পিডিএফ নয়।

— ব্রায়ান বোর্চার

উত্তরোত্তর একটি অবিচ্ছিন্ন পিডিএফ। সীমাবদ্ধ সর্বাধিক সম্ভাবনার অনুমান হিসাবে দেখা হয়েছে, যদি আমরা একই ডেটা বিতরণ থেকে বারবার আঁকানোর কল্পনা করি যখন সত্য মডেলটির একাধিক রিগ্রেশন সহগের শূন্য থাকে এবং সুরক্ষা ধ্রুবকটি যথেষ্ট বড় থাকে তবে সিএমএলই সবসময় একই উপাদানগুলি শূন্যে সেট থাকে এবং অ- শূন্য প্যারামিটারগুলি সংশ্লিষ্ট আস্থা অন্তরগুলিতে ছড়িয়ে পড়বে। বায়সিয়ান দৃষ্টিকোণ থেকে এটি এই ধরনের সেটগুলির জন্য ইতিবাচক সম্ভাবনা থাকার সমতুল্য। অবিচ্ছিন্ন বিতরণের জন্য এটি কীভাবে হতে পারে তা আমার প্রশ্ন।

— অনুগ্রহ করে ইজমিরলিয়ান

সিএলএমই সমাধান এমএপি অনুমানের সাথে মিলে যায়। আসলে আরও কিছু বলার নেই।

— সাইকোরাক্স

সিএমইএল সলিউশন পোস্টেরিয়রের কোনও নমুনা নয়।

— ব্রায়ান বোর্চারস

কোনও বৈপরীত্য নেই কারণ উত্তরোত্তর নিম্ন মাত্রার সেটগুলিতে ভর রাখে না।

— শি'আন

Answer 1

উপরের সমস্ত মন্তব্যের মতো, লাসো-এর বায়েশিয়ান ব্যাখ্যার উত্তরোত্তর বিতরণের প্রত্যাশিত মান গ্রহণ করা হচ্ছে না, আপনি যদি বিশুদ্ধবাদী হয়ে থাকেন তবে আপনি যা করতে চাইবেন সেটিই। যদি এটি হয়ে থাকে, তবে আপনি ঠিক বলেছেন যে খুব সামান্য সম্ভাবনা রয়েছে যে উপাত্তগুলি পোস্টের পরে শূন্য হবে।

বাস্তবে, লাসো-এর বায়েশিয়ান ব্যাখ্যাটি পোস্টেরিয়রের এমএপি (সর্বাধিক একটি পোস্টেরিয়েরি) নিচ্ছে। দেখে মনে হচ্ছে আপনি পরিচিত, তবে যিনি নন, তার পক্ষে এটি মূলত বেইসিয়ান সর্বাধিক সম্ভাবনা, যেখানে আপনি লাসো-র পরামিতিগুলির জন্য আপনার অনুমানকারী হিসাবে সংঘটিতের সর্বাধিক সম্ভাবনার (বা মোড) সাথে সাদৃশ্যযুক্ত মানটি ব্যবহার করেন। যেহেতু বিতরণটি নেতিবাচক দিক থেকে শূন্য না হওয়া পর্যন্ত তাত্পর্যপূর্ণভাবে বৃদ্ধি পায় এবং ধনাত্মক দিক থেকে দ্রুত গতিতে পতিত হয়, যদি না আপনার ডেটা দৃ strongly়ভাবে সুপারিশ করে যে বিটা আরও কিছু উল্লেখযোগ্য মান, তবে আপনার পোস্টেরিয়রের সর্বাধিক মান 0 হওয়ার সম্ভাবনা রয়েছে।

দীর্ঘ গল্প সংক্ষেপে, আপনার অন্তর্নিহিতটি উত্তরোত্তর গড়ের উপর ভিত্তি করে বলে মনে হচ্ছে, তবে ল্যাসো-এর বয়েসিয়ান ব্যাখ্যাটি পোস্টেরিয়রের মোড নেওয়ার উপর ভিত্তি করে।