বায়সিয়ান লাসো বনাম স্পাইক এবং স্ল্যাব

Question

প্রশ্ন: পরিবর্তনশীল নির্বাচনের জন্য অন্যের আগে একের ব্যবহার করার সুবিধা / অসুবিধাগুলি কী?

ধরুন আমার সম্ভাবনা রয়েছে: যেখানে আমি যেকোনো একটি প্রিয়ার রাখতে পারি: বা:

$$y\sim\mathcal{N}(Xw,\sigma^2I)$$ $$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$$ $$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$$

'নিয়মিতকরণ' প্যারামিটারটি বেছে নেওয়ার জন্য বেশিরভাগ ওজন শূন্য এবং গামার আগে জোর দেওয়ার জন্য আমি রেখেছি ।$\pi=0.9$$\lambda$

যাইহোক, আমার অধ্যাপক জোর দিয়ে থাকেন যে লাসো সংস্করণটি সহগগুলি সঙ্কুচিত করে এবং আসলে যথাযথ পরিবর্তনশীল নির্বাচন করে না, অর্থাত্ প্রাসঙ্গিক পরামিতিগুলির ওভার-সঙ্কুচিততা রয়েছে।

আমি ব্যক্তিগতভাবে লাসোর সংস্করণটি প্রয়োগ করা আরও সহজ মনে করি যেহেতু আমি ভেরিয়েশনাল বয়েস ব্যবহার করি। আসলে স্পার্স বায়েশিয়ান লার্নিং পেপার যা কার্যকরভাবে prior of এর আগে রাখে এমনকি স্পারসার সমাধান দেয়।$\frac{1}{|w_i|}$

Comments

আপনার অধ্যাপক সঠিক যে এটি প্রাসঙ্গিক পরামিতি সঙ্কুচিত হয়, তবে কি? এটি কেবল তাদের ততটুকু সঙ্কুচিত করে যে তারা ত্রুটি হ্রাসে উল্লেখযোগ্য অবদান রাখছে না। এবং কেন সঠিক পরিবর্তনশীল নির্বাচন করতে কেন মনোনিবেশ করা উচিত .. (পরীক্ষা) ত্রুটি হ্রাস করার দিকে দৃষ্টি নিবদ্ধ করা উচিত নয়

— seanv507

বেশিরভাগ সমস্যার জন্য হ্যাঁ আমি সম্মত হই। তবে কিছু সমস্যার জন্য (যেমন, জিনের প্রকাশের সাথে ক্যান্সার সনাক্তকরণ) কোন বৈশিষ্ট্যগুলি অবদান রাখার কারণ তা খুঁজে পাওয়া অত্যন্ত গুরুত্বপূর্ণ। পিএস আমি তখন থেকেই আমার পোস্টডোক থেকে সরে এসেছি যেহেতু তিনি একজন মরন। মেশিন শেখা ftw !!!

— sachinruk

স্পাইক এবং স্ল্যাব পরিবর্তনশীল নির্বাচনের স্বর্ণের মান হিসাবে দেখা যায় এবং আমি লাসোর সাথেও কাজ করতে পছন্দ করি। @ সাচিন_রুক: ভেরিয়াল বেয়েস ব্যবহার করে স্পাইক এবং স্ল্যাব আগে প্রয়োগ করা যেতে পারে ...

— সন্দীপন কর্মকার

@ সন্দীপনকর্মার আপনি কি ভেরিয়াল বয়েসের সাথে স্পাইক এবং স্ল্যাব সম্পর্কিত একটি লিঙ্ক পোস্ট করতে পারেন?

— sachinruk

আপনার প্রশ্নটি মডেলিং [যা পূর্বে?] এবং বাস্তবায়ন [ভেরিয়েশনাল বেয়েস] বিষয়গুলিকে একত্রিত করে। এগুলি আলাদাভাবে প্রক্রিয়া করা উচিত।

— সিয়ান

Answer 1

এই দুটি পদ্ধতিই (লাসো বনাম স্পাইক-এবং-স্ল্যাব) বায়েসিয়ান অনুমানের সমস্যা হিসাবে ব্যাখ্যা করা যেতে পারে যেখানে আপনি বিভিন্ন পরামিতি নির্দিষ্ট করছেন। মূল পার্থক্যগুলির মধ্যে একটি হ'ল লাসো পদ্ধতিটি পূর্বের জন্য শূন্যের উপর কোনও বিন্দু-ভর রাখে না (অর্থাত্ প্যারামিটারগুলি অবশ্যই প্রায় অ-শূন্যের একটি প্রাইমারী), যখন স্পাইক-এবং-স্ল্যাব একটি উল্লেখযোগ্য পয়েন্ট-ভর দেয় শূন্যে

আমার বিনীত মতে স্পাইক-অ্যান্ড-স্ল্যাব পদ্ধতির মূল সুবিধাটি হ'ল সমস্যাগুলির ক্ষেত্রে এটি উপযুক্তভাবে উপযুক্ত যেখানে প্যারামিটারের সংখ্যা ডেটার পয়েন্টের সংখ্যার চেয়ে বেশি এবং আপনি প্যারামিটারগুলির যথেষ্ট সংখ্যক সম্পূর্ণরূপে অপসারণ করতে চান মডেল থেকে। যেহেতু এই পদ্ধতিটি পূর্বে শূন্যের উপরে একটি বৃহত পয়েন্ট-ভর রাখে, এটি উত্তরোত্তর অনুমানগুলি উত্পন্ন করবে যা প্যারামিটারগুলির মধ্যে কেবল একটি সামান্য অনুপাতকে জড়িত করে, আশা করা যায় যে উপাত্তের অত্যধিক ফিটনেস এড়ানো হবে।

যখন আপনার অধ্যাপক আপনাকে বলবেন যে প্রাক্তন কোনও পরিবর্তনশীল নির্বাচন পদ্ধতি পালন করছেন না, তার সম্ভবত এটির অর্থ কী। লাসোর অধীনে, প্রতিটি প্যারামিটারগুলি অবশ্যই প্রায় অ-শূন্য একটি প্রাইরি (যেমন, তারা সমস্ত মডেলটিতে রয়েছে)। যেহেতু সম্ভাবনাটিও প্যারামিটার সহায়তার তুলনায় শূন্য নয়, এর অর্থ এটিও হবে যে প্রতিটি অবশ্যই প্রায় অ-শূন্য একটি প্রাইরি (যেমন, তারা সমস্ত মডেলটিতে রয়েছে)। এখন, আপনি এটি একটি হাইপোথিসিস টেস্ট দিয়ে পরিপূরক করতে পারেন এবং সেই পদ্ধতিতে মডেলটির বাইরে প্যারামিটারগুলি প্রয়োগ করতে পারেন, তবে এটি বাইয়েশিয়ান মডেলের শীর্ষে আরোপিত একটি অতিরিক্ত পরীক্ষা হবে।

বায়সিয়ান অনুমানের ফলাফলগুলি ডেটা থেকে একটি অবদান এবং পূর্বের একটি অবদানকে প্রতিফলিত করবে। স্বাভাবিকভাবেই, শূন্যের কাছাকাছি (স্পাইক-এবং-স্লাবের মতো) আরও ঘনিষ্ঠভাবে সংযুক্ত একটি পূর্ব বিতরণ প্রকৃতপক্ষে কম সংকীর্ণ (ল্যাসোর মতো) এর তুলনায় ফলাফলের পরামিতি অনুমানকে "সঙ্কুচিত" করবে। অবশ্যই, এই "সঙ্কুচিত" কেবলমাত্র আপনার নির্দিষ্ট পূর্বের তথ্যের প্রভাব। লাসো পূর্বের আকারের অর্থ এটি একটি ফ্ল্যাটারের তুলনায় সামান্য প্যারামিটারের অনুমানকে গড়ের দিকে সঙ্কুচিত করে চলেছে।