বায়েশিয়ান লাসো বনাম সাধারণ লাসো

Question

লসোর জন্য বিভিন্ন বাস্তবায়ন সফ্টওয়্যার উপলব্ধ । আমি বিভিন্ন ফোরামে বায়সিয়ান অ্যাপ্রোচ বনাম ঘন ঘনবাদী পদ্ধতির বিষয়ে অনেক আলোচনা জানি। আমার প্রশ্নটি লাসোর সাথে খুব নির্দিষ্ট - নিয়মিত ল্যাসো বনাম বায়সিয়ান লাসোর পার্থক্য বা সুবিধা কী কী ?

প্যাকেজে বাস্তবায়নের দুটি উদাহরণ এখানে রয়েছে:

# just example data
set.seed(1233)
X <- scale(matrix(rnorm(30),ncol=3))[,]
set.seed(12333)
Y <- matrix(rnorm(10, X%*%matrix(c(-0.2,0.5,1.5),ncol=1), sd=0.8),ncol=1)

require(monomvn) 
## Lasso regression
reg.las <- regress(X, Y, method="lasso")

## Bayesian Lasso regression
reg.blas <- blasso(X, Y)

সুতরাং আমি কখন এক বা অন্য পদ্ধতিতে যাব? নাকি ওরা একই রকম?

Answer 1

রিগ্রেশন-এ স্পারসিটি অর্জনের জন্য স্ট্যান্ডার্ড লাসো একটি এল 1 নিয়মিতকরণ জরিমানা ব্যবহার করে। নোট করুন যে এটি বেসিস পার্সুইট নামেও পরিচিত ।

বায়েশিয়ান কাঠামোয়, নিয়মিতকরণকারীর পছন্দ ওজন অপেক্ষা পূর্বের নির্বাচনের সাথে সাদৃশ্যপূর্ণ। যদি কোনও গাউসিয়ান পূর্বে ব্যবহার করা হয় তবে সর্বাধিক একটি পোস্টেরিয়েরি (এমএপি) সমাধানটি একই রকম হবে যেন কোনও এল 2 জরিমানা ব্যবহৃত হয়েছিল। সরাসরি সমতুল্য না হলেও, ল্যাপ্লেস পূর্বে (যা শূন্যের কাছাকাছি তীব্রভাবে শূন্যের কাছাকাছি মসৃণ গাউসিয়ানদের বিপরীতে), L1 পেনাল্টিতে একই সঙ্কুচিত প্রভাব তৈরি করে। এই কাগজটি বয়েসীয় লাসোর বর্ণনা করে। ।

প্রকৃতপক্ষে, আপনি যখন প্যারামিটারগুলির আগে কোনও ল্যাপ্লেস রাখেন তখন এল 1 জরিমানার সাথে নিয়মিতকরণের জন্য এমএপি সমাধানটি অভিন্ন (কেবল একই রকম নয়) হওয়া উচিত এবং ল্যাপ্লেস এর আগে এল 1 জরিমানার সাথে অভিন্ন সঙ্কুচিত প্রভাব তৈরি করবে। যাইহোক, বায়েশিয়ান অনুমান পদ্ধতিতে বা অন্য সংখ্যাসমূহের মধ্যে প্রায় অনুমানের কারণে সমাধানগুলি আসলে অভিন্ন হতে পারে না।

বেশিরভাগ ক্ষেত্রে, উভয় পদ্ধতির দ্বারা উত্পাদিত ফলাফলগুলি খুব একই রকম হবে। অপ্টিমাইজেশন পদ্ধতির উপর নির্ভর করে এবং আনুমানিক ব্যবহার করা হচ্ছে কিনা, স্ট্যান্ডার্ড লাসো সম্ভবত বায়েশিয়ান সংস্করণের তুলনায় আরও বেশি দক্ষ হবে। বায়েশিয়ান স্বয়ংক্রিয়ভাবে ত্রুটি বৈকল্পিক সহ সমস্ত প্যারামিটারের জন্য অন্তর্বর্তী অনুমানগুলি উত্পাদন করে these

Comments

"যদি কোনও গাউসিয়ান পূর্বে ব্যবহার করা হয় তবে সর্বাধিক সম্ভাবনার সমাধানটি একই হবে ...." " হাইলাইট করা বাক্যাংশটি "সর্বাধিক একটি পোস্টেরিয়েরি (এমএপি)" পড়তে হবে কারণ সর্বাধিক সম্ভাবনার প্রাক্কলনটি কেবলমাত্র পরামিতিগুলির পূর্ববর্তী বিতরণকে উপেক্ষা করবে, ফলে একটি অনিয়মিত সমাধানের দিকে পরিচালিত হবে যেখানে এমএপি অনুমানটি আগে বিবেচনায় নেবে।

— mefathy

আপনি যখন প্যারামিটারগুলির আগে কোনও ল্যাপ্লেস স্থাপন করেন, তখন এল 1 জরিমানার সাথে নিয়মিতকরণের জন্য এমএপি সমাধান অভিন্ন (কেবল একই রকম নয়) হবে এবং ল্যাপ্লেস এর আগে এল 1 জরিমানার সাথে অভিন্ন সঙ্কুচিত প্রভাব তৈরি করবে।

— mefathy

@ ক্ষমাহীন হ্যাঁ আপনি উভয় গুণেই ঠিক আছেন (বিশ্বাস করতে পারি না আমি এমএপির পরিবর্তে এমএল লিখেছি ....) যদিও বাস্তবে ওয়াইএমএমভি অনুশীলনে রয়েছে। আমি উভয় মন্তব্য অন্তর্ভুক্ত উত্তর আপডেট করেছি।

— tdc

Answer 2

"ন্যূনতম স্কোয়ারগুলি" এর অর্থ হ'ল সামগ্রিক সমাধানটি প্রতিটি একক সমীকরণের ফলাফলের ক্ষেত্রে ত্রুটিগুলির স্কোয়ারের পরিমাণকে হ্রাস করে। সবচেয়ে গুরুত্বপূর্ণ অ্যাপ্লিকেশনটি ডেটা ফিটিংয়ে রয়েছে। সর্বনিম্ন-স্কোয়ার অর্থে সেরা ফিট স্কোয়ার অবশিষ্টাংশের যোগফলকে হ্রাস করে, একটি উদ্বৃত্ত মান এবং একটি মডেল দ্বারা সরবরাহিত ফিট মানের মধ্যে পার্থক্য e সর্বশেষ স্কোয়ার সমস্যা দুটি বিভাগে পড়ে: লিনিয়ার বা সাধারণ ন্যূনতম স্কোয়ার এবং অ- লিনিয়ার সর্বনিম্ন স্কোয়ারগুলি, সমস্ত অজানা ক্ষেত্রে অবশিষ্টাংশগুলি রৈখিক কিনা তা নির্ভর করে।

বায়েশিয়ান লিনিয়ার রিগ্রেশন হল লিনিয়ার রিগ্রেশন- এর একটি পদ্ধতির যেখানে বায়েসীয় অনুমানের প্রেক্ষাপটে পরিসংখ্যান বিশ্লেষণ করা হয়। যখন রিগ্রেশন মডেলটিতে ত্রুটি থাকে যাগুলির একটি সাধারণ বিতরণ থাকে এবং যদি পূর্বে বিতরণের কোনও নির্দিষ্ট ফর্মটি ধরে নেওয়া হয়, তখন মডেলের পরামিতিগুলির উত্তরীয় সম্ভাবনা বিতরণের জন্য স্পষ্ট ফলাফল পাওয়া যায়।

$\|\beta\|^2$

সর্বনিম্ন স্কোয়ারগুলির একটি বিকল্প নিয়মিত সংস্করণ হ'ল লাসো (সর্বনিম্ন পরম সংকোচন এবং নির্বাচন অপারেটর), যা প্যারামিটার ভেক্টরের এল 1-আদর্শ, the যে প্রতিবন্ধকতা ব্যবহার করে তা প্রদত্ত মানের চেয়ে বড় নয় । বায়েসীয় প্রসঙ্গে, এটি প্যারামিটার ভেক্টরে শূন্য-মধ্যস্থ ল্যাপ্লেস পূর্ব বিতরণ স্থাপনের সমতুল্য।$\|\beta\|_1$

লাসো এবং রিজ রিগ্রেশন-এর মধ্যে অন্যতম প্রধান পার্থক্য হ'ল রিজ রিগ্রেশনে, জরিমানা বাড়ার সাথে সাথে, সমস্ত পরামিতি হ্রাস পেয়েছে যখন অ শূন্য রয়ে গেছে, লাসোতে, জরিমানা বাড়ানো প্যারামিটারগুলিকে আরও বেশি করে দেবে শূন্যে চালিত

এই কাগজটি নিয়মিত লাসোকে বায়েশিয়ান লাসো এবং রিজ রিগ্রেশন (তুলনামূলক চিত্র 1 ) এর সাথে তুলনা করে ।