মধ্যে Lasso সম্পর্ক এবং

Question

লাসো রিগ্রেশন সম্পর্কে আমার বোঝা হ'ল যে ক্ষুদ্রতরকরণ সমস্যা সমাধানের জন্য রিগ্রেশন সহগগুলি নির্বাচন করা হয়েছে:

$$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$$

অনুশীলনে সমস্যাটি সমাধানের জন্য ল্যাগরেঞ্জ গুণক ব্যবহার করে এটি করা হয়

$$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$$

মধ্যে সম্পর্ক কি $\lambda$ এবং $t$ ? উইকিপিডিয়ায় অনিচ্ছাকৃতভাবে সহজভাবে বলা হয়েছে যে এটি "ডেটা নির্ভর"।

আমি কেন যত্ন করব? প্রথমত বৌদ্ধিক কৌতূহলের জন্য। তবে ক্রস-বৈধতা দ্বারা ল্যাম্বডা বাছাইয়ের ফলাফলগুলি সম্পর্কে আমিও উদ্বিগ্ন $\lambda$।

বিশেষত, যদি আমি এন-ভাঁজ ক্রস বৈধকরণ করছি, আমি আমার প্রশিক্ষণের ডেটার বিভিন্ন পার্টিশনগুলিতে n বিভিন্ন মডেলকে ফিট করব। তারপরে আমি প্রদত্ত mb ল্যাম্বদা-র জন্য অব্যবহৃত ডেটাতে প্রতিটি মডেলের যথার্থতা তুলনা করি $\lambda$। তবে একই ল্যাম্বডাটি ডেটার বিভিন্ন উপ-পর্বের জন্য $\lambda$একটি পৃথক বাধা ( $t$ ) বোঝায় (যেমন, $t=f(\lambda)$ "ডেটা নির্ভর")।

ক্রস যাচাইকরণের সমস্যাটি কি আমি সত্যিই সেই টি খুঁজে পেতে সমাধান করতে চাই না $t$যা সেরা পক্ষপাত-নির্ভুলতা বাণিজ্য বন্ধ করে দেয়?

প্রতিটি ক্রস-বৈধতা বিভাজনের জন্য এবং \ ল্যাম্বদা এবং ফলাফল বিতরণ দেখে practice $\|\beta\|_1$ and গণনা করে অনুশীলনে আমি এই প্রভাবটির আকার সম্পর্কে মোটামুটি ধারণা পেতে পারি । কিছু ক্ষেত্রে উল্লিখিত সীমাবদ্ধতা ( টি ) আমার ক্রস-বৈধকরণ সাবসেটগুলি জুড়ে যথেষ্ট শান্তভাবে পরিবর্তিত হতে পারে। যেখানে উল্লেখযোগ্যভাবে আমি টি >> 0 এর প্রকরণের সহগের অর্থ ।$\lambda$$t$$t>>0$

Comments

অব্যক্ত ডাউনভোটটি বাতিল করতে উত্সাহীকরণ। প্রশ্নটি আমার দক্ষতার বাইরে কিন্তু এটি যুক্তিসঙ্গতভাবে সূচিত বলে মনে হয়।

— এমকেটি - মনিকা

Answer 1

এটিই রিজ রিগ্রেশনটির মানক সমাধান :

$$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$$

আমরা এটাও জানি , সুতরাং এটি অবশ্যই সত্য হওয়া উচিত$\| \beta \| = t$

$$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$$ ।

জন্য সমাধান করা সহজ নয় ।$\lambda$

কম্পিউট: আপনার সেরা বাজি শুধু আপনার কি করছেন আপনি করছেন রাখা হয় একাধিক জুড়ে ডেটা একই উপ-নমুনার উপর মান।$t$$\lambda$