শ্রেণিবদ্ধ ডেটার জন্য দণ্ডিত পদ্ধতি: একটি ফ্যাক্টরের স্তরের সমন্বয়

পেনালাইজড মডেলগুলি এমন মডেলগুলি অনুমান করতে ব্যবহার করা যেতে পারে যেখানে পরামিতিগুলির সংখ্যা নমুনার আকারের সমান বা তার চেয়েও বেশি বেশি is শ্রেণিবদ্ধ বা গণনা ডেটার বৃহত স্পার ছকগুলির লগ-লিনিয়ার মডেলগুলিতে এই পরিস্থিতি দেখা দিতে পারে। এই সেটিংগুলিতে প্রায়শই এমন ফ্যাক্টরের স্তরের সংমিশ্রণ করে টেবিলগুলি ধসে ফেলা বাঞ্ছনীয় বা সহায়ক যেখানে এই স্তরগুলি অন্যান্য বিষয়গুলির সাথে কীভাবে যোগাযোগ করে সে ক্ষেত্রে এটি পৃথক নয়। দুটি প্রশ্ন:

লাসো বা ইলাস্টিক নেট এর মতো দণ্ডিত মডেলগুলি প্রতিটি ফ্যাক্টরের মধ্যে স্তরগুলির সংকোচনের জন্য পরীক্ষা করার জন্য কি কোনও উপায় আছে?
প্রথম প্রশ্নের উত্তর যদি হ্যাঁ হয়, তবে, এবং করা উচিত, এটি এমনভাবে সেট আপ করা যেতে পারে যে স্তরগুলির পতন এবং মডেল সহগের অনুমান একটি একক পদক্ষেপে ঘটে?

— andrewH
সূত্র

এই কাগজটি, doi.org/10.1177/1471082X16642560 , গত দশক বা তারও বেশি সময় ধরে এই অঞ্চলে কী করা হয়েছে তার একটি সুন্দর ওভারভিউ দেয়।

— জর্ন বিক্লার

দ্রষ্টব্য: আমি নীচে জরিমানাটি আলোচনা করছি @ জর্নবাইক্লারের লিঙ্কে সমীকরণ 3.4। (এটি দেখতে আকর্ষণীয় যে এই প্রশ্নটি আগে বিবেচনা করা হয়েছে!)

— ব্যবহারকারী 795305

অনেক মান সহ প্রিপ্রসেস

— ক্লাসিকাল

এর আগে যে প্রশ্নটি হয়েছিল তার ডুপ্লিকেট আমরা কীভাবে বলতে পারি?

— মাইকেল আর চের্নিক

এটা সম্ভব. এটি সম্পন্ন করার জন্য আমরা ফিউশড লাসোর একটি বৈকল্পিক ব্যবহার করতে পারি ।

আমরা অনুমানকারীটি ব্যবহার করতে পারি

\hat{β} = ARG \underset{β}{সর্বনিম্ন} \frac{- 1}{এন} Σ_{আমি = 1}^{এন} (Y_{আমি} β^{টি} {এক্স}_{আমি} - ই^{β^{টি} {এক্স}_{আমি}}) + + \underset{কারণসমূহ জি}{Σ} λ_{ছ} (\underset{ঞ \in ছ}{Σ} | β_{ঞ} | + + \frac{1}{2} \underset{ঞ, ট \in ছ}{Σ} | β_{ঞ} - β_{ট} |) ।

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

দ্রষ্টব্য যে হ'ল লগ-লিনিয়ারের জন্য ক্ষতির কাজ মডেল। $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

এটি একটি গ্রুপের সহগকে সমান হতে উত্সাহ দেয়। সহগের এই সমতাটি ফ্যাক্টরের এবং স্তরের একসাথে বিপর্যয়ের সমান । কখন এর ক্ষেত্রে এটি রেফারেন্স স্তরের সাথে স্তরটি সমতুল্য । টিউনিং প্যারামিটারগুলি ধ্রুবক হিসাবে বিবেচনা করা যেতে পারে, তবে এটি যদি কেবল কয়েকটি কারণ থাকে তবে তাদের পৃথক হিসাবে বিবেচনা করা ভাল। $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

অনুমানকটি উত্তল ফাংশনের একটি মিনিমাইজার, সুতরাং এটি নির্বিচারে সমাধানকারীগুলির মাধ্যমে দক্ষতার সাথে গণনা করা যায়। এটি সম্ভব যে যদি কোনও ফ্যাক্টরটির অনেকগুলি, অনেকগুলি স্তর থাকে তবে এই যুগলমুখী পার্থক্যগুলি হাতছাড়া হয়ে যাবে --- এই ক্ষেত্রে, ধসের সম্ভাব্য নিদর্শনগুলি সম্পর্কে আরও কাঠামো জানার প্রয়োজন হবে।

নোট করুন যে এই সমস্ত এক ধাপে সম্পন্ন হয়েছে! এটি লাসো-টাইপ অনুমানকারীকে এত দুর্দান্ত করে তোলে এমন একটি অংশ!

আর একটি আকর্ষণীয় পদ্ধতির হ'ল অনুমানকারীটি ব্যবহার করা, যা penalty দ্বারা প্রতিস্থাপিত হয় । $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— user795305
সূত্র