ইলাস্টিক নেট লজিস্টিক রিগ্রেশনে অনুকূল আলফা নির্বাচন করা

Question

আমি 0 থেকে 1 সাল পর্যন্তglmnet গ্রিডের উপরে ল্যাম্বডা মানগুলি নির্বাচন করে আর -তে প্যাকেজটি ব্যবহার করে স্বাস্থ্যসেবা ডেটাসেটে একটি ইলাস্টিক-নেট লজিস্টিক রিগ্রেশন করছি My আমার সংক্ষিপ্ত কোডটি নীচে রয়েছে:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

যা প্রতিটি থেকে আলফা মান জন্য গড় ক্রস যাচাই ত্রুটি আউটপুট থেকে একজন বৃদ্ধি সঙ্গে :$0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

আমি সাহিত্যে যা পড়েছি তার উপর ভিত্তি করে, সিভির ত্রুটি হ্রাস করা হয় সর্বোত্তম পছন্দ । তবে বর্ণমালার সীমার তুলনায় ত্রুটিগুলির মধ্যে অনেক পার্থক্য রয়েছে। এর জন্য বিশ্বব্যাপী সর্বনিম্ন ত্রুটি সহ আমি বেশ কয়েকটি স্থানীয় ন্যূনতম দেখতে পাচ্ছি ।$\alpha$0.1942612alpha=0.8

এটি কি নিরাপদ সাথে যেতে হবে alpha=0.8? অথবা, আমি পুনরায় চালানো উচিত প্রকরণ দেওয়া cv.glmnetআরো ক্রস বৈধতা ভাঁজ (যেমন সঙ্গে পরিবর্তে ) অথবা সম্ভবত একটি বড় সংখ্যা মধ্যে বাড়তি এবং CV ত্রুটি পথ একটি পরিষ্কার ছবি পেতে?$20$$10$$\alpha$alpha=0.01.0

Comments

আপনি caretপ্যাকেজটি একবারে দেখতে চান যা আলফা এবং ল্যাম্বদা উভয়ের জন্য বারবার সিভি এবং টিউন করতে পারে (মাল্টিকোর প্রসেসিং সমর্থন করে!)। স্মৃতি থেকে, আমি মনে করি glmnetডকুমেন্টেশনটি আপনি এখানে যেভাবে করছেন তাতে আলফা সুরের বিরুদ্ধে পরামর্শ দেয়। এটি ব্যবহারকারী দ্বারা সরবরাহ করা ল্যাম্বডা টিউনিংয়ের পাশাপাশি আলফাটির জন্যও যদি টিউন করে থাকে তবে ফোল্ডগুলি স্থির রাখার পরামর্শ দেয় cv.glmnet।

আহ, এই পোস্টটি এখানে পেয়েছেন: stats.stackexchange.com/ প্রশ্নগুলি

— 69638

যখন আপনি চেষ্টা করছেন বিভিন্ন foldid ঠিক করতে ভুলবেন না $\alpha$

— user4581

প্রজননযোগ্যতার জন্য, কখনও কখনও পরিচিত এলোমেলো-বীজ থেকে তৈরি না করে চলবে cv.glmnet()না foldids।

— smci

@ আমেবার আমার উত্তরটি একবার দেখুন - এল 1 এবং এল 2 এর মধ্যে ট্রেড অফগুলিতে ইনপুটটি স্বাগত!

— জাভিয়ের বুরেরিট সিকোটি

Answer 1

$\alpha$ এবং ইলাস্টিক নেট পরামিতি বলতে কী বোঝায় তা স্পষ্ট করা

বিভিন্ন প্যাকেজ দ্বারা পৃথক পরিভাষা এবং প্যারামিটার ব্যবহার করা হয় তবে অর্থটি সাধারণত একই রকম:

আর প্যাকেজ Glmnet নিম্নলিখিত সংজ্ঞা ব্যবহার

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn ব্যবহার

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

আছে বিকল্প parametrizations ব্যবহার $a$ এবং $b$ পাশাপাশি ..

বিভ্রান্তি এড়াতে আমি ফোন করতে যাচ্ছি

• $\lambda$ শাস্তি শক্তি প্যারামিটার
• $L_1 \text{ratio}$$L_1$ এবং$L_2$ পেনাল্টিরমধ্যে অনুপাত, 0 (রিজ) থেকে 1 (লাসো) পর্যন্ত

---

পরামিতিগুলির প্রভাবটি দৃশ্যমান

একটি সিমুলেটেড ডেটা সেট বিবেচনা করুন যেখানে $y$ একটি গোলমাল সাইন বক্ররেখা নিয়ে গঠিত এবং $X$ একটি দ্বিমাত্রিক বৈশিষ্ট্য যা $X_1 = x$ এবং $X_2 = x^2$ । $X_1$ এবং $X_2$ এর মধ্যে সম্পর্কের কারণে ব্যয়ের কাজটি একটি সরু উপত্যকা।

গ্রাফিক্স নিচে দুটি ভিন্ন সঙ্গে elasticnet রিগ্রেশন সমাধান পাথ চিত্রিত $L_1$ , অনুপাত পরামিতি এর কার্যকারিতা হিসেবে $\lambda$ শক্তি প্যারামিটার।

• উভয় সিমুলেশনের জন্য: যখন $\lambda = 0$ তবে সমাধানটি হল নীচের ডানদিকে ওএলএস সমাধান, সম্পর্কিত উপত্যকার আকৃতির ব্যয় ফাংশন সহ।
• হিসাবে $\lambda$ বেড়ে যায়, এ নিয়মিতকরণ কিক এবং সমাধান থাকে $(0,0)$
• দুটি অনুকরণের মধ্যে প্রধান পার্থক্যটি হল $L_1$ রেশিও প্যারামিটার।
• এলএইচএস : ছোট $L_1$ অনুপাতের জন্য, নিয়মিত ব্যয় ফাংশনটি দেখতে অনেকটা গোল রাউন্ডগুলি সহ রিজ রিগ্রেশনের মতো দেখাচ্ছে।
• আরএইচএস : বড় $L_1$ অনুপাতের জন্য, ব্যয় ফাংশনটি দেখতে অনেকটা লাসোর রিগ্রেশন যেমন টিপিকাল ডায়মন্ড শেপের আকারের সাথে দেখায়।
• মধ্যবর্তী $L_1$ অনুপাতের জন্য (দেখানো হয়নি) ব্যয়ের ফাংশন দুটির সংমিশ্রণ

---

পরামিতিগুলির প্রভাব বোঝা

ইলাস্টিক নেটটি লাসোর কিছু সীমাবদ্ধতার বিরুদ্ধে লড়াইয়ের জন্য চালু হয়েছিল যা হ'ল:

• যদি ডেটা পয়েন্ট এন , পি > এন এর চেয়ে বেশি ভেরিয়েবল $p$ থাকে তবে লাসো বেশিরভাগ এন ভেরিয়েবল নির্বাচন করে ।$n$$p>n$$n$
• লাসো বিশেষত পারস্পরিক সম্পর্কযুক্ত ভেরিয়েবলের উপস্থিতিতে দলবদ্ধ নির্বাচন করতে ব্যর্থ। এটি একটি গোষ্ঠী থেকে একটি ভেরিয়েবল নির্বাচন করবে এবং অন্যদের উপেক্ষা করবে

$L_1$$L_2$

• $L_1$
• $L_2$$L_1$

আপনি উপরের চিত্রে চাক্ষুষরূপে এই দেখতে পারেন, ছেদচিহ্ন এ ব্যতিক্রমী-বিন্দু উৎসাহিত sparsity , যখন কঠোর উত্তল প্রান্ত উৎসাহ জানাচ্ছি গোষ্ঠীবদ্ধ ।

এখানে হাসটি (ইলাস্টিকনেটের উদ্ভাবক) এর কাছ থেকে নেওয়া একটি দৃশ্যায়ন রয়েছে

আরও পড়া

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Answer 2

প্রশ্নের বয়স থাকা সত্ত্বেও আমাকে কিছু খুব ব্যবহারিক মন্তব্য যুক্ত করুন। যেহেতু আমি কোনও আর ব্যবহারকারী নই, তাই আমি কোড কথা বলতে পারি না, তবুও এটি বোধগম্য হওয়া উচিত।

1. $\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. পুনরায় মডেলিংয়ের একটি সুবিধা হ'ল আপনি পরীক্ষা স্কোরগুলির ক্রমটি পরীক্ষা করতে পারেন, যা এখানে সিভির স্কোর। আপনার সর্বদা কেবল গড়ের দিকে নয় তবে স্ট্যান্ড ডেভিয়েশনের দিকে নজর দেওয়া উচিত (এটি সাধারণ বিতরণ নয়, তবে আপনি যেমন কাজ করেন)। যথাযথতার জন্য সাধারণত আপনি এটিকে 65.5% (± 2.57%) হিসাবে প্রদর্শন করেন। এইভাবে আপনি বলতে পারবেন যে "ছোট বিচ্যুতিগুলি" সম্ভবত সুযোগের ভিত্তিতে বা কাঠামোগতভাবে সম্ভবত রয়েছে। সম্পূর্ণ ক্রমগুলি পরিদর্শন করা আরও ভাল । যদি কোনও কারণে সর্বদা এক ভাঁজ বন্ধ থাকে, আপনি নিজের বিভাজনটি কীভাবে করছেন তা পুনর্বিবেচনা করতে চাইতে পারেন (এটি একটি ত্রুটিপূর্ণ পরীক্ষামূলক ডিজাইনের ইঙ্গিত দেয়: আপনি কি পরিবর্তন করেছেন?)। সাইকিট-এ স্টোরগুলিতে GridSearchCVভাঁজটির মেয়াদ শেষ হওয়ার বিশদটি cv_results_( এখানে দেখুন ) শিখুন ।

3. $\alpha$$L_1$$\alpha$$L_2$