প্রশ্ন ট্যাগ «ridge-regression»

বলুন যে আমি প্রচুর পরিমাণে প্যারামিটার অনুমান করতে চাই এবং আমি তাদের কয়েকটিকে শাস্তি দিতে চাই কারণ আমার বিশ্বাস অন্যদের তুলনায় তাদের খুব কম প্রভাব ফেলতে হবে। কীভাবে পেনালাইজেশন স্কিম ব্যবহার করব তা আমি কীভাবে সিদ্ধান্ত নেব? রিজ রিগ্রেশন কখন বেশি উপযুক্ত? আমি কখন লসো ব্যবহার করব?

167 regression  lasso  ridge-regression 

আমি লিনিয়ার রিগ্রেশন সম্পর্কিত বইগুলি পড়ছি। এল 1 এবং এল 2 আদর্শ সম্পর্কে কিছু বাক্য রয়েছে। আমি তাদের জানি, কেন বিরল মডেলগুলির জন্য L1 আদর্শ m কেউ ব্যবহার করতে পারেন কি একটি সহজ ব্যাখ্যা দিতে?

97 regression  lasso  regularization  ridge-regression 

কোন পরিস্থিতিতে ওএলএসের পরিবর্তে নিয়মিতকরণ পদ্ধতিগুলি (রিজ, লাসো বা কমপক্ষে অ্যাঙ্গেল রিগ্রেশন) ব্যবহার করা উচিত? যদি এটি আলোচনার দিকে এগিয়ে যেতে সহায়তা করে তবে আমার মূল আগ্রহ ভবিষ্যদ্বাণীমূলক নির্ভুলতার উন্নতি করছে।

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

রিজ রিগ্রেশন সহগের প্রাক্কলন মানগুলি যা হ্রাস করেβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. আমার প্রশ্নগুলি হ'ল: যদি , তবে আমরা দেখতে পাচ্ছি যে উপরের অভিব্যক্তিটি স্বাভাবিক আরএসএসে হ্রাস পায়। কি হবে যদি ? সহগের আচরণের পাঠ্যপুস্তকের ব্যাখ্যাটি আমি বুঝতে পারি না।λ=0λ=0\lambda = 0λ→∞λ→∞\lambda \to \infty একটি নির্দিষ্ট শব্দটির পিছনে ধারণাটি …

71 ridge-regression  statistical-learning  history 

নিম্নলিখিত তিনটি ঘটনা বিবেচনা করুন। স্টেইনের প্যারাডক্স: tiv মাল্টিভারিয়েট স্বাভাবিক বিতরণ থেকে কিছু তথ্য দেওয়া হয়েছে , নমুনা গড়টি সত্যিকার গড়ের খুব ভাল অনুমানকারী নয়। যদি কেউ নমুনার সমস্ত স্থানাঙ্কটি শূন্যের দিকে [বা তাদের গড়ের দিকে, বা আসলে কোনও মানের দিকে, যদি আমি সঠিকভাবে বুঝতে পারি] সঙ্কুচিত হয় তবে নিম্নতর …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

ছুটির মরসুমটি আমাকে এলিমেটিকাল লার্নিংয়ের সাথে আগুনের পাশে কুঁকানোর সুযোগ দিয়েছে । একটি (ঘন ঘনবাদী) একনোমেট্রিক্সের দৃষ্টিকোণ থেকে আসা, রিজ রিগ্রেশন, লাসো এবং কমপক্ষে অ্যাঙ্গেল রিগ্রেশন (এলএআর) এর মতো সঙ্কুচিত পদ্ধতির ব্যবহার উপলব্ধিতে আমার সমস্যা হচ্ছে। সাধারণত, আমি নিজেরাই প্যারামিটারের অনুমানগুলিতে এবং নিরপেক্ষতা বা কমপক্ষে ধারাবাহিকতা অর্জনে আগ্রহী। সঙ্কুচিত পদ্ধতিগুলি …

61 lasso  ridge-regression  shrinkage  lars 

আমি বুঝতে পারি যে রিজ রিগ্রেশন অনুমানটি হ'ল যা বর্গের অবশিষ্টাংশ এবং আকারের জরিমানার পরিমাণকে হ্রাস করেβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] যাইহোক, আমি সম্পূর্ণরূপে সত্য যে তাৎপর্য বুঝতে পারছি না βridgeβridge\beta_\text{ridge} থেকে পৃথক βOLSβOLS\beta_\text{OLS} শুধুমাত্র তির্যক করার জন্য একটি ছোট ধ্রুবক যোগ …

59 regression  least-squares  ridge-regression  shrinkage 

মডেল নির্বাচনের সমস্যাগুলি সমাধান করার জন্য, প্রচুর পদ্ধতি (এলএএসএসও, রিজ রিগ্রেশন ইত্যাদি) প্রেডিক্টর ভেরিয়েবলের সহগগুলি শূন্যের দিকে সঙ্কুচিত করবে। কেন এটি ভবিষ্যদ্বাণীপূর্ণ সক্ষমতা উন্নত করে তার একটি স্বজ্ঞাত ব্যাখ্যা খুঁজছি। যদি ভেরিয়েবলের আসল প্রভাবটি আসলে খুব বড় ছিল তবে পরামিতি সঙ্কুচিত হওয়ার কারণে আরও খারাপ ভবিষ্যদ্বাণী হবে না কেন?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

পূর্বাভাসকারী এবং নমুনা আকার সহ একটি ভাল পুরানো রিগ্রেশন সমস্যা বিবেচনা করুন । সাধারন জ্ঞান হ'ল ওএলএসের অনুমানকারী বেশি পরিমাণে আসবে এবং সাধারণত রিজ রিগ্রেশন অনুমানকারীকে ছাড়িয়ে যাবে:এটা তোলে ক্রস বৈধতা ব্যবহার করার জন্য একটি অনুকূল নিয়মিতকরণ প্যারামিটার এটি মান । এখানে আমি 10-গুণ সিভি ব্যবহার করি। স্পেসিফিকেশন আপডেট: যখন …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

রিজ রিগ্রেশনটির জন্য সমাধানটির ব্যয় নিয়ে আমার কিছু সমস্যা রয়েছে। আমি নিয়মিতকরণ শব্দটি ছাড়াই রিগ্রেশন সমাধানটি জানি: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. তবে ব্যয় কার্যক্রমে L2 শব্দটি করার পরে সমাধান কীভাবে আসেλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

পরিসংখ্যানগত শিক্ষার পরিচিতির 223 পৃষ্ঠায় , লেখকরা রিজ রিগ্রেশন এবং লাসোর মধ্যে পার্থক্যগুলির সংক্ষিপ্তসার জানিয়েছেন। তারা যখন "লাসো পক্ষপাতিত্ব, বৈকল্পিকতা এবং এমএসই-র ক্ষেত্রে রিজ রিগ্রেশনকে ছাড়িয়ে যায়" এর একটি উদাহরণ দেয় (চিত্র 6..৯)। আমি বুঝতে পারি যে লাসো কেন আকাঙ্ক্ষিত হতে পারে: এর ফলে বিরাট সমাধান পাওয়া যায় কারণ এটি …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

আমি কেবল কৌতূহল বোধ করি কেন সাধারণত কেবলমাত্র এল1L1L_1 এবং এল2L2L_2 নিয়মাবলী নিয়মিত হয়। এগুলি আরও ভাল কেন তার প্রমাণ রয়েছে?

36 lasso  regularization  ridge-regression 

মডেল নির্বাচন করতে যেমন ক্রস-বৈধকরণ ব্যবহার করা হয় (যেমন উদাহরণস্বরূপ হাইপারপ্যারামিটার টিউনিং) এবং সেরা মডেলের কর্মক্ষমতা মূল্যায়ন করতে, একজনকে নেস্টেড ক্রস-বৈধকরণ ব্যবহার করা উচিত । বাইরের লুপটি মডেলটির কার্যকারিতা মূল্যায়ন করা এবং অভ্যন্তরীণ লুপটি সেরা মডেলটি নির্বাচন করা হয়; মডেলটি প্রতিটি বাহ্যিক-প্রশিক্ষণ সেটে নির্বাচিত হয় (অভ্যন্তরীণ সিভি লুপ ব্যবহার করে) …

36 cross-validation  model-selection  ridge-regression 

আমি 50,000 এর বেশি ভেরিয়েবল সহ একটি মডেলের জন্য লাসো বা রিজ রিগ্রেশন ব্যবহার করতে চাই। আমি আর তে সফ্টওয়্যার প্যাকেজ ব্যবহার করে এটি করতে চাই the সংকীর্ণ প্যারামিটার ( ) কীভাবে অনুমান করতে পারি ?λλ\lambda সম্পাদনা: আমি এখানে পৌঁছতে পয়েন্টটি এখানে: set.seed (123) Y <- runif (1000) Xv <- …

36 r  lasso  ridge-regression  high-dimensional 

ইলাস্টিক নেট নিয়মিতকরণ কি সবসময়ই লাসো এবং রিজকে প্রাধান্য দেয় যেহেতু এই পদ্ধতির ত্রুটিগুলি সমাধান করার জন্য মনে হয়? অন্তর্দৃষ্টি কী এবং ইলাস্টিক জালের পিছনে গণিতটি কী?

35 regression  lasso  regularization  ridge-regression  elastic-net