লাসোতে নিয়মিতকরণ প্যারামিটারের জন্য পরিসর এবং গ্রিড ঘনত্ব নির্বাচন করা


12

আমি ইতিমধ্যে লাসো (কমপক্ষে পরম সংকোচন এবং নির্বাচন অপারেটর) অধ্যয়ন করছি । আমি দেখতে পাচ্ছি যে নিয়মিতকরণ পরামিতিগুলির সর্বোত্তম মান ক্রস বৈধকরণের মাধ্যমে চয়ন করা যেতে পারে। আমি রিজ রিগ্রেশন এবং নিয়মিতকরণ প্রয়োগ করে এমন অনেকগুলি পদ্ধতিতেও দেখতে পাই, আমরা সর্বোচ্চ নিয়মিতকরণ পরামিতি (পেনাল্টি বলার) জন্য সিভি ব্যবহার করতে পারি। এখন আমার প্রশ্নটি প্যারামিটারের উপরের এবং নিম্ন সীমাটির প্রাথমিক মানগুলি এবং ক্রমটির দৈর্ঘ্য নির্ধারণ করার পদ্ধতি সম্পর্কে।

সুনির্দিষ্ট হিসাবে ধরা যাক, আমাদের কাছে একটি ল্যাসো সমস্যা এবং আমরা জরিমানার সর্বোত্তম মান, । তারপরে আমরা কীভাবে for এর জন্য নিম্ন এবং উচ্চতর ? এবং এই দুটি মানের মধ্যে কতগুলি বিভাজন between ?

LogLikelihood=(yxβ)(yxβ)+λ|β|1
λλ[a=?,b=?](ba)k=?

সম্পর্কিত প্রশ্ন এখানে
রিচার্ড হার্ডি

উত্তর:


13

এই পদ্ধতিটি সমন্বিত বংশোদ্ভূত মাধ্যমে জেনারাইজড লিনিয়ার মডেলগুলির জন্য গ্ল্যামনেট পেপার নিয়মিতকরণের পথে বর্ণনা করা হয়েছে । যদিও এখানকার পদ্ধতিটি এবং নিয়মিতকরণ উভয়ের সাধারণ ক্ষেত্রে , তবে এটি লাসোতে (শুধুমাত্র ) প্রয়োগ করা উচিত ।L1L2L1

সর্বাধিক এর সমাধানটি অধ্যায় 2.5 তে দেওয়া হয়েছে। λ

যখন , আমরা (5) থেকে দেখতে পাই যে যদি শূন্য থাকে । অতএবβ~=0β~j1N|xj,y|<λαNαλmax=maxl|xl,y|

তা হ'ল, আমরা লক্ষ্য করেছি যে বিটা সম্পর্কিত আপডেটের নিয়ম উপরে বর্ণিত সমস্ত প্যারামিটারের জন্য শূন্য করতে ।λ>λmax

of এর সংকল্প এবং গ্রিড পয়েন্টগুলির সংখ্যা কম মূলত মনে হচ্ছে। গ্ল্যামনেটে তারা সেট করে এবং তারপরে স্কেলে সমান ব্যবধানের পয়েন্টের একটি গ্রিড চয়ন করে।λminλmin=0.001λmax100

এটি অনুশীলনে ভালভাবে কাজ করে, আমার গ্ল্যামনেটের বিস্তৃত ব্যবহারে আমি এই গ্রিডটি খুব বেশি মোটা হয়ে ওঠেনি।

লাসোতে ( ) কেবলমাত্র জিনিসগুলি আরও ভাল কাজ করে, কারণ LARS পদ্ধতিটি যখন বিভিন্ন পূর্বাভাসকারী মডেলটিতে প্রবেশ করে তার জন্য একটি সুনির্দিষ্ট গণনা সরবরাহ করে। সত্যিকারের LARS সহগের জন্য সমাধানের পাথগুলির জন্য নির্ভুল অভিব্যক্তি তৈরি করে উপরে গ্রিড অনুসন্ধান করে না । দুটি ভবিষ্যদ্বাণীকারী ক্ষেত্রে সহগ পাথগুলির সঠিক গণনা সম্পর্কে এখানে একটি বিশদ বর্ণন।L1λ

অ-লিনিয়ার মডেলের ক্ষেত্রে (যেমন লজিস্টিক, পিসন) আরও কঠিন is একটি উচ্চ স্তরে, প্রথম হ্রাস ফাংশন একটি দ্বিঘাত পড়তা প্রাথমিক পরামিতি এ প্রাপ্ত হয় , এবং তারপর হিসাব উপরে নির্ধারণ করতে ব্যবহৃত হয় । এই ক্ষেত্রে প্যারামিটার পাথগুলির একটি নিখুঁত গণনা সম্ভব নয়, এমনকি যখন কেবলমাত্র নিয়মিতকরণ সরবরাহ করা হয়, তাই গ্রিড অনুসন্ধানই একমাত্র বিকল্প।β=0λmaxL1

নমুনা ওজন পরিস্থিতিকে জটিল করে তোলে, অভ্যন্তরীণ পণ্যগুলি ভারী অভ্যন্তরীণ পণ্যগুলির সাথে উপযুক্ত জায়গায় প্রতিস্থাপন করতে হবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.