- যদি তবে আমাদের পেনাল্টি শব্দটি ব্যতীত অন্য যে কোনও জন্য অসীম হবে , সুতরাং এটিই আমরা পেয়ে যাব। অন্য কোনও ভেক্টর নেই যা আমাদের উদ্দেশ্যমূলক কার্যের একটি সীমাবদ্ধ মূল্য দেবে।λ→∞ββ=0
(আপডেট: দয়া করে Glen_b এর উত্তর দেখার এই হল। না সঠিক ঐতিহাসিক কারণ!)
- এটি ম্যাট্রিক্স নোটেশনে রিজ রিগ্রেশন এর সমাধান থেকে আসে। সমাধানটি
শব্দটি মূল তির্যক একটি "শৈলশিরা" যোগ করা হয়েছে এবং গ্যারান্টী বা নিশ্চয়তা ফলে ম্যাট্রিক্স উল্টানোর হয়। এর অর্থ হল, ওএলএসের বিপরীতে আমরা সর্বদা একটি সমাধান পেয়ে যাব।
β^=(XTX+λI)−1XTY.
λI
পূর্বাভাসীদের পারস্পরিক সম্পর্কযুক্ত হলে রিজ রিগ্রেশন কার্যকর হয়। এই ক্ষেত্রে ওএলএস বিশাল সহগের সাথে বন্য ফলাফল দিতে পারে, তবে সেগুলিকে শাস্তি দেওয়া হলে আমরা আরও অনেক যুক্তিসঙ্গত ফলাফল পেতে পারি। সাধারণভাবে রিজ রিগ্রেশন একটি বড় সুবিধা হ'ল সমাধানটি সর্বদা উপস্থিত থাকে, যেমন উপরে বর্ণিত। এটি এমন ক্ষেত্রে এমনকি প্রযোজ্য যেখানে , যার জন্য ওএলএস কোনও (অনন্য) সমাধান সরবরাহ করতে পারে না।n<p
Prior ভেক্টরকে যখন কোনও সাধারণ পূর্বে রাখা হয় তখন রিজ রিগ্রেশনও ফলাফল ।β
এখানে Bayesian শৈলশিরা রিগ্রেশন নিতে দেওয়া হল: ধরুন আমাদের জন্য পূর্বের হয় । তারপরে কারণ [অনুমান করে] আমাদের কাছে
ββ∼N(0,σ2λIp)(Y|X,β)∼N(Xβ,σ2In)
π(β|y)∝π(β)f(y|β)
∝1(σ2/λ)p/2exp(−λ2σ2βTβ)×1(σ2)n/2exp(−12σ2||y−Xβ||2)
∝exp(−λ2σ2βTβ−12σ2||y−Xβ||2).
আসুন উত্তরবর্তী মোডটি সন্ধান করুন (আমরা উত্তরোত্তর গড় বা অন্যান্য জিনিসগুলিও দেখতে পারি তবে এর জন্য আসুন মোডটি দেখুন, অর্থাৎ সবচেয়ে সম্ভাব্য মান)। এর অর্থ আমরা
যা সমান
maxβ∈Rp exp(−λ2σ2βTβ−12σ2||y−Xβ||2)
maxβ∈Rp −λ2σ2βTβ−12σ2||y−Xβ||2
কারণ কঠোরভাবে একঘেয়ে এবং এটি পরিবর্তে
logminβ∈Rp||y−Xβ||2+λβTβ
যা দেখতে বেশ পরিচিত দেখা উচিত।
সুতরাং আমরা দেখতে যে আমরা যদি গড় 0 এবং ভ্যারিয়েন্স সঙ্গে একটি স্বাভাবিক পূর্বে করা আমাদের উপর ভেক্টর, মান যা অবর maximizes শৈলশিরা মূল্নির্ধারক হয়। মনে রাখবেন যে এটি ঘনত্ববাদী প্যারামিটার হিসাবে আরও কারণ এর পূর্বে কোনও পূর্বে নেই তবে এটি জানা যায়নি, সুতরাং এটি পুরোপুরি বায়েশিয়ান নয়।σ2λββσ2
সম্পাদনা: আপনি কেস সম্পর্কে জিজ্ঞাসা করেছেন যেখানে । আমরা জানি যে একটি hyperplane ঠিক দ্বারা সংজ্ঞায়িত করা হয় পয়েন্ট। যদি আমরা একটি লিনিয়ার রিগ্রেশন এবং চালিয়ে যাচ্ছি তবে আমরা আমাদের ডেটাটি হুবহু আলাদা করে পাই এবং পেয়ে যাব । এটি একটি সমাধান, তবে এটি একটি ভয়ানক future ভবিষ্যতের ডেটাগুলিতে আমাদের সম্পাদনা সম্ভবত অসাধ্য হবে। এখন ধরা যাক : এই পয়েন্টগুলির দ্বারা নির্ধারিত কোনও অনন্য হাইপারপ্লেন নেই। স্কয়ারের 0 টি অবশিষ্টাংশের সাথে আমরা হাইপারপ্লেনের একটি বিশাল সংখ্যাতে ফিট করতে পারি।n<pRppn=p||y−Xβ^||2=0n<p
খুব সাধারণ উদাহরণ: ধরুন । তারপরে আমরা এই দুটি পয়েন্টের মধ্যে একটি লাইন পাব। এখন ধরুন তবে । এতে এই দুটি পয়েন্ট সহ একটি বিমানের চিত্র দিন। এই দুটি পয়েন্ট এতে রয়েছে তা পরিবর্তন না করেই আমরা এই বিমানটি ঘোরাইতে পারি, সুতরাং আমাদের লক্ষ্যমাত্রার কার্যকারিতার একটি নিখুঁত মান সহ প্রচুর অসংখ্য মডেল রয়েছে, সুতরাং অতিপরিচ্ছন্নতার বিষয়টি ছাড়াই এটি কোনটি বেছে নেবে তা পরিষ্কার নয়।n=p=2n=2p=3
চূড়ান্ত মন্তব্য হিসাবে (প্রতি @ গুং এর পরামর্শ অনুসারে), লাসো (একটি জরিমানা ব্যবহার করে ) সাধারণত উচ্চ মাত্রিক সমস্যার জন্য ব্যবহৃত হয় কারণ এটি স্বয়ংক্রিয়ভাবে পরিবর্তনশীল নির্বাচন করে (কিছু সেট করে )) আনন্দের সাথে যথেষ্ট, এটি দেখা যাচ্ছে যে । ভেক্টরের আগে ডাবল এক্সফোনেনশিয়াল (ওরফে ল্যাপ্লেস) ব্যবহার করার সময় ল্যাসো পোস্টারিয়র মোড সন্ধানের সমতুল্য । Lasso যেমন এ saturating যেমন কিছু সীমাবদ্ধতা আছে, ভবিষ্যতবক্তা এবং অগত্যা একটি আদর্শ ফ্যাশন সম্পর্কিত ভবিষ্যতবক্তা দলের হ্যান্ডলিং, তাই ইলাস্টিক নেট (এর উত্তল সমন্বয় এবং জরিমানা) বহন আনা হতে পারে।L1βj=0βnL1L2