নিয়মিতকরণ এবং ল্যাংরেঞ্জ গুণকগুলির পদ্ধতির মধ্যে কী সংযোগ রয়েছে?

Question

Overfitting মানুষ মানুষ নিয়মিতকরণ পরামিতি সঙ্গে একটি নিয়মিতকরণ শব্দ (মডেল প্যারামিটার স্কোয়ারড সমষ্টি সমানুপাতিক) যোগ প্রতিরোধ করার জন্য রৈখিক রিগ্রেশনের খরচ ফাংশন। এই পরামিতিটি ল্যাম্বদা কি ল্যাংরেঞ্জ গুণক হিসাবে একই? সুতরাং নিয়মিতকরণ ল্যাগরেঞ্জ গুণক এর পদ্ধতির মতই কি? বা এই পদ্ধতিগুলি কীভাবে যুক্ত? $\lambda$$\lambda$

Answer 1

বলুন আমরা প্যারামিটার ভেক্টরের পরিমাপের উপর কিছুটা সীমাবদ্ধতা সাপেক্ষে কিছু মানদণ্ড পরামিতিগুলির সাথে মডেলকে (উদাহরণস্বরূপ স্ট্রাকচারাল ঝুঁকি কমানোর পদ্ধতির প্রয়োগের জন্য) ক্রমবর্ধমান জটিলতার মডেলগুলির নেস্টেট সেট তৈরি করা), আমাদের সমাধান করতে হবে:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

এই সমস্যার জন্য ল্যাংরাঞ্জিয়ান হ'ল (সতর্কতা: আমার মনে হয়, অনেক দিন কেটে গেছে ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

সুতরাং এটি সহজেই দেখা যায় যে নিয়মিতকরণ ব্যয় কার্যকারিতা নিয়মিতকরণ পরামিতি- নিয়মিত নিয়ন্ত্রণ বাধা ( ) এর সাথে সম্পর্কিত এবং ল্যাঞ্জারেজ গুণক হিসাবে সম্পর্কিত একটি সীমাবদ্ধ অপ্টিমাইজেশান সমস্যার সাথে সম্পর্কিত । $\lambda$$C$

এটি চিত্রিত করে যে উদাহরণস্বরূপ রিজ রিগ্রেশন কাঠামোগত ঝুঁকি হ্রাসকে কেন প্রয়োগ করে: নিয়মিতকরণ ওজন ভেক্টরের প্রস্থের উপর একটি সীমাবদ্ধতা রাখার সমতুল্য এবং যদি তবে সময় তৈরি হওয়া প্রতিটি মডেল যে$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

সীমাবদ্ধতার অধীনেও উপলব্ধ হবে

$\|\vec{\theta}\|^2 < C_1$ ।

সুতরাং হ্রাস করা ক্রমবর্ধমান জটিলতার হাইপোথিসিস স্পেসগুলির ক্রম তৈরি করে।$\lambda$