কেন নিয়মিতকরণ শব্দটি ব্যয় কার্যক্রমে (বহুগুণ ইত্যাদির পরিবর্তে) যুক্ত করা হয়?

51

যখনই নিয়মিতকরণ ব্যবহৃত হয়, এটি প্রায়শই ব্যয় ফাংশনে যেমন নিম্নলিখিত ব্যয় ফাংশনে যুক্ত করা হয়। এটি আমার কাছে স্বজ্ঞাততা বোধ করে যেহেতু ন্যূনতম ব্যয় কার্যকারিতা অর্থ ত্রুটি (বাম শব্দ) হ্রাস করা এবং একই সময়ে (সহ সঠিক দুটি শব্দকে সামঞ্জস্য করা) সহগের (ডান শব্দ) এর দৈর্ঘ্যকে হ্রাস করা।

J (θ) = \frac{1}{2} (y - θ X^{T}) (y - θ X^{T})^{T} + α ‖ θ ‖_{2}^{2}

$J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2$

আমার প্রশ্ন হ'ল কেন এই নিয়মিতকরণ শব্দটি $\alpha\|\theta\|_2^2$ মূল ব্যয় ফাংশনে যুক্ত হয় এবং গুণিত হয় না বা এমন কোনও কিছু যা নিয়মিতকরণের ধারণার পিছনে প্রেরণার মনোভাব রাখে? এটি কি কারণ যদি আমরা কেবলমাত্র এতে শব্দটি যুক্ত করি তবে এটি যথেষ্ট সহজ এবং বিশ্লেষণাত্মকভাবে সমাধান করতে সক্ষম হয় বা এর আরও গভীর কারণ আছে?

regularization

— grenmester
সূত্র

1

আর একটি যুক্তি

— উপস্থাপক

2

লেগ্র্যাঞ্জিয়ান গুণক

— হাইটাও ডু

9

আপনার যদি পর্যবেক্ষণের তুলনায় আরও বেশি স্বাধীন ভেরিয়েবল থাকে তবে আপনি

\frac{1}{2} (y - θ X^{T}) (y - θ X^{T})^{T}

$\frac 1 2(y-\theta X^T)(y-\theta X^T)^T$ থেকে শূন্য বিভিন্ন উপায়ে পেতে সক্ষম হবেন, তাই কোনও কিছুর দ্বারা গুণ করলে তা হবে না একটি দরকারী মডেলকে আলাদা করতে সহায়তা করুন

— হেনরি

47

এটি বেয়েশিয়ার কাঠামোয় বেশ সুন্দর অন্তর্দৃষ্টি রয়েছে। বিবেচনা করুন যে নিয়মিত ব্যয় ফাংশন $J$ প্যারামিটারের কনফিগারেশনের সম্ভাবনার মতো একই ভূমিকা নিয়েছে - পর্যবেক্ষণ প্রদত্ত । বয়েস উপপাদ্য প্রয়োগ করে আমরা পাই: $\theta$ $X, y$

P (θ | X, y) = \frac{P (X, y | θ) P (θ)}{P (X, y)} .

$P(\theta|X,y) = \frac{P(X,y|\theta)P(\theta)}{P(X,y)}.$

অভিব্যক্তি লগ গ্রহণ আমাদের দেয়:

\log P (θ | X, y) = \log P (X, y | θ) + \log P (θ) - \log P (X, y) .

$\log P(\theta|X,y) = \log P(X,y|\theta) + \log P(\theta) - \log P(X,y).$

এখন, ধরা যাক হ'ল negative ণাত্মক ¹ লগ-পোস্টেরিয়র, । যেহেতু শেষ শব্দটি উপর নির্ভর করে না , তাই আমরা সর্বনিম্ন পরিবর্তন না করে এটিকে বাদ দিতে পারি। 1) সম্ভাবনা শব্দ: আপনি দুটি শর্তাবলীর সাথে ফেলে রাখা হয় উপর নির্ভর করে এবং , এবং 2) পূর্বে মেয়াদ উপর নির্ভর করে শুধুমাত্র। এই দুটি পদ আপনার সূত্রে ডেটা টার্ম এবং নিয়ামককরণ পদের সাথে হুবহু মিল রয়েছে। $J(\theta)$ $-\log P(\theta|X,y)$ $\theta$ $\log P(X,y|\theta)$ $X$ $y$ $\log P(\theta)$ $\theta$

আপনি আরও এগিয়ে গিয়ে দেখাতে পারেন যে আপনি যে ক্ষতির কাজটি পোস্ট করেছেন তা নীচের মডেলের সাথে ঠিক মিলেছে:

P (X, y | θ) = N (y | θ X, σ_{1}^{2}),

$P(X,y|\theta) = \mathcal{N}(y|\theta X, \sigma_1^2),$

P (θ) = N (θ | 0, σ_{2}^{2}),

$P(\theta) = \mathcal{N}(\theta | 0, \sigma_2^2),$

যেখানে পরামিতি শূন্য গড় গসিয়ান বন্টন থেকে আসা ও পর্যবেক্ষণের শূন্য গড় গসিয়ান গোলমাল আছে। আরও তথ্যের জন্য এই উত্তর দেখুন । $\theta$ $y$

¹ নেতিবাচক যেহেতু আপনি সম্ভাবনা সর্বাধিক করতে চান তবে ব্যয়টি হ্রাস করুন।

— জান কুকাকা
সূত্র

5

আমি এই উত্তরটি দিয়ে কিছুটা অসন্তুষ্ট কারণ এটি কেবল ব্যয় ফাংশন এবং লগ-পোস্টেরিয়রের মধ্যে চিঠিপত্রকে তরঙ্গ করে। যদি ব্যয়টি লগ-পোস্টেরিয়রের সাথে নয় বরং পরবর্তীকালের সাথে সামঞ্জস্য হয় তবে আমরা সিদ্ধান্তে পৌঁছতে পারি যে নিয়মিতকরণটি অন-নিয়মিত ব্যয়ের (বহুগুণে ওপি সম্পর্কে জিজ্ঞাসা করা হয়েছে) হিসাবে গুণ করা উচিত। - এই উত্তরটিকে যথাযথভাবে ন্যায়সঙ্গত করার জন্য আপনাকে ন্যায্যতা দিতে হবে যে এটি লগ-পোস্টেরিয়র যা আমরা ব্যয়ের সাথে সমান করছি। (আপনি "আরও এগিয়ে যান" দিয়ে সাজানোর চেষ্টা করুন তবে আপনি সেই মুহুর্তে কিছুটা হাতের avyেউ পেয়েছেন))

— আরএম

1

@ আরএম, বৈধ পয়েন্ট এর একটি কারণ রয়েছে: এটি কারণ যে মেশিন লার্নিংয়ে ব্যবহৃত স্ট্যান্ডার্ড লোকস ফাংশনগুলি পোস্টারিয়রের চেয়ে লগ-পোস্টেরিয়রের সাথে সামঞ্জস্য হয়। কেন? কারণ তারা অভিজ্ঞতাগত ঝুঁকি হ্রাসকে ব্যবহার করে; , এবং স্ট্যান্ডার্ড ক্ষতি ফাংশন সাধারণত রূপ নিতে যেখানে লস ফাংশন যা লগ-পোস্টেরিয়র সম্ভাবনা হিসাবে বোধগম্য ব্যাখ্যা রয়েছে। (আমি সন্দেহ করি আপনি এটি জানেন, তবে আমি কেবল এটি অন্য দর্শকদের জন্য বানান করছি))

\log P (X_{1}, \dots, X_{n}, y_{1}, \dots, y_{n} | θ) = \sum_{i} \log P (X_{i}, y_{i} | θ)

$\log P(X_1,\dots,X_n,y_1,\dots,y_n|\theta) = \sum_i \log P(X_i,y_i|\theta)$

\sum_{i} f (X_{i}, y_{i}, θ_{i})

$\sum_i f(X_i,y_i,\theta_i)$

f

$f$

— ডিডাব্লু

@RM আপনি কিছু খরচ যদি আপনি সবসময় শুধু আপনার সমস্যা পরিপ্রেক্ষিতে পুনরায় সংজ্ঞায়িত পারে । অন্য কথায়, আপনার ব্যয় ফাংশন যা-ই হোক না কেন, এটি কিছুটা সাধারণীকরণের ধ্রুবক দ্বারা বিভক্ত on এর উপর ভিত্তি করে একটি বিতরণকে সংজ্ঞায়িত করে যা এমসিএমসি পদ্ধতি ব্যবহার করার সময় আপনি উপেক্ষা করতে পারেন। আসলে আপনি সবসময় একটি সূচকীয় পরিপ্রেক্ষিতে নতুন করে বিবৃত করা করতে পারেন যেমন সিমিউলেটেড অ্যানিলিং, এমসিএমসি samplers, ইত্যাদি জন্য খুবই গুরুত্বপূর্ণ

C

$C$

C = \exp \ln C

$C = \exp{\ln C}$

\exp \ln C

$\exp{\ln C}$

— এলী

@ আরএম, উদাহরণস্বরূপ, জুন লিউ-র এই পেপারটি বিবেচনা করুন (এবং লিউর এমসিমিসি বইতে একই রকম মন্তব্য রয়েছে), যেখানে নীচের পৃষ্ঠায় 3 পৃষ্ঠায় বলা হয়েছে, "লেট investigation তদন্তাধীন লক্ষ্য সম্ভাবনা বিতরণ হোন (সম্ভবত সমস্ত পিডিএফস এই ফর্মটিতে লেখা যেতে পারে) "(জোর যুক্ত)। সুতরাং বায়েশিয়ান দৃষ্টিকোণ থেকে যেখানে সম্ভাবনার মডেল দ্বারা সংজ্ঞায়িত উত্তরকালের অংশটি এই ক্ষতির ফাংশন হবে, এই উত্তরের জন্য এই বায়েশিয়ান পচন পুরোপুরি সাধারণ হবে।

π (x) = c \exp - h (x)

$\pi(x) = c\exp{-h(x)}$

— এলী

উত্তরের জন্য ধন্যবাদ! আমি আপনার পোস্টের শুরুতে "এটি" বোঝার চেষ্টা করছি: বেইসিয়ান কাঠামোর মধ্যে আপনি ঠিক কী দাবি করছেন? জরিমানা যুক্ত করার মূল কারণটি কেন ভাল অনুমান দেয়? বা theseতিহাসিক (এবং নন-স্টেটেস্টিকাল) কারণ কেন লোকেরা এই সংযোজনমূলক অনুমানকারী ব্যবহার করে? (আমি যখন আমার

— মুখবন্ধটি বোঝানোর

34

জান এবং ক্যাগডাস নিয়মিতভাবে অগ্রণী হিসাবে ব্যাখ্যা করে, একটি ভাল বায়েশিয়ান কারণ দিয়েছেন। এখানে কিছু বেইসিয়ান নেই:

যদি আপনার অনিয়ন্ত্রিত উদ্দেশ্য উত্তল হয়, এবং আপনি একটি উত্তল নিয়ামক যোগ করেন, তবে আপনার মোট উদ্দেশ্য এখনও উত্তল হবে। আপনি যদি এটির গুণ বা অন্যান্য সংমিশ্রনের অন্যান্য পদ্ধতিগুলি গুণ করেন তবে এটি সত্য হবে না। উত্তল অপটিমাইজেশন অ-উত্তল অপটিমাইজেশনের তুলনায় সত্যই দুর্দান্ত; উত্তল সূত্রটি যদি কাজ করে তবে এটি করা ভাল।
কখনও কখনও এটি একটি খুব সহজ বদ্ধ ফর্ম বাড়ে, যেমন ডাব্লুপিওফ উল্লেখ করেছে রিজ রিগ্রেশনের ক্ষেত্রে।
যদি আপনি সমস্যাটি মনে করেন আপনি "সত্যই" একটি কঠিন প্রতিবন্ধকতা হিসাবে একটি সমস্যা হিসাবে সমাধান করতে চান তবে এর ল্যাঞ্জরেজ হচ্ছে সমস্যা যদিও না আছে Lagrange, দ্বৈত ব্যবহার করতে, অনেক এটা সম্পর্কে বোঝা যায়।
$min_{θ : c (θ) \leq 0} J (θ),$ $\min_{\theta : c(\theta) \le 0} J(\theta) ,$ $min_{θ} J (θ) + λ c (θ) .$ $\min_\theta J(\theta) + \lambda c(\theta) .$
হিসাবে উল্লিখিত ogogmad , representer উপপাদ্য একটি যুত শাস্তি ক্ষেত্রে প্রযোজ্য: আপনি নিখুত চান সামগ্রিকভাবে উপর প্রতিলিপি কার্নেল হিলবার্ট স্পেস ফাংশন , তাহলে আমরা জানি যে পুরো স্থান উপর অপ্টিমাইজেশান সমাধান অনেক ক্ষতির জন্য একটি সহজ সসীম-মাত্রিক subspace মধ্যে মিথ্যা ; আমি জানি না এটি একটি গুণমূলক নিয়ামক (যদিও এটি হতে পারে) রাখে। এটি কার্নেল এসভিএমগুলির আন্ডারপিনিং। $f$ $\mathcal H$
$min_{f \in H} J (f) + λ ‖ f ‖_{H}^{2}$ $\min_{f \in \mathcal H} J(f) + \lambda \lVert f \rVert_{\mathcal H}^2$ $J$
যদি আপনি যাইহোক গভীর শেখা বা অবিরত কিছু করছেন: সংযোজনীয় ক্ষয়গুলি সহজ সংযোজনীয় গ্রেডিয়েন্ট দেয়। আপনি যে সাধারণ নিয়মিত ব্যবহার করেছিলেন তার জন্য এটি খুব সহজ ওজন ক্ষয় হয়ে যায় । তবে আরও জটিল নিয়ন্ত্রকের জন্য, ডাব্লুজিএএন-জিপি -র ক্ষতি ব্যাকপ্রসারণের জন্য গ্রেডিয়েন্টগুলি গণনা করা আরও সহজ যখন কেবল ক্ষতির পরিমাণ এবং জটিল নিয়মিতকরণ (আলাদাভাবে বিষয় বিবেচনা করে) বিবেচনা করতে হবে, তার পরিবর্তে পণ্য নিয়ম না। $L_2$
$\sum_{x, y} \underset{the loss}{\underset{⏟}{f_{θ} (x) - f_{θ} (y)}} + λ \underset{the regularizer}{\underset{⏟}{{\hat{E}}_{α \sim U n i f o r m (0, 1)} {(‖ \nabla f_{θ} (α x + (1 - α) y) ‖ - 1)}^{2}}},$ $\sum_{x,y} \underbrace{f_\theta(x) - f_\theta(y)}_\text{the loss} + \lambda \underbrace{\mathbb{\hat E}_{\alpha \sim \mathrm{Uniform}(0, 1)} \left( \lVert \nabla f_\theta(\alpha x + (1 - \alpha) y) \rVert - 1\right)^2}_\text{the regularizer},$
অ্যাডিটিভ লোকসগুলি জনপ্রিয় এডিএমএম অপ্টিমাইজেশন অ্যালগরিদম এবং অন্যান্য "পচন"-ভিত্তিক অ্যালগরিদমগুলিতেও উপযুক্ত।

এগুলির মধ্যে কোনও কঠোর এবং দ্রুত নিয়ম নয় এবং প্রকৃতপক্ষে কখনও কখনও একটি গুণ (বা অন্য কোনও) নিয়মিত আরও ভাল কাজ করতে পারে ( ওগোগমাদ পয়েন্ট হিসাবে )। (প্রকৃতপক্ষে, আমি কেবলমাত্র অন্য দিনটি উপরের ডাব্লুজিএএন-জিপি অ্যাডেটিভের তুলনায় কীভাবে গুণক নিয়ামক হিসাবে কিছু ব্যাখ্যা করতে পারি সে সম্পর্কে একটি কাগজ জমা দিয়েছিলাম !) তবে আশা করা যায় যে এটি কেন অ্যাডিটিভ নিয়ন্ত্রকরা "ডিফল্ট" explain

— Dougal
সূত্র

2

+1 টি। আপনার [সম্ভবত NIP] জমা দেওয়ার জন্য শুভকামনা!

— অ্যামিবা বলছেন

13

আপনি উদ্দেশ্য ফাংশন উভয় পদ হ্রাস করতে চান । অতএব, আপনাকে শর্তগুলি ডিকুয়াল করা দরকার। আপনি যদি শর্তগুলি গুন করেন তবে আপনার একটি শব্দ বড় এবং অন্যটি খুব কম থাকতে পারে। সুতরাং, আপনি এখনও অবজেক্টিভ ফাংশনের একটি স্বল্প মূল্য দিয়ে শেষ করেছেন, তবে একটি অনাকাঙ্ক্ষিত ফলাফল।

আপনি এমন একটি মডেলটি শেষ করতে পারেন যা কোনও ভবিষ্যদ্বাণীক শক্তি ছাড়াই সবচেয়ে পরিবর্তনশীল শূন্যের কাছাকাছি থাকে।

উদ্দেশ্য ফাংশন, যা হ্রাস করা হবে যে ফাংশন, ব্যয় ফাংশন এবং নিয়মিতকরণ পদগুলির যোগফল হিসাবে নির্মিত যেতে পারে।

যদি উভয়ই একে অপরের উপর স্বতন্ত্র থাকে, আপনি উদ্দেশ্যটির জন্য প্রথম চিত্রটিতে অঙ্কিত মানগুলি পাবেন। আপনি যোগফলের ক্ষেত্রে দেখুন, সেখানে সর্বনিম্ন একটি (0, 0) আছে। পণ্যের ক্ষেত্রে আপনার অস্পষ্টতা রয়েছে। আপনার কাছে পুরো হাইপার-সারফেস শূন্যের সমান (x = 0 বা y = 0) হবে। সুতরাং, অপ্টিমাইজেশন অ্যালগরিদম আপনার আরম্ভের উপর নির্ভর করে যে কোনও জায়গায় শেষ হতে পারে। এবং কোন সমাধানটি আরও ভাল তা সিদ্ধান্ত নিতে পারে না।

— সোরেন
সূত্র

10

আপনি অন্যান্য বাইনারি অপারেশনগুলি ( ) চেষ্টা করতে পারেন এবং দেখুন কীভাবে তারা তুলনা করে। $\max,\min,\times$

সঙ্গে সমস্যা এবং যে যদি ত্রুটি হয় , তারপর নিয়মিত শাস্তি আপ হচ্ছে শেষ হয়ে যাবে । এটি মডেলকে অতিরিক্ত সাজাতে দেয়। $\min$ $\times$ $0$ $0$

with সমস্যাটি হ'ল আপনি দুটি কঠোরতর শাস্তি (প্রশিক্ষণের ত্রুটি বা নিয়মিতকরণ) এর "কঠোর" ন্যূনতম করে শেষ করেছেন তবে অন্যটি নয়। $\max$

বিপরীতে, সহজ এবং এটি কাজ করে। $+$

আপনি জিজ্ঞাসা করতে পারেন কেন অন্যান্য বাইনারি অপারেশন? তাদের যুক্তি দিতে পারে এমন কোনও যুক্তি নেই, তবে কেন সত্যই নয়?

— jkabrg
সূত্র

8

আমার মনে হয় আপনার একটি বৈধ প্রশ্ন আছে। আপনাকে যথাযথ উত্তর দেওয়ার জন্য আপনাকে সমস্যার সম্ভাব্য প্রকৃতিটি বুঝতে হবে।

প্রদত্ত ডেটা: সাধারণভাবে সমস্যা আমরা সমাধান করার চেষ্টা করছেন অনুসরণ করছে কি অনুমানের বিতরণের যে এই তথ্য ব্যাখ্যা করে। যখন আমরা হাইপোথিসিস বলি তখন আমরা একটি পিডিএফ বোঝায় (কমপক্ষে এই প্রসঙ্গে)। এবং অনুমানের একটি বিতরণ পিডিএফ এর পিডিএফ, অর্থাত্, । $D$ $p(H | D)$

$p(H | D)$ হ'ল অনুমানের উপর বিতরণ । আমরা যদি এটির সন্ধান করতে পারি তবে আমরা এই অনুমানগুলির মধ্যে একটি নির্বাচন করতে পারি, উদাহরণস্বরূপ, সর্বোচ্চ সম্ভাবনা সহ একটি, বা আমরা সেগুলি সর্বোপরি গড় চয়ন করতে পারি। কিছুটা সহজ পদ্ধতির মধ্যে রয়েছে বেইসের উপপাদ্যটি ব্যবহার করে সমস্যাটিকে অন্য দিক থেকে আক্রমণ করা। $D$

$p (H | D) = \frac{p (D | H) \times p (H)}{p (D)}$ $p(H|D) = \frac{p(D|H)\times p(H)}{p(D)}$
$p(D|H)$ অনুমানের একটি, একে সম্ভাবনাও বলা হয়। হ'ল ডেটা পর্যবেক্ষণ করার আগে আমাদের মহাবিশ্বের অনুমানের বিতরণ। আমরা ডেটা পর্যবেক্ষণ করার পরে আমরা আমাদের বিশ্বাস আপডেট করি। $p(H)$
$p(D)$ হ'ল হাইপোথিসির গড় যা আমরা আমাদের বিশ্বাসকে আপডেট করি।

এখন আমরা যদি বায়েসের সমীকরণের উভয় পক্ষের নিই: $-\log$

- \log [p (H | D)] = - \log [p (D | H)] - \log [p (H)] + \log [p (D)]

$-\log [p(H|D)] = -\log [p(D|H)] -\log [p(H)] + \log [p(D)]$

সাধারণত গণনা করা কঠিন। ভাল জিনিস এটি ফলাফল প্রভাবিত করে না। এটি কেবল একটি নরমালাইজেশন ধ্রুবক। $p(D)$

এখন উদাহরণস্বরূপ যদি আমাদের হাইপোথেসিসের সেট সহ গৌসিয়ানদের একগুচ্ছ যেখানে আমরা জানি না , তবে জানার জন্য ধরে নিন (বা কমপক্ষে এটি একটি ধ্রুবক হিসাবে অনুমান করুন), এবং এরপরে হাইপোথিসগুলি নিজেরাই with দিয়ে গাউসিয়ান হিসাবে বিতরণ করা হয়েছে তারপরে উপরের সমস্ত কিছু প্লাগ করে এমন কিছু দেখাচ্ছে: $p(D|H)$ $p(y|X,\theta)\sim N(\theta X,\sigma)$ $\theta$ $\sigma$ $p(H) = p(\theta) \sim N(0,\alpha^{-1} I)$

- \log [p (H | D)] = bunch of constants + \frac{1}{2} (y - θ X)^{2} + \frac{1}{2} α | | θ | |^{2} + c o n s t a n t

$-\log [p(H|D)] = \text{bunch of constants} + \frac{1}{2}(y-\theta X)^2 + \frac{1}{2}\alpha||\theta||^2 + {\rm constant}$

এখন আমরা যদি এই অভিব্যক্তিটি হ্রাস করি আমরা সর্বাধিক সম্ভাবনার সাথে অনুমানটি পাই। ধ্রুবকগুলি হ্রাসকে প্রভাবিত করে না। এটি আপনার প্রশ্নের অভিব্যক্তি।

যে বিষয়টি আমরা গাউসিয়ানদের ব্যবহার করেছিলাম তা নিয়মিতকরণের মেয়াদটি অতিরিক্ত change এটি অবশ্যই যুক্ত হতে হবে (লগের পদগুলিতে বা সম্ভাবনায় গুণক), অন্য কোনও পছন্দ নেই। আমরা অন্যান্য বিতরণগুলি ব্যবহার করি তবে কী পরিবর্তন হবে তা সংযোজনের উপাদান। আপনার প্রদত্ত ব্যয় / ক্ষতি কার্যকারিতা গাউসিয়ানদের নির্দিষ্ট দৃশ্যের জন্য অনুকূল।

— ক্যাগডাস ওজজেঙ্ক
সূত্র

আরে কাগডাস, ব্যাখ্যার জন্য ধন্যবাদ। আমি আরএইচএসে সর্বশেষ সমীকরণের রূপান্তর বুঝতে পারি নি। এই অংশটি আরও স্পষ্টভাবে বুঝতে আমার জন্য কোনও উত্সকে নির্দেশ করতে পারেন

— ইটাচি

7

রিজ একটি খুব সুবিধাজনক সূত্র। সম্ভাব্য উত্তরগুলির বিপরীতে, এই উত্তরগুলি অনুমানের কোনও ব্যাখ্যা দেয় না তবে এর পরিবর্তে ব্যাখ্যা করে কেন রিজটি একটি পুরাতন এবং সুস্পষ্ট গঠন form

লিনিয়ার রিগ্রেশন-এ, সাধারণ সমীকরণগুলি $\hat{\theta} = (X^TX)^{-1} X^T y$

তবে, ম্যাট্রিক্স কখনও কখনও অবিচ্ছিন্ন হয় না; : এটা সমন্বয় করার এক উপায় তির্যক করার জন্য একটি ছোট উপাদান যোগ করে হয় । $X^TX$ $X^TX + \alpha I$

এটি সমাধান দেয়: ; তারপরে মূল সমস্যাটি সমাধান করে না বরং এর পরিবর্তে রিজ সমস্যাটি সমাধান করে। $\tilde{\theta} = (X^TX + \alpha I)^{-1} X^T y$ $\tilde{\theta}$

— wpof
সূত্র

3

আপনি উল্লেখ করছেন উত্তর নির্দিষ্ট করুন। "উপরে" সহজাতভাবে অস্পষ্ট হয়ে ওঠার সাথে সাথে ভোটগুলি জমে যাওয়ার সাথে সাথে অর্ডারিংটি প্রায় সরবে।

— গুং - মনিকা পুনরায়

1

আমি মনে করি কেন আমরা নিয়মিতকরণের মেয়াদে গুণ করতে পারি না তার আরও স্বজ্ঞাত কারণ রয়েছে।

আমাদের পেনাল্টি ফাংশনটিকে আপনার প্রস্তাব মতো নিয়মিতকরণের মেয়াদ দিয়ে গুণিত নিয়মিত পেনাল্টি ফাংশনে নিয়ে আসুন।

J (θ) = (\frac{1}{2} (y - θ X^{T}) (y - θ X^{T})^{T}) α ‖ θ ‖_{2}^{2}

$J(θ)=(\frac{1}{2}(y−θX^T)(y−θX^T)^T)α‖θ‖^2_2$

এখানে আমরা বিশ্বব্যাপী সর্বনিম্ন পেনাল্টি ফাংশন তৈরি করি যেখানে । এক্ষেত্রে আমাদের মডেল পূর্বাভাস এবং ডেটাগুলির মধ্যে উচ্চ ত্রুটি তৈরি করতে পারে তবে মডেল প্যারামিটারের ওজনগুলি সমস্ত শূন্য হলে আমাদের পেনাল্টি ফাংশনটি শূন্য । $α‖θ‖^2_2=0$ $J(θ=0)=0$

যেহেতু, আমাদের মডেল পুরোপুরি নিখুঁত না হলে শব্দটি কখনই শূন্য হতে পারে না (সম্ভবত কোনও সেট রয়েছে exists আমাদের মডেলটিকে 'নিখুঁত' করতে সত্যিকারের তথ্যের জন্য উপেক্ষণীয়), তারপরে আমাদের মডেলটিকে সর্বদা সমাধানের দিকে ট্রেনের ঝোঁক দেওয়া উচিত θ = 0। $(\frac{1}{2}(y−θX^T)(y−θX^T)^T)$

এটি কোনও জায়গায় স্থানীয় সর্বনিম্নে আটকে না থাকলে এটি ফিরে আসবে।

— জেমস ফুলটন
সূত্র