মহাকাশে একটি স্বেচ্ছাসেবীর পয়েন্টের দিকে কীভাবে এল 2 নিয়মিতকরণ বাস্তবায়ন করবেন?

11

ইয়ান গুডফেলির বই ডিপ লার্নিংয়ে আমি এমন কিছু পড়লাম ।

নিউরাল নেটওয়ার্কগুলির প্রসঙ্গে, "L2 প্যারামিটার আদর্শ শাস্তি সাধারণত ওজন ক্ষয় হিসাবে পরিচিত This স্পেসে "তবে শূন্যের দিকে মডেল পরামিতিগুলিকে নিয়মিত করা আরও বেশি সাধারণ। (ডিপ লার্নিং, গুডফেলো ইত্যাদি)

আমি উৎসুক. আমি বুঝতে পারি যে কেবলমাত্র আমাদের ব্যয় কার্যক্রমে একটি নিয়মিত পদ যুক্ত করে এবং এই মোট ব্যয় হ্রাস করে আমরা মডেলটির পরামিতিগুলিকে ছোট রাখতে প্রভাবিত করতে পারি: $J$

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

তবে কীভাবে কেউ এই নিয়মিত কৌশলটির এমন একটি সংস্করণ বাস্তবায়ন করবে যা কোনও স্বেচ্ছাসেবী বিন্দুর দিকে প্যারামিটারকে নিয়ে যাবে? (বলুন আমরা চাই আদর্শটি 5 এর দিকে ঝুঁকুক)

— ওষুধ মেশানো সুমিষ্ট পানীয়
সূত্র

14

আপনি আসলে দুটি ভিন্ন প্রশ্ন জিজ্ঞাসা করুন।

আদর্শের ঝোঁক 5 টি বোঝায় যে আপনি ওজনটি 5 ব্যাসার্ধের সাথে উত্সকে কেন্দ্র করে একটি হাইপারস্ফিয়ারের পৃষ্ঠের নিকটবর্তী হওয়া উচিত want

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

তবে আপনি এর পরিবর্তে মতো কিছু ব্যবহার করতে পারেন বলে $\lambda \cdot\text{abs}(||w||_2^2-5)$ আমার ধারণা।

অন্যদিকে, আপনি যদি একটি স্বেচ্ছাসেবী বিন্দুর দিকে ঝুঁকতে চান, আপনার কেবলমাত্র সেই বিন্দুটিকে কেন্দ্র হিসাবে ব্যবহার করতে হবে $c$ ।

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— সাইকোরাক্স মনিকাকে রিইনস্টেট বলে
সূত্র

(+1 টি) আমি সম্বন্ধে "আদর্শ পাঁচটি যাওয়ার ঝোঁক" এর সংস্করণে টিউনিং প্যারামিটারের পছন্দ মাধ্যমে হতে পারে মনে করার জন্য একটি ফলপ্রসূ উপায় মনে (বরং ফাংশন পরিবর্তন চেয়ে) ওপি কর্তৃক প্রদত্ত

J

$J$

— user795305

(আমি উপরের

— অর্থটি

এটি করার সময় একটি সাধারণ (ব্যবহারিক) লক্ষ্য হ'ল কিছু পরিচিত অপারেটিং পয়েন্টের প্রতি নিয়মিত করা যেমন আপনি আগের মডেলটি প্রতিস্থাপন করতে চান তবে যার জন্য আপনি "মসৃণ" রূপান্তর চান

— oDDsKooL

6

সংজ্ঞায়িত করুনআমরা জানি যে the , জরিমানার কারণে its এর উত্সটি এর মিনিমাইজার হিসাবে রয়েছে।

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

সাইকোরাক্স নির্দেশ করে যে, একইভাবে,এই সফল সাধারণীকরণটি আমাদের অনুমানকারী যেখানে a একটি ফাংশন হিসাবে প্রস্তাব করতে পারে যার মিনিমাইজার আমাদের অনুসন্ধান করা কিছু সম্পত্তি সন্তুষ্ট করে। প্রকৃতপক্ষে, সাইকোরাক্স গ্রহণ করে , যেখানে উৎপত্তিস্থলে (স্বতন্ত্র) ন্যূনতম এবং বিশেষত, । অতএব , পছন্দসই। দুর্ভাগ্যক্রমে, যদিও, উভয় পছন্দ $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ অনুমানকারীকে এমন জরিমানার দিকে নিয়ে যায় যা অনুমানকারীকে গণনা করা কঠিন।

উপরের বিশ্লেষণটি সর্বোত্তম সমাধান বলে মনে হচ্ছে (সম্ভবত এর পছন্দ পর্যন্ত , যার জন্য আমার কাছে এর চেয়ে ভাল পরামর্শ দেওয়ার মতো আর কেউ নেই) যদি আমরা জোর দিয়ে বলি যে "বর্ণিত" এর বর্ণিত অনন্য ব্যাখ্যা আছে প্রশ্নটি. তবে, ধরে যে , সেখানে কিছু যাতে মিনিমাইজার ডাব্লু_ OP ওপির সমস্যাটির ল্যাম্বদা ts । অতএবfunction টু উদ্দেশ্যমূলক ক্রিয়াকে পরিবর্তন করার প্রয়োজন ছাড়াই। যদি এরকম কোনও উপস্থিত না থাকে, তবে কম্পিউটিংয়ের সমস্যা $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ অভ্যন্তরীণভাবে কঠিন। প্রকৃতপক্ষে, টু প্রাকৃতিক বৈশিষ্ট্যগুলিকে উত্সাহিত করার চেষ্টা করার সময় ছাড়াও কোনও অনুমানকারী বিবেচনা করার দরকার নেই ।

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(দন্ডিত অনুমানকারী জরিমানার মূল্য অর্জন করে তা কার্যকর করার জন্য যা আনপেনালাইজড প্রাক্কলনকারী দ্বারা অর্জিত হয় না তা আমার কাছে অত্যন্ত অপ্রাকৃত বলে মনে হয় anyone বাস্তবে কাঙ্ক্ষিত এমন কোনও স্থানে যদি কেউ সচেতন থাকেন তবে মন্তব্য করুন!)

— user795305
সূত্র

1

এটি একটি দুর্দান্ত সংযোজন। +1

— সাইকোরাক্স বলছেন মনিকা

2

উপযুক্ত এটি নেতিবাচক লগ-সম্ভাবনা হিসাবে দেখা সম্ভব এবং যথাযথ নিয়ন্ত্রণ পূর্বের বিতরণের জন্য নেতিবাচক লগ-সম্ভাবনা হিসাবে দেখা যেতে পারে। এই পদ্ধতির ম্যাক্সিমিয়াম এ পোস্টেরেরি (এমএপি) বলা হয়। $L$ $J$

ম্যাপের আলোকে সাইকোরাক্সের উদাহরণগুলি দেখতে সহজ হওয়া উচিত।

এমএপি-র বিশদ জানতে আপনি এই নোটগুলি দেখতে পারেন । আমার অভিজ্ঞতা থেকে গুগল করা 'সর্বাধিক পোস্টেরিয়েরি নিয়মিতকরণ' ভাল ফলাফল দেয়।

— জাকুব বার্টকজুক
সূত্র