পেরসেপ্ট্রন বিধি বনাম গ্রেডিয়েন্ট বংশোদ্ভূত স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত বাস্তবায়ন সম্পর্কে স্পষ্টতা

Question

আমি বিভিন্ন পেরসেপ্ট্রন বাস্তবায়নের জন্য কিছুটা পরীক্ষা করেছি এবং "পুনরুক্তি" সঠিকভাবে বুঝতে পারছি কিনা তা নিশ্চিত করতে চাই।

রোজেনব্ল্যাট এর মূল পার্সেপেট্রন নিয়ম

যতদূর আমি বুঝতে পেরেছি, রোজেনব্ল্যাটের ক্লাসিক পার্সেপেট্রন অ্যালগরিদমে, ওজনগুলি প্রতিটি প্রশিক্ষণের উদাহরণের সাথে একযোগে আপডেট করা হয় যার মাধ্যমে

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

যেখানে $eta$ হয় শিক্ষা নিয়ম এখানে। এবং লক্ষ্য এবং প্রকৃত উভয়ই প্রান্তিক (-1 বা 1) হয়। আমি প্রশিক্ষণ নমুনার উপর দিয়ে 1 পুনরাবৃত্তি = 1 পাস হিসাবে এটি প্রয়োগ করেছি, তবে ওজন ভেক্টর প্রতিটি প্রশিক্ষণের নমুনার পরে আপডেট করা হয়।

এবং আমি হিসাবে "আসল" মান গণনা করি

$sign ({\pmb{w}^T\pmb{x}}) = sign( w_0 + w_1 x_1 + ... + w_d x_d)$

স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

পার্সেপট্রন রুল হিসাবে একই, targetএবং actualথ্রেশহোল্ড নয় বরং আসল মান। এছাড়াও, আমি "পুনরাবৃত্তি" প্রশিক্ষণের নমুনার উপরের পথ হিসাবে গণনা করি।

উভয়ই, এসজিডি এবং ক্লাসিক পার্সেপট্রন নিয়ম এই রৈখিক পৃথকযোগ্য ক্ষেত্রে একত্রিত হয়, তবে গ্রেডিয়েন্ট বংশোদ্ভূত বাস্তবায়নে আমার সমস্যা হচ্ছে।

গ্রেডিয়েন্ট বংশোদ্ভূত

এখানে, আমি প্রশিক্ষণের নমুনাটি অতিক্রম করেছি এবং প্রশিক্ষণের নমুনার উপর দিয়ে 1 পাসের ওজন পরিবর্তনের সংকলন করব এবং তারপরে ওজন আপডেট করব, যেমন,

প্রতিটি প্রশিক্ষণের নমুনার জন্য:

$\Delta{w_{new}} \mathrel{{+}{=}} \Delta{w}^{(t)} + \eta(target - actual)x_i$

...

প্রশিক্ষণ সেট 1 পাস করার পরে:

$\Delta{w} \mathrel{{+}{=}} \Delta{w_{new}}$

আমি ভাবছি, যদি এই অনুমানটি সঠিক হয় বা আমি কিছু অনুপস্থিত হয়। আমি বিভিন্ন (অসীম পর্যন্ত ছোট) শেখার হার চেষ্টা করেছি কিন্তু কখনও রূপান্তরিত হওয়ার কোনও চিহ্ন দেখাতে এটি পাইনি। সুতরাং, আমি ভাবছি যে আমি যদি স্টাথটি ভুল বুঝি। এখানে.

ধন্যবাদ, সেবাস্তিয়ান

Answer 1

$\Delta$

Perceptron:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \eta_t (y^{(i)} - \hat{y}^{(i)}) \pmb{x}^{(i)}$

$\hat{y}^{(i)} = \text{sign} ({\pmb{w}^\top\pmb{x}^{(i)}})$$i^{th}$

এটি নিম্নলিখিত "পার্সেপট্রন লস" ফাংশনে স্টোকাস্টিক সাবগ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি হিসাবে দেখা যেতে পারে *:

পারসেপ্ট্রন ক্ষতি:

$L_{\pmb{w}}(y^{(i)}) = \max(0, -y^{(i)} \pmb{w}^\top\pmb{x}^{(i)})$

$\partial L_{\pmb{w}}(y^{(i)}) = \begin{array}{rl} \{ 0 \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} > 0 \\ \{ -y^{(i)} \pmb{x}^{(i)} \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} < 0 \\ [-1, 0] \times y^{(i)} \pmb{x}^{(i)}, & \text{ if } \pmb{w}^\top\pmb{x}^{(i)} = 0 \\ \end{array}$

যেহেতু perceptron ইতিমধ্যে হয় SGD একটি ফর্ম, আমি নিশ্চিত না কেন SGD আপডেট perceptron আপডেট চেয়ে ভিন্ন হওয়া উচিত আছি। অ-প্রান্তিক মান সহ আপনি যেভাবে এসজিডি পদক্ষেপটি লিখেছেন, আপনি যদি কোনও উত্তর খুব সঠিকভাবে পূর্বাভাস করেন তবে আপনি ক্ষতির সম্মুখীন হবেন। এটা খারাপ.

আপনার ব্যাচের গ্রেডিয়েন্ট পদক্ষেপটি ভুল কারণ আপনি যখন "=" ব্যবহার করা উচিত তখন আপনি "+" "ব্যবহার করছেন। প্রতিটি ওজনের প্রশিক্ষণের জন্য বর্তমান ওজন যুক্ত করা হয় । অন্য কথায়, আপনি এটি যেভাবে লিখেছেন,

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \sum_{i=1}^n \{\pmb{w}^{(t)} - \eta_t \partial L_{\pmb{w}^{(t)}}(y^{(i)}) \}$

এটি হওয়া উচিত:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} - \eta_t \sum_{i=1}^n {\partial L_{\pmb{w}^{(t)}}(y^{(i)}) }$

$\eta_t = \frac{\eta_0}{\sqrt{t}}$

---

$\pmb{w}^\top\pmb{x}^{(i)} = 0$$\partial L= [-1, 0] \times y^{(i)} \pmb{x}^{(i)}$$\pmb{0} \in \partial L$$\pmb{w} = \pmb{0}$$-y^{(i)} \pmb{x}^{(i)} \in \partial L$

সুতরাং তারা হুবহু এক নয়, তবে আপনি যদি এই ধারণা থেকে কাজ করেন যে পারসেপ্ট্রন অ্যালগরিদমটি কোনও ক্ষতির ফাংশনের জন্য এসজিডি, এবং ক্ষতি ফাংশনটির বিপরীত প্রকৌশলী, পারসেপ্ট্রন ক্ষয়টি আপনিই শেষ করেন।

Comments

আপনাকে ধন্যবাদ স্যাম, এবং আমি আমার অগোছালো প্রশ্নের জন্য ক্ষমা চাইছি। ডেল্টাগুলি কোথা থেকে এসেছে তা আমি জানি না, তবে "+ =" জিনিসটি ভুল হয়ে গেছে। আমি সেই অংশটিকে পুরোপুরি অগ্রাহ্য করেছি। পুরো উত্তর জন্য ধন্যবাদ!