কেউ দয়া করে ব্যাক-প্রসারণ অ্যালগরিদম ব্যাখ্যা করতে পারেন? [প্রতিলিপি]

13

ব্যাক-প্রসারণ অ্যালগরিদম কী এবং এটি কীভাবে কাজ করে?

algorithms optimization neural-networks

1

কেউ আগ্রহী হলে আমি এখানে এই প্রশ্নের উত্তর একসাথে রেখেছি (আমি পুনরায় পোস্ট করতে চাইনি)।

— ফিলিইডা

14

পিছনের বংশবিস্তার অ্যালগরিদম একটি নিউরাল নেটওয়ার্ক মডেল ফিট করার জন্য গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদম। (@ ডিক্রান দ্বারা উল্লিখিত হিসাবে) আমাকে কীভাবে তা ব্যাখ্যা করতে দিন।

আনুষ্ঠানিকভাবে: নীচের সমীকরণের মধ্যে এই পোস্টের শেষে গ্রেডিয়েন্টের গণনা ব্যবহার করে [1] নীচে (এটি গ্রেডিয়েন্ট বংশোদ্ভূত একটি সংজ্ঞা) একটি গ্রেডিয়েন্ট বংশোদ্ভূত ব্যবহারের একটি বিশেষ ক্ষেত্রে হিসাবে পিছনে বংশবৃদ্ধির অ্যালগরিদম দেয়।

একটি নিউরাল নেটওয়ার্ক মডেল আনুষ্ঠানিকভাবে, আমরা একটি সাধারণ একক স্তর মডেল দিয়ে ধারণাগুলি স্থির করি:

যেখানে এবং সমস্ত , , এবং

f (x) = g (A^{1} (s (A^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

,

অজানা অ্যাফাইন ফাংশন। ফাংশন

শ্রেণীবিন্যাস কাঠামোর মধ্যে সক্রিয়করণ ফাংশন বলা হয়।

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

আইডিয়াগুলি ঠিক করার জন্য একটি চতুর্ভুজিক ক্ষতি ফাংশন নেওয়া হয়। অত: পর ইনপুট এর ভেক্টর বাস্তব আউটপুট লাগানো যেতে পারে এর : (ভেক্টর হতে পারে) গবেষণামূলক ক্ষতি কমানোর দ্বারা $(x_1,\dots,x_n)$ $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$ এবং পছন্দটি সম্পর্কিত।

R_{n} (A^{1}, A^{2}) = \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

গ্রেডিয়েন্ট বংশদ্ভুত একজন grandient বংশদ্ভুত কমানোর জন্য একটি আলগোরিদিম যে বারবার: ভাল মনোনীত পদক্ষেপ মাপ জন্য (নামেও শেখার হার পিছনে প্রচারের কাঠামোতে)। এটি এর গ্রেডিয়েন্টের গণনা প্রয়োজন। বিবেচিত ক্ষেত্রে $\mathcal{R}$

a_{l + 1} = a_{l} - γ_{l} \nabla R (a_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

।

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$ $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R [1 : M] = - 2 \times \sum_{i = 1}^{n} z_{i} g^{'} (z_{i}) (y_{i} - f (x_{i}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R [1 : p, m] = - 2 \times \sum_{i = 1}^{n} x_{i} g^{'} (z_{i}) z_{i} [m] σ^{'} (A^{2} (x_{i}) [m]) (y_{i} - f (x_{i}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

$x[a:b]$ $x$ $a$ $b$

— রবিন গিরার্ড
সূত্র

11

ব্যাক-প্রোগোশনটি ওজনের ক্ষেত্রে ত্রুটি ফাংশনের ডাইরিভেটিভকে কাজ করার একটি উপায়, যাতে মডেলটি গ্রেডিয়েন্ট বংশোদ্ভূত অপ্টিমাইজেশন পদ্ধতিগুলি দ্বারা প্রশিক্ষিত হতে পারে - এটি মূলত কেবল "চেইন রুল" এর প্রয়োগ। এটির চেয়ে আসলে এর থেকে বেশি কিছুই নেই, সুতরাং আপনি যদি ক্যালকুলাস নিয়ে স্বাচ্ছন্দ্য বোধ করেন তবে এটি মূলত এটি দেখার সর্বোত্তম উপায়।

আপনি যদি ক্যালকুলাসের সাথে স্বাচ্ছন্দ্য বোধ করেন না তবে একটি আরও ভাল উপায় হ'ল আমরা জানি আউটপুট ইউনিটগুলি কতটা খারাপভাবে করছে তা আমাদের জানাচ্ছে কারণ প্রকৃত আউটপুটটির সাথে তুলনা করার জন্য আমাদের একটি কাঙ্ক্ষিত আউটপুট রয়েছে। তবে লুকানো ইউনিটগুলির জন্য আমাদের পছন্দসই আউটপুট নেই, তাই আমরা কী করব? ব্যাক-প্রসারণের নিয়মটি আউটপুট ইউনিটগুলির ত্রুটির জন্য আড়াল ইউনিটগুলিতে দোষ চাপিয়ে দেওয়ার মূলত একটি উপায়। কোনও নির্দিষ্ট আউটপুট ইউনিটে কোনও লুকানো ইউনিট যত বেশি প্রভাব ফেলবে তত ত্রুটির জন্য তত বেশি দোষ দেয়। কোনও গোপন ইউনিটের সাথে যুক্ত মোট দোষ তারপরে ইনপুট থেকে লুকানো স্তরের ওজনকে কত পরিবর্তন করতে হবে তার একটি ইঙ্গিত দেয়। যে দুটি জিনিস কতটা দোষ ফিরিয়ে দেওয়া হয়েছে তা পরিচালনা করে হ'ল লুকানো এবং আউটপুট স্তরের ওজনকে স্পষ্টভাবে সংযুক্ত করে ওজন (স্পষ্টতই) এবং লুকানো ইউনিটের আউটপুট (যদি এটি ফিসফিসিংয়ের চেয়ে চেঁচিয়ে উঠছে তবে এর আরও বেশি প্রভাব পড়তে পারে)। বাকিটি হ'ল গাণিতিক ছদ্মবেশ যা সেই অন্তর্দৃষ্টিটিকে প্রশিক্ষণের মানদণ্ডের ডেরাইভেটিভে পরিণত করে।

আমি একটি সঠিক উত্তরের জন্য বিশপস বইয়েরও সুপারিশ করতাম! ; O)

— ডিকরান মার্সুপিয়াল
সূত্র

2

এটি ফিডফোরওয়ার্ড মাল্টিলেয়ার নিউরাল নেটওয়ার্কগুলি (মাল্টিলেয়ার পারসেপ্ট্রন) প্রশিক্ষণের জন্য একটি অ্যালগরিদম। ওয়েবের চারপাশে বেশ কয়েকটি দুর্দান্ত জাভা অ্যাপলেট রয়েছে যা এটির মতো চিত্রিত করে: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html । এছাড়াও, এনএনএস- এ বিশপের বইটি এনএনএস-এর সাথে কিছু করার মানক ডেস্ক রেফারেন্স।

— স্টিফেন টার্নার
সূত্র

প্রশ্ন ও উত্তর আকারে উচ্চমানের পরিসংখ্যান সম্পর্কিত তথ্যের স্থায়ী সংগ্রহস্থল তৈরির চেষ্টা করার জন্য আমরা কেবলমাত্র লিঙ্কযুক্ত উত্তরগুলি এড়াতে চেষ্টা করি । আপনি যদি সক্ষম হন তবে আপনি কি লিঙ্কের তথ্যের সংক্ষিপ্তসার দিয়ে সম্ভবত এটি প্রসারিত করতে পারবেন?

— গ্লেন_বি -রিনস্টেট মনিকা