সর্বোচ্চ-পুলিং স্তরগুলির মাধ্যমে ব্যাকপ্রপ?

Question

এটি একটি ছোট্ট ধারণাগত প্রশ্ন যা আমাকে কিছুক্ষণের জন্য টানছে: আমরা কীভাবে নিউরাল নেটওয়ার্কে সর্বাধিক-পুলিং স্তরের মাধ্যমে ব্যাক-প্রচার করতে পারি?

টর্চ 7 এর এনএন গ্রন্থাগারের জন্য এই টিউটোরিয়ালটি দিয়ে যাওয়ার সময় আমি সর্বোচ্চ-পুলিং স্তরগুলি পেরিয়ে এসেছি । গ্রন্থাগারটি গ্রেডিয়েন্ট গণনা বিমূর্ত করে এবং একটি গভীর নেটওয়ার্কের প্রতিটি স্তরের জন্য এগিয়ে যায় passes আমি বুঝতে পারি না কিভাবে সর্বাধিক-পুলিং স্তরের জন্য গ্রেডিয়েন্ট গণনা করা হয়।

আমি জানি তুমি একটি ইনপুট আছে যদি স্নায়ুর মধ্যে যাওয়া স্তরের , তারপর (হিসাবে সংজ্ঞায়িত করা ) দ্বারা দেওয়া হয়েছে: ${z_i}^l$$i$$l$${\delta_i}^l$${\delta_i}^l = \frac{\partial E}{\partial {z_i}^l}$

$${\delta_i}^l = \theta^{'}({z_i}^l) \sum_{j} {\delta_j}^{l+1} w_{i,j}^{l,l+1}$$

সুতরাং, একটি সর্বাধিক-পুলিং স্তর যথারীতি পরবর্তী স্তরের s 'র গ্রহণ করবে; তবে যেহেতু সর্বাধিক-পুলিং নিউরনের অ্যাক্টিভেশন ফাংশনটি ইনপুট হিসাবে মানগুলির (যা এটি সর্বোচ্চ করে) একটি ভেক্টর গ্রহণ করে, anymore এখন আর কোনও সংখ্যার নয়, তবে একটি ভেক্টর ( ) দ্বারা প্রতিস্থাপন করতে হবে । তদ্ব্যতীত, , সর্বাধিক ফাংশন হচ্ছে, এর ইনপুটগুলির ক্ষেত্রে এটি পৃথক নয়।${\delta_j}^{l+1}$${\delta_i}^{l}$$\theta^{'}({z_j}^l)$$\nabla \theta(\left\{{z_j}^l\right\})$$\theta$

সুতরাং .... এটি ঠিক কিভাবে কাজ করা উচিত?

Answer 1

অ-সর্বাধিক মানগুলির সাথে সম্মানের সাথে কোন গ্রেডিয়েন্ট নেই, যেহেতু এগুলিকে সামান্য পরিবর্তন করা আউটপুটকে প্রভাবিত করে না। আরও সর্বোচ্চ স্থানীয়ভাবে slাল 1 সহ লিনিয়ার, ইনপুটটি যে সর্বাধিক সর্বাধিক অর্জন করে to সুতরাং, পরবর্তী স্তর থেকে গ্রেডিয়েন্টটি কেবল সেই নিউরনেই ফিরে যায় যা সর্বোচ্চ অর্জন করেছিল। অন্যান্য সমস্ত নিউরন শূন্য গ্রেডিয়েন্ট পান।

সুতরাং আপনার উদাহরণে, সমস্ত শূন্যের ভেক্টর হবেন, ব্যতীত th তম অবস্থানটি একটি মান পাবেন যেখানে$\delta_i^l$$i^*$$\left\{\delta_j^{l+1}\right\}$$i^* = argmax_{i} (z_i^l)$

Comments

ওহ ঠিক আছে, অ-সর্বাধিক নিউরনগুলির মাধ্যমে পিছনে প্রচার করার কোনও অর্থ নেই - এটি ছিল একটি গুরুত্বপূর্ণ অন্তর্দৃষ্টি। সুতরাং আমি যদি এখন এটি সঠিকভাবে বুঝতে পারি তবে সর্বাধিক-পুলিং স্তরটির মাধ্যমে ব্যাক-প্রোপাগান্ডিং কেবলমাত্র সর্বোচ্চটি নির্বাচন করে। পূর্ববর্তী স্তর থেকে নিউরন (যার উপরে সর্বাধিক-পুলিং করা হয়েছিল) এবং কেবল এর মাধ্যমে পিছনে প্রচার চালিয়ে যায়।

— shinvu

তবে আপনার অ্যাক্টিভেশন ফাংশনের ডেরাইভেটিভের সাথে গুণ করার দরকার নেই?

— জেসন

@ জেসন: সর্বাধিক কার্যকারিতা সক্রিয়করণের জন্য স্থানীয়ভাবে রৈখিক যা সর্বাধিকটি পেয়েছিল, তাই এর ডেরাইভেটিভ ধ্রুব 1 1. যে অ্যাক্টিভেশনগুলির মাধ্যমে এটি ঘটে নি, এটি 0 টি concept ) = সর্বাধিক (0, এক্স) অ্যাক্টিভেশন ফাংশন।

— ক্রিগিগি

সর্বাধিক পুলিংয়ের জন্য কার্নেল প্রস্থের চেয়ে কম স্ট্রাইডটি কী?

— ভাতসাল

দুর্দান্ত উত্তর! প্রান্তের ক্ষেত্রে কী হবে যেখানে একাধিক এন্ট্রিগুলির একই সর্বাধিক মান থাকে (উদাহরণস্বরূপ 2 টি মান একটি রিলু থেকে 0 থাকে এবং অন্যান্য দুটি নেতিবাচক হয়)?

— ড্যাঙ্কমাস্টারডান

Answer 2

সর্বাধিক পুলিং

সুতরাং ধরুন আপনার একটি স্তর পি রয়েছে যা একটি স্তর PR এর উপরে আসে। তারপরে ফরওয়ার্ড পাসটি এরকম কিছু হবে:

$P_i = f(\sum_j W_{ij} PR_j)$ ,

যেখানে হ'ল স্তর পি এর ইথ নিউরনের সক্রিয়করণ, এফ সক্রিয়করণ ফাংশন এবং ডাব্লু এর ওজন the সুতরাং যদি আপনি এটি প্রাপ্ত করেন, চেইন বিধি অনুসারে আপনি পাবেন যে গ্রেডিয়েন্টগুলি নীচে প্রবাহিত হবে:$P_i$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$ ।

কিন্তু এখন, আপনি সর্বোচ্চ পুলিং থাকে, তাহলে সর্বোচ্চ স্নায়ুর এবং জন্য সব অন্যান্য নিউরনের জন্য, তাই পূর্ববর্তী স্তর এবং সর্বোচ্চ স্নায়ুর জন্য সব অপরের জন্য নিউরোন। তাই:$f = id$$f = 0$$f^\prime = 1$$f^\prime = 0$

$grad(PR_{max\ neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$ ,

$grad(PR_{others}) = 0.$

Answer 3

@ শিনভুর উত্তরটি ভালই লেখা আছে, আমি এমন একটি ভিডিওতে ইঙ্গিত করতে চাই যা ম্যাক্স () অপারেশনের গ্রেডিয়েন্ট ব্যাখ্যা করে এবং এটি একটি গণনামূলক গ্রাফের মধ্যে বোঝে যা দ্রুত উপলব্ধি করা যায়!

ম্যাক্সপুল অপারেশন (কম্পিউটারের গ্রাফ-আপনার এনএন আর্কিটেকচারের একটি গণনামূলক নোড) প্রয়োগ করার সময়, আমাদের একটি ফাংশন প্রয়োজন একটি "মাস্ক" ম্যাট্রিক্স তৈরি করে যা ম্যাট্রিক্সের সর্বোচ্চ কোথায় তা ট্র্যাক করে of সত্য (1) এক্সের সর্বাধিক অবস্থান নির্দেশ করে, অন্যান্য এন্ট্রিগুলি মিথ্যা (0)। আমরা সর্বোচ্চের অবস্থানের উপর নজর রাখি কারণ এটি হ'ল ইনপুট মান যা শেষ পর্যন্ত আউটপুটকে প্রভাবিত করে এবং তাই ব্যয় therefore ব্যাকপ্রপ হ'ল ব্যয়কে সম্মানের সাথে গ্রেডিয়েন্টগুলি গণনা করা হচ্ছে, সুতরাং চূড়ান্ত ব্যয়ের উপর যে কোনও কিছু প্রভাবিত করে এমন কোনও শূন্য-বিন্দু হওয়া উচিত। সুতরাং, ব্যাকপ্রপ এই নির্দিষ্ট ইনপুট মানটিতে গ্রেডিয়েন্টটিকে "প্রচার" করবে যা ব্যয়কে প্রভাবিত করেছিল।