সর্বাধিক পুলিং স্তরগুলির মাধ্যমে পিছনে প্রচার

Question

আমার এই প্রশ্নের একটি ছোট উপ- প্রশ্ন রয়েছে ।

আমি বুঝতে পারি যে সর্বাধিক পুলিং স্তরের মাধ্যমে ব্যাক-প্রসারণ করার সময় গ্রেডিয়েন্টটি এমনভাবে ফিরে যায় যে পূর্ববর্তী স্তরের নিউরন যা সর্বোচ্চ হিসাবে নির্বাচিত হয়েছিল সমস্ত গ্রেডিয়েন্ট পায়। আমি যে সম্পর্কে 100% নিশ্চিত নই তা হ'ল পরবর্তী স্তরটির গ্রেডিয়েন্ট কীভাবে পুলিং স্তরে ফিরে যায়।

সুতরাং প্রথম প্রশ্নটি হ'ল যদি আমার কোনও পুলিং স্তরটি সম্পূর্ণ সংযুক্ত স্তরের সাথে সংযুক্ত থাকে - নীচের চিত্রটির মতো like

পুলিং লেয়ারের সায়ান "নিউরন" এর জন্য গ্রেডিয়েন্টটি যখন গণনা করি তখন আমি কি এফসি স্তর নিউরোন থেকে সমস্ত গ্রেডিয়েন্ট যোগ করব? যদি এটি সঠিক হয় তবে পুলিং স্তরের প্রতিটি "নিউরন" এর একই গ্রেডিয়েন্ট থাকে?

উদাহরণস্বরূপ, যদি এফসি স্তরটির প্রথম নিউরনের 2 এর গ্রেডিয়েন্ট থাকে, দ্বিতীয়টি 3 এর গ্রেডিয়েন্ট এবং তৃতীয়টি 6. এর গ্রেডিয়েন্ট থাকে তবে পুলিং স্তরে নীল এবং বেগুনি "নিউরন" এর গ্রেডিয়েন্টগুলি কী এবং কেন?

এবং দ্বিতীয় প্রশ্নটি যখন পুলিং স্তরটি অন্য সমঝোতার স্তরের সাথে সংযুক্ত থাকে। আমি তখন গ্রেডিয়েন্টটি কীভাবে গণনা করব? নীচে উদাহরণ দেখুন।

পুলিং স্তরের উপরের ডানদিকের "নিউরন" (রূপরেখাযুক্ত সবুজ রঙের জন্য) আমি কেবল পরের কনফেয়ার স্তরে বেগুনি নিউরনের গ্রেডিয়েন্টটি নিয়ে এটিকে আবার ঘুরিয়ে দেব, তাই না?

ভরা সবুজ কেমন হবে? চেইন নিয়মের কারণে আমাকে পরবর্তী স্তরে নিউরনের প্রথম কলামটি একসাথে গুণতে হবে? নাকি এগুলি যুক্ত করার দরকার আছে?

দয়া করে একগুচ্ছ সমীকরণ পোস্ট করবেন না এবং আমাকে বলবেন যে আমার উত্তরটি ঠিক সেখানে আছে কারণ আমি সমীকরণের চারপাশে আমার মাথা গুটিয়ে রাখার চেষ্টা করেছি এবং এখনও আমি এটি পুরোপুরি বুঝতে পারি না এই কারণেই আমি এই প্রশ্নটি সরলভাবে জিজ্ঞাসা করছি উপায়।

Comments

আপনার প্রথম প্রশ্নের ক্ষেত্রে, ব্যাকপ্রোপেজেশনটি কীভাবে আপনার ক্ষয়কে ওজন এবং ইনপুটগুলি প্রভাবিত করে তা দেখতে হয়। সর্বাধিক পুলিংয়ের ক্ষেত্রে কেবলমাত্র নিউরন সর্বাধিক আউটপুটকে প্রভাবিত করে (যখন টাই থাকবে তখন বাদে)। সুতরাং কেবলমাত্র নিউরনে ত্রুটিটি প্রচার করুন যার সক্রিয়করণের সর্বাধিক মান ছিল।

— জান ভ্যান ডের Vegt

হ্যাঁ, আমি এটি বুঝতে পারি এবং আমি আমার পোস্টের শুরুতে একটি পুনর্বিবেচনায় এটিও বলেছিলাম। তবে আমি বুঝতে পারি না কীভাবে আমি পিছনের প্রচারে পরবর্তী স্তর নিউরনের গ্রেডিয়েন্টটি "সংযুক্ত" করব। আশা করি আপনি কী বলতে চাইছেন তা আপনি জানেন।

— ম্যাজস্টার

Answer 1

যদি এটি সঠিক হয় তবে পুলিং স্তরের প্রতিটি "নিউরন" এর একই গ্রেডিয়েন্ট থাকে?

না এটি ওজন এবং অ্যাক্টিভেশন ফাংশনের উপর নির্ভর করে। এবং বেশিরভাগ ক্ষেত্রে ওজন পুলিং স্তরের প্রথম নিউরনের থেকে এফসি স্তর পর্যন্ত পোলিং স্তরের দ্বিতীয় স্তর থেকে এফসি স্তর পর্যন্ত আলাদা হয়।

সুতরাং সাধারণত আপনার মতো পরিস্থিতি হবে:

$FC_i = f(\sum_j W_{ij} P_j)$

$FC_i$$P_j$$f$$W$

এর অর্থ পি_জে সম্মানের সাথে গ্রেডিয়েন্ট

$grad(P_j) = \sum_i grad(FC_i) f^\prime W_{ij}$

ডাব্লু পৃথক হওয়ায় j = 0 বা j = 1 এর জন্য যা আলাদা।

এবং দ্বিতীয় প্রশ্নটি যখন পুলিং স্তরটি অন্য সমঝোতার স্তরের সাথে সংযুক্ত থাকে। আমি তখন গ্রেডিয়েন্টটি কীভাবে গণনা করব?

এটি কোন ধরণের স্তরের সাথে যুক্ত তা কোনও পার্থক্য করে না। এটি সারাক্ষণ একই সমীকরণ। পূর্ববর্তী স্তরের নিউরনের দ্বারা কীভাবে এই নিউরনের আউটপুট প্রভাবিত হয় তার দ্বারা পরবর্তী স্তরের সমস্ত গ্রেডিয়েন্টের যোগফল। এফসি এবং কনভলিউশনের মধ্যে পার্থক্য হ'ল এফসিতে পরবর্তী স্তরের সমস্ত নিউরন একটি অবদান প্রদান করবে (এমনকি ছোট হলেও) তবে কনভলিউশনে পরবর্তী স্তরের বেশিরভাগ নিউরন পূর্ববর্তী স্তরের নিউরন দ্বারা মোটেই ক্ষতিগ্রস্থ হয় না তাই তাদের অবদান ঠিক শূন্য।

পুলিং স্তরের উপরের ডানদিকের "নিউরন" (রূপরেখাযুক্ত সবুজ রঙের জন্য) আমি কেবল পরের কনফেয়ার স্তরে বেগুনি নিউরনের গ্রেডিয়েন্টটি নিয়ে এটিকে আবার ঘুরিয়ে দেব, তাই না?

ঠিক। এছাড়াও কনভোলশন স্তরটিতে অন্য কোনও নিউরনের গ্রেডিয়েন্ট যা পুলিং স্তরের শীর্ষতম ডানদিকে নিউরনকে ইনপুট হিসাবে গ্রহণ করে।

ভরা সবুজ কেমন হবে? চেইন নিয়মের কারণে আমাকে পরবর্তী স্তরে নিউরনের প্রথম কলামটি একসাথে গুণতে হবে? নাকি এগুলি যুক্ত করার দরকার আছে?

এগুলি যুক্ত করুন। চেইন রুলের কারণে।

$max$$grad(PR_j)$

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$

$f = id$$f = 0$$f^\prime = 1$$f^\prime = 0$

$grad(PR_{max neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$

$grad(PR_{others}) = 0.$