[এই প্রশ্নটি স্ট্যাক ওভারফ্লোতেও উত্থাপিত হয়েছিল ]
সংক্ষেপে প্রশ্ন
আমি কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলি অধ্যয়ন করছি এবং আমি বিশ্বাস করি যে এই নেটওয়ার্কগুলি প্রতিটি ইনপুট নিউরন (পিক্সেল / পরামিতি) সমতুল্য আচরণ করে না। কল্পনা করুন আমাদের কাছে একটি গভীর নেটওয়ার্ক রয়েছে (অনেকগুলি স্তর) যা কিছু ইনপুট চিত্রে কনভোলশন প্রয়োগ করে। চিত্রের "মাঝের" নিউরনের অনেক গভীর স্তরীয় নিউরনের অনেকগুলি অনন্য পথ রয়েছে যার অর্থ মাঝারি নিউরনের একটি ছোট পরিবর্তনের ফলে আউটপুটটিতে শক্তিশালী প্রভাব পড়ে। যাইহোক, ইমেজ প্রান্ত এ নিউরোন কেবলমাত্র উপায় (সঠিক বাস্তবায়ন উপর নির্ভর করে, আদেশ বা, ) পথ যা তাদের তথ্য গ্রাফ দিয়ে প্রবাহিত। দেখে মনে হচ্ছে এগুলি "নিম্ন-উপস্থাপিত"।1
এজ সম্পর্কে আমি উদ্বিগ্ন, কেননা প্রান্ত নিউরনের এই বৈষম্যটি নেটওয়ার্কের গভীরতা (স্তরগুলির সংখ্যা) দিয়ে তাত্পর্যপূর্ণভাবে স্কেল করে। এমনকি সর্বাধিক-পুলিং স্তর যোগ করা তাত্পর্যপূর্ণ বৃদ্ধি থামবে না, কেবলমাত্র একটি সম্পূর্ণ সংযোগ সমস্ত নিউরনকে সমান পদক্ষেপে নিয়ে আসে। আমি বিশ্বাস করি না যে আমার যুক্তি সঠিক, যদিও আমার প্রশ্নগুলি হ'ল:
- আমি কি ঠিক বলছি যে গভীর প্রভাবযুক্ত নেটওয়ার্কগুলিতে এই প্রভাবটি ঘটে?
- এ নিয়ে কি কোন তত্ত্ব আছে, সাহিত্যে কি এর উল্লেখ আছে?
- এই প্রভাব কাটিয়ে উঠার কী উপায় আছে?
কারণ এটি নিশ্চিত নয় যে এটি পর্যাপ্ত তথ্য দেয় কিনা, তাই আমি সমস্যার বিবৃতিটি সম্পর্কে আরও কিছুটা ব্যাখ্যা করব এবং কেন আমি বিশ্বাস করি এটি উদ্বেগজনক।
আরও বিস্তারিত ব্যাখ্যা
কল্পনা করুন আমাদের কাছে একটি গভীর নিউরাল নেটওয়ার্ক রয়েছে যা একটি চিত্রকে ইনপুট হিসাবে নেয়। ধরে নিই আমরা চিত্রটির উপরে পিক্সেলের একটি কনভোলজিনাল ফিল্টার প্রয়োগ করি , যেখানে আমরা প্রতিবার পিক্সেল দ্বারা কনভলিউশন উইন্ডোটি স্থানান্তর করি । এর অর্থ হ'ল ইনপুটটির প্রতিটি নিউরন এটিকে সক্রিয়করণ প্রেরণ করে লেয়ার নিউরনে । এই নিউরোনগুলির প্রত্যেকটি তাদের সক্রিয়করণটি অন্য তে প্রেরণ করতে পারে যেমন আমাদের শীর্ষস্থানীয় নিউরনটি output আউটপুট নিউরনগুলিতে প্রতিনিধিত্ব করে এবং এই জাতীয় কিছু।4 16 × 16 = 265 2 265 265 2
এটি প্রান্তে থাকা নিউরনের ক্ষেত্রে সত্য নয়: এগুলি কেবলমাত্র কয়েকটি সংখ্যক কনভলিউশন উইন্ডোতে উপস্থাপিত হতে পারে, যার ফলে তাদের পরবর্তী স্তরটিতে কেবল নিউরন সক্রিয় করা হয় (ক্রম অনুসারে) । প্রান্তগুলি সাথে মিরর করার মতো কৌশল ব্যবহার করা এটিকে সহায়তা করবে না: দ্বিতীয় স্তর-নিউরনগুলি যেগুলি অনুমান করা হবে তা এখনও প্রান্তে রয়েছে, যার অর্থ দ্বিতীয় স্তরের-নিউরনগুলি নিম্নরূপে উপস্থাপিত হবে (এইভাবে এর গুরুত্বকে সীমাবদ্ধ করা হবে) আমাদের প্রান্ত নিউরন পাশাপাশি)। যেমন দেখা যায়, এই তাত্পর্যটি স্তরগুলির সংখ্যার সাথে তাত্পর্যপূর্ণভাবে স্কেল করে।
আমি সমস্যাটি কল্পনা করার জন্য একটি চিত্র তৈরি করেছি, যা এখানে পাওয়া যাবে (আমাকে পোস্টে ছবিগুলি অন্তর্ভুক্ত করার অনুমতি নেই)। এই নেটওয়ার্কটির আকার টির একটি কনভোলশন উইন্ডো রয়েছে । নিউরনের পাশের সংখ্যাগুলি গভীরতম নিউরনের নিচে যাওয়ার সংখ্যা নির্দেশ করে। চিত্রটি পাস্কেলের ত্রিভুজটির স্মরণ করিয়ে দেয় ।
https://www.dropbox.com/s/7rbwv7z14j4h0jr/deep_conv_problem_stackxchange.png?dl=0
কেন এটি একটি সমস্যা?
এই প্রভাবটি প্রথম দর্শনে সমস্যা বলে মনে হচ্ছে না: নীতিগতভাবে, ওজনগুলি স্বয়ংক্রিয়ভাবে এমনভাবে সামঞ্জস্য করা উচিত যাতে নেটওয়ার্কটি কাজ করে। তদুপরি, কোনও চিত্রের প্রান্তগুলি চিত্রের স্বীকৃতিতে তত গুরুত্বপূর্ণ নয়। প্রতিদিনের চিত্র সনাক্তকরণ পরীক্ষায় এই প্রভাবটি লক্ষণীয় নাও হতে পারে তবে এটি এখনও দুটি কারণে আমার উদ্বেগ প্রকাশ করে: ১. অন্যান্য অ্যাপ্লিকেশনগুলিতে সাধারণীকরণ এবং ২. খুব গভীর নেটওয়ার্কগুলির ক্ষেত্রে উদ্ভূত সমস্যাগুলি ।
1. অন্যান্য অ্যাপ্লিকেশন থাকতে পারে, যেমন বক্তৃতা বা শব্দ স্বীকৃতি, যেখানে এটি সত্য নয় যে মধ্য-মধ্যের নিউরনগুলি সবচেয়ে গুরুত্বপূর্ণ। সমঝোতার প্রয়োগটি প্রায়শই এই ক্ষেত্রে করা হয়, তবে আমি যে কোনও কাগজপত্র পেয়েছি যা আমি যে প্রভাবটির সাথে সম্পর্কিত সেগুলি উল্লেখ করে।
২. খুব গভীর নেটওয়ার্কগুলি সীমানা নিউরনের বৈষম্যের একটি তাত্পর্যপূর্ণ খারাপ প্রভাব লক্ষ্য করবে , যার অর্থ কেন্দ্রীয় নিউরনগুলি একাধিক আকারের মাত্রার দ্বারা উপস্থাপিত হতে পারে (কল্পনা করুন যে আমাদের স্তর রয়েছে যাতে উপরের উদাহরণটি 265 10 টি কেন্দ্রীয় নিউরনকে দেবে তাদের তথ্য প্রজেক্ট করতে পারেন)। স্তরগুলির সংখ্যা বাড়ার সাথে সাথে কেউ এমন একটি সীমাবদ্ধতায় আবদ্ধ হতে বাধ্য যেখানে ওজন সম্ভবত এই প্রভাবটির জন্য ক্ষতিপূরণ দিতে পারে না।
এখন কল্পনা করুন আমরা সমস্ত নিউরনকে অল্প পরিমাণে আটকাই। প্রান্ত নিউরনের তুলনায় কেন্দ্রীয় নিউরনগুলি আধিপত্যের কয়েকটি আদেশ দ্বারা আউটপুটটিকে আরও দৃ strongly়তার সাথে পরিবর্তিত করবে। আমি বিশ্বাস করি যে সাধারণ অ্যাপ্লিকেশনগুলির জন্য, এবং খুব গভীর নেটওয়ার্কগুলির জন্য, আমার সমস্যার চারপাশের উপায়গুলি সন্ধান করা উচিত?