প্রশ্নটি ডিপ রেসিডুয়াল নেটওয়ার্কস ( রিসনেটস ) এর আর্কিটেকচার সম্পর্কে । পাঁচটি প্রধান ট্র্যাকের "বৃহত্তর স্কেল ভিজ্যুয়াল রিকগনিশন চ্যালেঞ্জ 2015" (ILSVRC2015) এ যে মডেলটি 1-স্থান স্থান অর্জন করেছে :
- ইমেজনেট শ্রেণিবদ্ধকরণ: "অতি-গভীর" (উদ্ধৃতি ইয়ান) 152-স্তর জাল
- ইমেজনেট সনাক্তকরণ: 2 য় চেয়ে 16% ভাল
- ইমেজনেট স্থানীয়করণ: ২ য় চেয়ে ২ 27% ভাল%
- কোকো সনাক্তকরণ: ২ য় তুলনায় ১১% ভাল
কোকো বিভাগকরণ : দ্বিতীয় উত্সের চেয়ে 12% ভাল : এমএসআরএ @ আইএলএসভিআরসি এবং কোকো 2015 প্রতিযোগিতা (উপস্থাপনা, 2-এনডি স্লাইড)
এই কাজটি নিম্নলিখিত নিবন্ধে বর্ণিত হয়েছে:
মাইক্রোসফ্ট রিসার্চ টিম (রেসনেটগুলির বিকাশকারী: কাইমিং হি, জিয়াংইউ জাং, শওকিং রেন, জিয়ান সান) তাদের নিবন্ধে:
" গভীর অবশিষ্টাংশে নেটওয়ার্কগুলিতে পরিচয় ম্যাপিংস (২০১)) "
বলে যে গভীরতা একটি কী ভূমিকা পালন করে:
" আমরা এই ফলাফলগুলি একটি সাধারণ তবে প্রয়োজনীয় ধারণার মাধ্যমে পেয়েছি - আরও গভীরতর হচ্ছে These এই ফলাফলগুলি গভীরতার সীমাটি ঠেলে দেওয়ার সম্ভাবনাকে প্রদর্শন করে। "
এটি তাদের উপস্থাপনায়ও জোর দেওয়া হয়েছে (গভীরতর - আরও ভাল):
- "একটি গভীর মডেলের উচ্চতর প্রশিক্ষণের ত্রুটি হওয়া উচিত নয়" "
- "গভীর রেসনেটগুলির প্রশিক্ষণের ত্রুটি কম, এবং টেস্টের ত্রুটিও কম।"
- "গভীর রেসনেটগুলির ত্রুটি কম রয়েছে" "
- "গভীর বৈশিষ্ট্যগুলি থেকে সমস্ত বেশি লাভবান হয় - ক্রমবর্ধমান লাভ!"
- "আরও গভীর এখনও।"
এখানে 34-স্তর অবশিষ্টের (রেফারেন্সের) কাঠামোটি দেওয়া হল:
তবে সম্প্রতি আমি একটি তত্ত্ব খুঁজে পেয়েছি যা অবশিষ্টাংশের ন্যাশনাল ব্যাখ্যার সাথে পরিচয় করিয়ে দেয় যেগুলি তারা ক্ষতিকারক পোশাক হিসাবে উপস্থিত রয়েছে:
অবশিষ্ট নেটওয়ার্কগুলি হ'ল তুলনামূলকভাবে অগভীর নেটওয়ার্কগুলির সংযোজনীয় অন্তর্ভুক্তি (২০১))
ডিপ রেজেটসকে অনেকগুলি অগভীর নেটওয়ার্ক হিসাবে বর্ণনা করা হয় যার আউটপুটগুলি বিভিন্ন গভীরতায় চালিত হয়। নিবন্ধে একটি ছবি আছে। আমি ব্যাখ্যা সহ এটি সংযুক্ত:
অবশিষ্ট নেটওয়ার্কগুলি প্রচলিতভাবে (ক) হিসাবে প্রদর্শিত হয়, যা সমীকরণের প্রাকৃতিক উপস্থাপনা (1)। যখন আমরা এই সূত্রটি সমীকরণ (6) এ প্রসারিত করি তখন আমরা একটি 3-ব্লক অবলম্বন নেটওয়ার্ক (খ) এর একটি অবিরত দৃশ্য পেয়েছি। এই দৃষ্টিকোণ থেকে এটি স্পষ্ট যে অবশিষ্টাংশের নেটওয়ার্কগুলিতে ইনপুট এবং আউটপুটকে সংযুক্ত করার জন্য অন্তর্নিহিত পাথগুলি O (2 ^ n) এবং একটি ব্লক যুক্ত করা পথের সংখ্যা দ্বিগুণ করে।
নিবন্ধের উপসংহারে বলা হয়েছে:
এটি গভীরতা নয়, তবে এমন ensemble যা অবশিষ্টাংশগুলিকে শক্তিশালী করে তোলে । অবশিষ্ট নেটওয়ার্কগুলি নেটওয়ার্কের গভীরতার চেয়ে নয়, নেটওয়ার্কের বহুগুণতার সীমাবদ্ধ করে দেয়। আমাদের প্রস্তাবিত নিরবচ্ছিন্ন দৃষ্টিভঙ্গি এবং ক্ষত অধ্যয়ন দেখায় যে অবশিষ্টাংশগুলি নেটওয়ার্কগুলি বহু তাত্পর্যপূর্ণ নেটওয়ার্কগুলির অন্তর্ভুক্ত se গ্রেডিয়েন্ট অবদানকারী বেশিরভাগ পাথগুলি যদি নেটওয়ার্কের সামগ্রিক গভীরতার সাথে তুলনা করে খুব সংক্ষিপ্ত হয় তবে বর্ধিত গভীরতা কেবলমাত্র অবশিষ্টাংশের মূল বৈশিষ্ট্য হতে পারে না । আমরা এখন বিশ্বাস করি যে বহু সংখ্যক, পথের সংখ্যার শর্তে নেটওয়ার্কের এক্সপ্রেসিবিলিটি, একটি গুরুত্বপূর্ণ ভূমিকা পালন করে ।
তবে এটি কেবল সাম্প্রতিক তত্ত্ব যা নিশ্চিত বা খণ্ডন করা যায়। এটি কখনও কখনও ঘটে যায় যে কিছু তত্ত্ব খণ্ডন করা হয় এবং নিবন্ধগুলি প্রত্যাহার করা হয়।
আমাদের কি গভীর রজনেটসকে সর্বোপরি একটি জুটি হিসাবে ভাবতে হবে? নকশাগুলি বা গভীরতা কি অবশিষ্টাংশগুলিকে এত শক্তিশালী করে? এটি কি সম্ভব যে এমনকি বিকাশকারীরা নিজেরাই যথেষ্ট বুঝতে পারেন না যে তাদের নিজস্ব মডেলটি কী উপস্থাপন করে এবং এর মূল ধারণাটি কী?