ফিল্টারগুলির জন্য মাত্রা বাছাই, ইউনিটগুলিতে পুলিং এবং কনভোলজিকাল স্তরগুলির সংখ্যা নির্ধারণের কিছু পদ্ধতিগত উপায় রয়েছে এমন কোনও ভাল কাগজপত্র রয়েছে কি?
উত্তর:
কিছুটা হ্যাঁ, গুড গবেষকরা কীভাবে ভাল ইনসেপশন আর্কিটেকচার চয়ন করবেন সে সম্পর্কে সাম্প্রতিক একটি কাগজ প্রকাশিত হয়েছিল। ইনসেপশন নেট একটি বাধা প্যারামিটার বাজেটে খুব উচ্চতর কর্মক্ষমতা অর্জন করে, তাই এটি যে কোনও হিসাবে শুরু করার মতো জায়গা হিসাবে ভাল এবং এটি সাম্প্রতিক। এখানে লিঙ্কটি রয়েছে: কম্পিউটার ভিশনের জন্য ইনসেপশন আর্কিটেকচারটি পুনর্বিবেচনা ।
তারা কোনও কঠোর পরিমাণের নিয়ম অফার করে না বরং তারা যে নির্দেশিকা ব্যবহার করেছিল এবং বিশ্বাস করে তা তাদের সাম্প্রতিক ইমেজনেট প্রতিযোগিতায় ভাল পারফরম্যান্স অর্জনে সহায়তা করেছে।
উদাহরণস্বরূপ, তারা যে নীতিগুলি আলোচনা করেন সেগুলির মধ্যে কয়েকটি হ'ল:
একক বৃহত্তর গ্রহনযোগ্য ক্ষেত্রের কনভুলেশনাল স্তরগুলি ব্যবহার করার পরিবর্তে ছোট আকারের গ্রহনযোগ্য ক্ষেত্রের কনভ্যুশনাল স্তরগুলির স্ট্যাকগুলি ব্যবহার করুন, যেমন একটি একক 7x7 কনভ স্তর বনাম 3x3 কনভ স্তরগুলির 2 স্ট্যাক। এই ধারণাটি নতুন নয়, অক্সফোর্ড ভিজিজি দল কর্তৃক ডিভিলিং ডিপ ইন কনভ্যুশনাল নেটওয়ার্কগুলিতে ডিটারিং ডিভিল অফ ডিভিল- এও এটি আলোচিত হয়েছিল । এটি প্যারামিটার দক্ষ হওয়ার প্রয়োজন থেকে অনুপ্রাণিত হয়। আরও বেশি প্রতিনিধিত্বমূলক ক্ষমতার দ্বৈত প্রভাবও রয়েছে কারণ আমরা আরও স্তরগুলির সাথে আরও অনৈক্যবদ্ধতার পরিচয় দেই।
সাহিত্যে এমন কিছু যা আমি দেখিনি যা এই নিবন্ধটি উল্লিখিত তা হ'ল গভীর স্তরগুলিতে সমঝোতার স্তরকে ফ্যাক্টরিজ করা। সুতরাং একটি একক 7x7 কনভের স্তর থাকার পরিবর্তে, আমাদের কাছে 1x7 কুন্ভ স্তর এবং তারপরে একটি 7x1 কনভ স্তর থাকবে। আরও গভীরতা যুক্ত করে, আমি বিশ্বাস করি এটি পরামিতিগুলিও দক্ষ।
আপনার জালের গভীরতা এবং প্রস্থের ভারসাম্য বজায় রাখুন। উচ্চ মাত্রিক উপস্থাপনা ব্যবহার করুন। এটি তাদের ইনসেপশন মডিউলগুলির পিছনের নীতিগুলির মধ্যে একটি যা একাধিক কনভোলিউটিনাল স্তর একসাথে একত্রিত করে। সুতরাং আপনার রূপান্তর জালটিতে আপনার যদি একটি ছোট স্থানিক আকার থাকে তবে ইনসেপশন মডিউলগুলি ব্যবহার করে আমরা মাল্টি-স্কেল কনভোলিউশনাল কনটেন্টেশন: 1x1, 3x3, 3x3-3x3, সর্বাধিক পুল সব মিলিয়ে একটি উচ্চ মাত্রিক উপস্থাপনা ব্যবহার করতে পারি। এই ইনসেপশন মডিউলগুলির একটি "প্রস্থ" রয়েছে কারণ এগুলি সমান্তরালভাবে একাধিক ক্রিয়াকলাপ সম্পাদন হিসাবে ব্যাখ্যা করা যেতে পারে। তারা নতুন ইনসেপশন মডিউলগুলির সাথে আরও এগিয়ে যায় যা সংশোধন আকার, 1x3, 3x1, ইত্যাদি বৈশিষ্ট্যযুক্ত have
মাত্রিকতা হ্রাস করতে 1x1 রূপান্তর স্তরগুলি (নেটওয়ার্ক ইন নেটওয়ার্ক স্টাইল) ব্যবহার করুন। তারা পরামিতি দক্ষতা অর্জনের জন্য প্রচুর মাত্রা হ্রাস কৌশল ব্যবহার করে। তারা বিশ্বাস করে যে এটি কার্যকর কারণ সংলগ্ন বৈশিষ্ট্য মানচিত্রগুলি আউটপুটগুলিকে অত্যন্ত সংযুক্ত করে। প্রাকৃতিক চিত্রগুলি এর সাথে সামঞ্জস্যপূর্ণ কিছু স্থানীয় পরিসংখ্যানগত বৈশিষ্ট্য প্রদর্শনের জন্য পরিচিত হিসাবে এটি বোঝায়। সুতরাং 1x1 এনআইএন স্তরগুলির মাধ্যমে মাত্রিকতা হ্রাস করা উপস্থাপনামূলক শক্তির উপর বিপর্যয়কর প্রভাব ফেলবে না।
নিবন্ধে আরও আছে। আমি মনে করি এটি একটি নিবন্ধ যা আপনি যা জিজ্ঞাসা করছেন সে সম্পর্কে কিছু অন্তর্দৃষ্টি দিতে পারে। তারা কনভ নেট আর্কিটেকচারাল ডিজাইনের কয়েকটি খুব মূল ধারণা সম্পর্কে কথা বলছে।
সমস্যার স্পেসিফিকেশনগুলির ফাংশন হিসাবে এই হাইপার-প্যারামিটারগুলি বেছে নেওয়ার বিষয়ে আমি কোনও সাহিত্যের মুখোমুখি হইনি। তবে, এটা আমার বোঝা যায় যে বেশিরভাগই কার্যকর মূল্যবোধের শূন্যে বায়েশিয়ান অপ্টিমাইজেশন পদ্ধতি গ্রহণ করছেন। আপনি একটি যুক্তিসঙ্গত ব্যাপ্তি নির্দিষ্ট করেছেন এবং বিভিন্ন সংমিশ্রণ পরীক্ষা করে আপনি কীভাবে সেই হাইপার-পরামিতিগুলি মডেলের নির্ভুলতার সাথে সম্পর্কিত তা একটি মডেল শিখেন। এটা আমার জন্য ভাল কাজ করেছে। Snoek, Larochelle, এবং অ্যাডামস (থেকে "মেশিন লার্নিং আলগোরিদিম প্রাকটিক্যাল Bayesian অপ্টিমাইজেশান" পরীক্ষা করে দেখুন http://papers.nips.cc/paper/4522-practical-bayesian-optimization-of-machine-learning-algorithms.pdf )।