স্নায়ুবহুল নেটওয়ার্কগুলি কেন তাদের টপোলজির উপর নিষেধাজ্ঞাগুলি রেখে আরও ভাল পারফর্ম করে বলে মনে হচ্ছে?

Question

সম্পূর্ণরূপে সংযুক্ত (কমপক্ষে স্তর থেকে স্তর 2 টিরও বেশি লুকিয়ে থাকা স্তর সহ) ব্যাকপ্রপ নেটওয়ার্কগুলি সর্বজনীন শিক্ষার্থী। দুর্ভাগ্যক্রমে, তারা প্রায়শই শিখতে ধীর হয় এবং অতি-ফিট হয়ে যায় বা বিশ্রী সাধারণীকরণ থাকে general

এই নেটওয়ার্কগুলির সাথে বোকা বানানো থেকে, আমি লক্ষ্য করেছি যে কয়েকটি প্রান্ত ছাঁটাই করা (যাতে তাদের ওজন শূন্য এবং পরিবর্তন করা অসম্ভব) নেটওয়ার্কগুলি আরও দ্রুত শিখতে এবং আরও সাধারণীকরণ করতে ঝোঁক। এরজন্য কি কোন কারণ আছে? এটি কেবলমাত্র ওজন অনুসন্ধানের জায়গার মাত্রা হ্রাস করার কারণে, বা এর আরও সূক্ষ্ম কারণ রয়েছে?

এছাড়াও, ভাল জেনারেলাইজেশনটি আমি যে 'প্রাকৃতিক' সমস্যাগুলি দেখছি তার একটি নিদর্শন?

Answer 1

কম নোড / প্রান্ত (বা নির্দিষ্ট ওজনযুক্ত প্রান্তগুলি) এর অর্থ এমন কিছু পরামিতি রয়েছে যার মানগুলি খুঁজে পাওয়া দরকার এবং এটি সাধারণত শেখার সময়কে হ্রাস করে। এছাড়াও, যখন কম পরামিতি থাকে, নিউরাল নেটওয়ার্ক দ্বারা প্রকাশিত হতে পারে এমন জায়গার কম মাত্রা থাকে, তাই নিউরাল নেটওয়ার্কটি কেবল আরও সাধারণ মডেল প্রকাশ করতে পারে। এটি ডেটা ওভার ফিট করার পক্ষে কম সক্ষম, এবং তাই মডেলগুলি আরও সাধারণ বলে মনে হবে।

Answer 2

প্রান্ত ছাঁটাই করে আপনি প্রশিক্ষণের অ্যালগরিদমের সন্ধানের স্থানটি হ্রাস করেছেন, যা সময়ের কার্য সম্পাদনে তাত্ক্ষণিকভাবে অর্থ প্রদান করবে। নেটওয়ার্ক মডেল করতে পারে এমন ফাংশনগুলিতে আপনি বাধাও প্রবর্তন করেছেন। সীমাবদ্ধতাগুলি আপনার মডেলটিকে আরও সাধারণ সমাধান খুঁজতে বাধ্য করতে পারে যেহেতু আরও নির্ভুল একটি অ্যাক্সেসযোগ্য। নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণের জন্য একটি সাধারণ কৌশলটি গ্রেডিয়েন্ট বংশোদ্ভূত কৌশলটি ব্যবহার করছে। ছাঁটাইয়ের আর একটি পরিণতি হতে পারে যে আপনি প্যারামিটার ল্যান্ডস্কেপের কিছু স্থানীয় মিনিমা সরিয়ে দিয়েছেন যা আবার প্রশিক্ষণের অ্যালগরিদমকে আরও ভাল সমাধানের সন্ধান করতে দেয়।

আপনার উন্নততর সাধারণীকরণ যদি আপনি যে সমস্যার মুখোমুখি হন তার সাথে সম্পর্কিত হয় তবে আমি অবাক হব না। আমি নিউরাল নেটওয়ার্কগুলির সাথে সাফল্য উপভোগ করেছি যেখানে অন্তর্নিহিত মডেলটির একটি অবিচ্ছিন্ন কাঠামো রয়েছে, যখন কিছু ক্ষেত্রে বিরতি রয়েছে এমন জিনিসগুলি এত ভাল কাজ করে না। মনে রাখবেন যে নিউরাল নেটওয়ার্কের পারফরম্যান্স প্রায়শই ঘনিষ্ঠভাবে সম্পর্কিত হয় আপনি কীভাবে আপনার ইনপুট এবং আউটপুটকে কাঠামোবদ্ধ করেন তার সাথে।