নিউরাল নেটওয়ার্কে ওজন সূচনা করার সময় কাটা সাধারণ বিতরণের কী কী লাভ?

Question

ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্কে সংযোগের ওজন সূচনা করার সময়, শিখনের অ্যালগরিদমটি ভাঙতে সক্ষম হবে না এমন কোনও প্রতিসাম্য এড়াতে এলোমেলোভাবে এগুলি শুরু করা গুরুত্বপূর্ণ।

আমি বিভিন্ন স্থানে যে সুপারিশটি দেখেছি (যেমন টেনসরফ্লো এর এমএনআইএসটি টিউটোরিয়ালে ) q q of এর স্ট্যান্ডার্ড বিচ্যুতি ব্যবহার করে ছাঁটাই করা সাধারণ বিতরণ ব্যবহার করা হয় , যেখানে এর ইনপুটগুলির সংখ্যা প্রদত্ত নিউরন স্তর$\dfrac{1}{\sqrt{N}}$$N$

আমি বিশ্বাস করি যে স্ট্যান্ডার্ড বিচ্যুতি সূত্রটি নিশ্চিত করে যে ব্যাকপ্রোপেটেড গ্রেডিয়েন্টগুলি খুব দ্রুত দ্রবীভূত হবে না বা প্রশস্ত করবে না। তবে কেন জানি না আমরা নিয়মিত সাধারণ বিতরণের বিপরীতে কাটা কাটা সাধারণ বিতরণটি ব্যবহার করছি। এটি বিরল আউটলেট ওজন এড়াতে হয়?

Comments

আপনি কি এই সুপারিশের উত্স এবং / অথবা সরাসরি উদ্ধৃতি সরবরাহ করতে পারেন?

— টিম

+ টিম ভাল পয়েন্ট, আমি একটি উদাহরণের সাথে একটি লিঙ্ক যুক্ত করেছি। আমি বিশ্বাস করি যে নিউরাল নেটওয়ার্কের ভাল অভ্যাসগুলি সম্পর্কে একটি কাগজেও এই সুপারিশটি দেখেছি (যদিও এটি খুঁজে পাচ্ছে না)।

— MiniQuark

Answer 1

আমি মনে করি এটি নিউরনের স্যাচুরেশন সম্পর্কে। সিগময়েডের মতো আপনার একটি অ্যাক্টিভেশন ফাংশন রয়েছে সে সম্পর্কে ভাবুন।

যদি আপনার ওজনের ভ্যালু মান> = 2 বা <= - 2 পায় তবে আপনার নিউরন শিখবে না। সুতরাং, আপনি যদি আপনার সাধারণ বিতরণটি কেটে ফেলেন তবে আপনার বৈকল্পিকতার উপর ভিত্তি করে আপনার এই সমস্যাটি হবে না (অন্তত শুরু থেকে)। আমি মনে করি কেন, সাধারণভাবে কাটা সাধারণ ব্যবহার করা ভাল।

Comments

হ্যাঁ, এটি উপলব্ধি করে, ধন্যবাদ। আমি মনে করি আপনি "মান> = 2" বোঝাতে চেয়েছিলেন, 1 নয়

— MiniQuark

হ্যাঁ এটি মান হতে পারে> = 2

— গঙ্গার বাসা

Answer 2

কাটা সাধারণ বিতরণ ব্যবহারের সুবিধা হ'ল রিলু_লজিট ব্যবহারের কারণে "মৃত নিউরন" তৈরি করা রোধ করা যা এখানে ব্যাখ্যা করা হয়েছে ।

প্রতিসাম্যতা ভাঙার জন্য সাধারণভাবে খুব কম পরিমাণে শব্দ সহ ওজন সূচনা করা উচিত এবং 0 গ্রেডিয়েন্টগুলি প্রতিরোধ করা উচিত। যেহেতু আমরা আরএলইউ নিউরন ব্যবহার করছি, তাই "মৃত নিউরোনস" এড়ানোর জন্য কিছুটা ইতিবাচক প্রাথমিক পক্ষপাত দিয়ে তাদের আরম্ভ করা ভাল অনুশীলনও।

Comments

আমি নিশ্চিত না যে কীভাবে কাটা কাটা_সৌনিক ব্যবহার মৃত নিউরনগুলি রোধ করবে: এটি কোনও "সামান্য ইতিবাচক প্রাথমিক পক্ষপাত" যুক্ত করবে না। আপনি দয়া করে বিস্তারিত বলতে পারেন?

— MiniQuark

কারণ ব্যাকপ্রকাশটি প্রচারের জন্য কিছু ননজারো অবদানের সাথে কেবল 'লাইভ' নিউরনগুলি আপডেট করবে

— জেসন