নিউরাল নেটওয়ার্কগুলির ওজন এলোমেলো সংখ্যার সাথে কেন শুরু করা হয়?


9

নিউরাল নেটওয়ার্কগুলির প্রাথমিক ওজন এলোমেলো সংখ্যা হিসাবে শুরু করা হয় কেন? আমি কোথাও পড়েছি যে এটি "প্রতিসাম্যতা ভাঙ্গার" জন্য করা হয় এবং এটি নিউরাল নেটওয়ার্কটি দ্রুত শিখতে সক্ষম করে। প্রতিসাম্যতা ভাঙ্গা কীভাবে এটি দ্রুত শিখতে পারে?

ওজন 0 থেকে আরম্ভ করা কি আরও ভাল ধারণা হতে পারে? এইভাবে ওজনগুলি তাদের মানগুলি (ধনাত্মক বা নেতিবাচক) দ্রুত আবিষ্কার করতে সক্ষম হবে?

ওজনকে এলোমেলো করার পিছনে কি আরও কিছু অন্তর্নিহিত দর্শন রয়েছে যে এই আশা করা বাদ দিয়ে যে তারা যখন আরম্ভ করা হবে তখন তাদের সর্বোত্তম মানগুলির কাছাকাছি থাকবে?

উত্তর:


6

ওজন স্তরগুলি ছোট (এবং বিভিন্ন) মানগুলিতে আরম্ভ করার পিছনের প্রাথমিক স্বীকৃতিটি কেবলমাত্র যাতে সিস্টেমের পক্ষপাত ভেঙে যায় এবং ওজনের মানগুলি বিভিন্ন মানের সাথে পাশাপাশি এবং দূরে এবং পৃথক হয়ে যায়।

আরও দৃ concrete়ভাবে, আপনি সম্ভবত আপনার প্রাথমিক ওজন আলাদা করতে চান এবং তাদের মধ্যে "একটি সামান্য ফাঁক" থাকতে পারেন, আপনার পাশাপাশি যাওয়ার সময় এই 'ফাঁক' প্রসারিত হয় এবং প্রতিটি পুনরাবৃত্তিতে ওজনকে কিছুটা বড় হতে বাধ্য করে এবং এটি সাহায্য করে নেটওয়ার্কটি দ্রুত রূপান্তর করার জন্য, যেমন শেখার প্রক্রিয়াটি গতি বাড়ায়।

পরিবর্তে যদি আপনার সমস্ত ওজন কিছুটা ধ্রুবকের কাছে থাকে তবে প্রতিটি ওজন খুব ধীর (~ স্থির) হারে আপডেট করা হবে এবং প্রাথমিক মানগুলি চূড়ান্ত মান থেকে 'খুব দূরে' থাকলে বিশেষত এটি খুব বেশি সহায়ক হবে না।

আশা করি যে সাহায্য করে, মজা শেখা :)


সুতরাং আপনি যেটি প্রাথমিক ওজনকে এলোমেলো করে বলছেন তা প্রতিটি ওজনকে যেদিকে চালিত করা প্রয়োজন (এবং প্রসারিত ব্যবধানটি প্রসারিত করতে হবে) সেদিকে ধাক্কা দেওয়ার সমতুল্য।
শায়ান আরসি

আমি মনে করি না এটির সঠিক দিকে হওয়া দরকার, আপনি [আর -0.5, +0.5] ওজনের সাথে শুরু করতে পারেন যেখানে চূড়ান্ত মানগুলি [+0.5, -0.5] হতে পারে, মূল ধারণাটি রয়েছে বিভিন্ন মান ..
সুবহায়ান

আমি এনএনএসের সাথে কাজ করার এক বছর পেরিয়ে গেছে, তাই আমি হাতের avyেউয়ের সাথে কথা বলছি, আপনি যদি এর পিছনে গণিত চান তবে আমাকে জানান know তবে আমি মনে করি এখানে অন্তর্দৃষ্টি পাওয়া আরও জরুরী, গণিতটি সব জায়গাতেই বেশ সহজলভ্য .. :)
সুবহায়ান

এর পিছনের গণিতটি সহায়ক হবে তবে আরও কার্যকর হতে পারে কিছু ব্যবহারিক পরামর্শ: প্রাথমিক ওজন কতটা ছোট হওয়া উচিত (10 ^?) বিভিন্ন ধরণের নেটওয়ার্কের জন্য এগুলি কীভাবে আলাদা হতে পারে? এখানে কি এমন এক ধরণের ম্যাজিক নম্বর রয়েছে যা সবার জন্য কাজ করে?
শায়ান আরসি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.