সিএনএন জাভিয়ের ওজন সূচনা

Question

কিছু টিউটোরিয়ালে আমি দেখতে পেলাম যে "জাভিয়ার" ওজন সূচনা (কাগজ: গভীর ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণের অসুবিধা বোঝা ) স্নায়ুবিক নেটওয়ার্কগুলির ওজন সূচনা করার একটি কার্যকর উপায়।

সম্পূর্ণ সংযুক্ত স্তরগুলির জন্য এই টিউটোরিয়ালে থাম্বের নিয়ম ছিল:

$$Var(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad Var(W) = \frac{1}{n_{in}}$$

যেখানে হ'ল একটি স্তরের ওজনের সাধারণ বিতরণ দিয়ে শুরু করা হয় এবং , the পিতামাতার এবং বর্তমান স্তরের নিউরনের পরিমাণ।$Var(W)$$n_{in}$$n_{out}$

সমঝোতার স্তরগুলির জন্য কি থাম্বের অনুরূপ নিয়ম রয়েছে?

কনভোলশনাল স্তরের ওজন সূচনা করার জন্য সেরাটি কী হতে পারে তা নির্ধারণ করার জন্য আমি লড়াই করছি। উদাহরণস্বরূপ এমন স্তরে যেখানে ওজনের আকৃতি হয় (5, 5, 3, 8), তাই কার্নেলের আকারটি 5x5তিনটি ইনপুট চ্যানেল (আরজিবি ইনপুট) ফিল্টার করে 8বৈশিষ্ট্য মানচিত্র তৈরি করে ... 3ইনপুট নিউরনের পরিমাণ হিসাবে বিবেচিত হবে ? বা বরং 75 = 5*5*3, ইনপুট 5x5প্রতিটি রঙ চ্যানেলের জন্য প্যাচ হয়?

আমি উভয়ই গ্রহণ করবো, একটি নির্দিষ্ট উত্তর যা সমস্যার স্পষ্ট করে দেয় বা আরও বেশি "জেনেরিক" উত্তর যা সঠিকভাবে ওজন এবং প্রাথমিকভাবে সংযোগের উত্সগুলি সঠিকভাবে আবিষ্কার করার সাধারণ প্রক্রিয়াটি ব্যাখ্যা করে।

Answer 1

এক্ষেত্রে নিউরনের পরিমাণ হওয়া উচিত 5*5*3।

আমি এটি বিশেষভাবে কনভোলজিনাল স্তরগুলির জন্য দরকারী বলে মনে করি। প্রায়শই বিরতিতে অভিন্ন বিতরণ পাশাপাশি কাজ করে। $[-c/(in+out), c/(in+out)]$

এটি প্রায় সমস্ত নিউরাল নেটওয়ার্ক লাইব্রেরিতে একটি বিকল্প হিসাবে প্রয়োগ করা হয়। এখানে আপনি জাভিয়ের গ্লোরটের আরম্ভকরণের কেরাসের প্রয়োগের উত্স কোডটি পেতে পারেন।

Comments

$1 * 10^{-6}$$[0.1, 0.01]$

@ আসেনেটর দুঃখিত, প্রশিক্ষণের সময় ওজন কীভাবে পরিবর্তিত হয় সে সম্পর্কে আমি বেশি কিছু জানি না। কখনও কখনও অদ্ভুত ফলাফল খুব বড় / ছোট শিক্ষার হার থেকেও আসতে পারে।

— দন্টলু

$10^{-6}$$10^{-3}$

Answer 2

আমি এখানে এরিকের উত্তর দ্বিতীয়। আমি এই শব্দটির "স্কয়ার্ট "ও গ্রহণ করি এবং কেবল সেই শব্দটিই নয়। তবুও, আপনি যখন নিজের নেট এর সিগময়েডকে "রিলু" আউটপুটে গভীরভাবে সংযুক্ত করেন .... এটি প্রশিক্ষণকে থামিয়ে দিতে পারে। এটি আনবাউন্ডেড "রিলু" আউটপুটটির কারণে যা সিগময়েডে গ্রেডিয়েন্টকে 0 এ পড়তে পারে এবং কোন শিখন হয় না। সুতরাং, ক্ষেত্রে, আমার আমার নেটের জন্য একটি "স্কেলডাউন" ফ্যাক্টর রয়েছে যা সেই ফ্যাক্টরটির সাহায্যে প্রারম্ভিককরণের বিচ্যুতিটি ওজন করবে। আমি শেখার আগে পর্যন্ত বুদ্ধিমানভাবে ওজনগুলির সাথে তাল মিলিয়ে চলি। সন্ধান করার একটি সহজ উপায় হ'ল মডেলটি 1 টি পুনরাবৃত্তির পরে অবিলম্বে সংরক্ষণ করা এবং RELU আউটপুট (যা সিগময়েডের সাথে যুক্ত) এর দিকে নজর দেওয়া উচিত। এই RELU আউটপুটটি যুক্তিসঙ্গত না হওয়া পর্যন্ত ওজনগুলির সাথে তাল মিলিয়ে রাখুন। এবং তারপরে প্রশিক্ষণের জন্য সেই ওজনগুলি ব্যবহার করুন। এটি একটি ভাল শুরু। এটি কয়েক পুনরাবৃত্তির পরেও যদি ভেঙে যায়, স্থিতিশীলতা না পৌঁছানো পর্যন্ত এগুলিকে কিছুটা কমিয়ে দিন। এটি কেবল একটি হ্যাক আমি ব্যবহার করেছি। এটি আমার সেটআপের জন্য আমার পক্ষে কাজ করেছিল। তাই আমার অভিজ্ঞতা ভাগ করে নিচ্ছি। বিভিন্ন সেটআপের জন্য বিভিন্ন জিনিস কাজ করে।

সুতরাং ভালো থাকুন!