ইউনিফর্ম আরম্ভের মাধ্যমে কখন (তিনি বা গ্লোরোট) সাধারণ সূচনা ব্যবহার করবেন? এবং ব্যাচ সাধারণকরণের সাথে এর প্রভাবগুলি কী কী?

Question

আমি জানতাম যে রেসিডুয়াল নেটওয়ার্ক (রেসনেট) তাকে স্বাভাবিক প্রাথমিককরণ জনপ্রিয় করেছে। রেসনেটে, তিনি সাধারণ সূচনা ব্যবহৃত হয় , যখন প্রথম স্তরটি তিনি অভিন্ন সূচনা ব্যবহার করে।

আমি রেসনেট পেপার এবং "ডেলিভিং ডিপ ইন রেকটিফায়ার্স" পেপার (তিনি ইনিশিয়ালাইজেশন পেপার) দিয়ে দেখেছি, তবে সাধারণ থিমের তুলনায় ইউনিফর্ম ডিআইআই-তে কোনও উল্লেখ পাইনি।

এছাড়াও:

ব্যাচের নরমালাইজেশন আমাদের উচ্চতর শিক্ষার হারগুলি ব্যবহার করতে এবং প্রাথমিককরণ সম্পর্কে কম সতর্ক হতে দেয়।

ব্যাচ নরমালাইজেশন পেপারের বিমূর্তে বলা হয় যে ব্যাচ নরমালাইজেশন আমাদের সূচনা সম্পর্কে কম যত্নশীল হতে দেয়।

রেসনেট নিজেই এখনও যত্নশীল যে কখন সাধারণ থিম বনাম ইউনিফর্ম ডিআই ব্যবহার করবে (বরং ইউনিফর্মের আরম্ভের সাথে না গিয়ে)।

তাই:

• ইউনিফর্ম ইনিশিয়ালাইজের মাধ্যমে কখন (তিনি বা গ্লোরোট) সাধারণ-বিতরণ সূচনাটি ব্যবহার করবেন?
• ব্যাচ নরমালাইজেশন সহ সাধারণ-বিতরণ সূচনা প্রভাবগুলি কী কী?

নোটগুলি একদিকে:

• এটি ব্যাচ সাধারণকরণের সাথে সাধারণ থিম ব্যবহার করার ছড়া, তবে আমি এই সত্যটির পিছনে কোনও কাগজ পাইনি।
• আমি জানতাম যে রজননেট তিনি গ্লোরোট ইনপ্লেক্সে ডিআইডি ব্যবহার করেন কারণ তিনি গভীর নেটওয়ার্কে আরও ভাল করেন।
• আমি গ্লোরট ডিআইডি বনাম হি ইডি সম্পর্কে বুঝতে পেরেছি ।
• আমার প্রশ্ন নর্মাল বনাম ইউনিফর্ম ইডি সম্পর্কে।

Answer 1

সাধারণ বনাম ইউনিফর্ম থিমটি বাস্তবে অস্পষ্ট বলে মনে হয়।

যদি আমরা কেবল গ্লোরটের এবং তাঁর আরম্ভের কাগজগুলিতে উল্লেখ করি তবে তারা উভয়ই একই রকম তাত্ত্বিক বিশ্লেষণ ব্যবহার করে: প্রাথমিক পরামিতিগুলি যেগুলি থেকে আঁকা হয় সেগুলি বিতরণের জন্য তারা একটি ভাল পার্থক্য খুঁজে পায়। এই বৈকল্পিকটি ব্যবহৃত অ্যাক্টিভেশন ফাংশনের সাথে অভিযোজিত এবং বিতরণের ধরণটি স্পষ্টভাবে বিবেচনা না করে উদ্ভূত হয়। এই হিসাবে, তাদের তাত্ত্বিক সিদ্ধান্তগুলি নির্ধারিত বৈকল্পিকের যে কোনও প্রকারের বিতরণের জন্য ধারণ করে। প্রকৃতপক্ষে, গ্লোরোট পেপারে, অভিন্ন বিতরণ ব্যবহৃত হয় যখন তিনি কাগজে এটি একটি গাউসিয়ান যা নির্বাচিত হয়। তিনি এই কাগজে এই পছন্দের জন্য প্রদত্ত একমাত্র "ব্যাখ্যা" হ'ল:

সাম্প্রতিক গভীর সিএনএনগুলি বেশিরভাগ গাউস বিতরণ থেকে আঁকা এলোমেলো ওজন দ্বারা সূচনা করা হয়

অ্যালেক্সনেট পেপারের একটি রেফারেন্স সহ । এটি গ্লোরটের আরম্ভের চেয়ে একটু পরে মুক্তি পেয়েছিল তবে সাধারণ বিতরণ ব্যবহারের কোনও যৌক্তিকতা নেই।

প্রকৃতপক্ষে কেরাস ইস্যু ট্র্যাকার সম্পর্কিত আলোচনায় এগুলিও কিছুটা বিভ্রান্ত বলে মনে হয় এবং মূলত এটি কেবল অগ্রাধিকারের বিষয় হতে পারে ... (যেমন অনুমানের ভিত্তিতে বেঞ্জিও অভিন্ন বিতরণ পছন্দ করবে তবে হিন্টন স্বাভাবিকের চেয়ে বেশি পছন্দ করবে ...) একটি আলোচনা, সেখানে ইউনিফর্ম এবং গাউসির বিতরণ ব্যবহার করে গ্লোরোট ইনিশিয়েশনের সাথে তুলনা করার জন্য একটি ছোট মানদণ্ড রয়েছে। শেষ পর্যন্ত, মনে হচ্ছে ইউনিফর্মটি জিতেছে তবে এটি সত্যই পরিষ্কার নয়।

মূল রেসনেট কাগজে , এটি কেবলমাত্র বলে যে তারা সমস্ত স্তরগুলির জন্য তিনি গাউসিয়ান ডিআইএস ব্যবহার করেছিলেন, আমি এটি খুঁজে পাইনি যেখানে এটি লেখা আছে যে তারা প্রথম স্তরের জন্য তিনি একটি ইউনিফর্ম ব্যবহার করেছিলেন। (সম্ভবত আপনি এটির একটি রেফারেন্স ভাগ করে নিতে পারেন?)

ব্যাচ নরমালাইজেশনের সাথে গাউসিয়ান ডিআইআই ব্যবহার করা যায়, তবে, বিএন এর সাথে অপ্টিমাইজেশন প্রক্রিয়াটি আরম্ভের ক্ষেত্রে কম সংবেদনশীল তাই এটি কেবল একটি সম্মেলন হিসাবে আমি বলব।

Comments

আমি এটা ভুল লিখেছি। আপনি ঠিক বলেছেন যে রেজনেট কোনও ইউনিফর্ম সূচনা মোটেই ব্যবহার করে না। আমি সংশোধন করেছি.

— rilut

Answer 2

দয়া করে অ্যাকশনে একটি পঠিত হাইপার-পরামিতি নিন! দ্বিতীয় খণ্ড - ওজন প্রারম্ভিক

Comments

দয়া করে কেবল লিঙ্কগুলি পোস্ট করা এড়িয়ে চলুন। কোনও লিঙ্ক কিছুক্ষণ পরে মরে যেতে পারে এবং নতুন পাঠকরা উত্তরটি চেক করতে পারবেন না। আপনি একটি লিঙ্ক পোস্ট করতে পারেন, তবে সর্বদা পাঠ্যের হিসাবেও খুব গুরুত্বপূর্ণ অংশের সংক্ষিপ্তসার যুক্ত করুন।

— তাসোস

@ টাসোস মন্তব্যটি ভালভাবে উল্লেখ করেছেন। সংক্ষিপ্ত করার জন্য খুব বেশি তথ্য ছিল এবং সে কারণেই আমি পরিবর্তে লিঙ্কটি পোস্ট করেছি এবং লিঙ্কগুলি নষ্ট হওয়ার বিষয়ে আমি আপনার বক্তব্যটি পেয়েছি। ধন্যবাদ।

— রকসনে