স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত (এসজিডি) জন্য উপযুক্ত মিনিব্যাচ আকার নির্বাচন করা


13

এমন কোনও সাহিত্য আছে যা স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার সময় মিনিবেচের আকারের পছন্দটি পরীক্ষা করে? আমার অভিজ্ঞতাকে, এটি একটি অভিজ্ঞতাগত পছন্দ বলে মনে হয়, সাধারণত ক্রস-বৈধতা বা থাম্বের বিভিন্ন নিয়ম ব্যবহার করে পাওয়া যায়।

বৈধতা ত্রুটি হ্রাস হওয়ায় আস্তে আস্তে মিনিব্যাচের আকার বাড়ানো কি ভাল ধারণা? এটি সাধারণকরণের ত্রুটিতে কী প্রভাব ফেলবে? আমি কি খুব ছোট মিনিবাচ ব্যবহার করে কয়েকশো বার আমার মডেলটি আপডেট করছি? অত্যন্ত সামান্য এবং ব্যাচের মধ্যে কোথাও ভারসাম্যপূর্ণ সংখ্যাটি নিয়ে আমি আরও ভাল হতে পারি?
আমি কি আমার মিনিব্যাচের আকারটি ডেটাসেটের আকারের সাথে বা ডেটাসেটের মধ্যে প্রত্যাশিত বৈশিষ্ট্যগুলির সংখ্যা দিয়ে স্কেল করব?

স্পষ্টতই মিনিব্যাচ শেখার প্রকল্পগুলি বাস্তবায়ন সম্পর্কে আমার অনেক প্রশ্ন রয়েছে। দুর্ভাগ্যক্রমে, আমি বেশিরভাগ কাগজপত্র পড়েছি তবে তারা কীভাবে এই হাইপারপ্যারামিটারটি বেছে নিয়েছে তা সত্যই নির্দিষ্ট করে না। ইয়ান লেকুনের মতো লেখকদের কাছ থেকে আমার কিছুটা সাফল্য ছিল, বিশেষত কাগজের সংগ্রহের কৌশলগুলি থেকে। যাইহোক, আমি এখনও এই প্রশ্নগুলি সম্পূর্ণরূপে দেখিনি। কাগজপত্রের জন্য কারও কাছে কি কোনও সুপারিশ রয়েছে, বা বৈশিষ্ট্যগুলি শেখার চেষ্টা করার সময় আমি ভাল মিনি মিনিচের আকার নির্ধারণ করতে কোন মানদণ্ড ব্যবহার করতে পারি সে সম্পর্কে পরামর্শ রয়েছে?


এই বিষয়টিতে আমার প্রচুর হিট লাগছে না বলে মনে হচ্ছে। মেশিন লার্নিং জিজ্ঞাসা করার মতো আরও গভীর স্ট্যাক এক্সচেঞ্জ সাইট রয়েছে কি না এর মতো গভীর শেখার প্রশ্ন?
জেসন_এল_বেন্স

উত্তর:


6

এসজিডির কার্যকারিতার জন্য তত্ত্বটি একক উদাহরণ আপডেটে (অর্থাত্ মিনিবিচের আকার 1) নিয়ে কাজ করা হয়েছিল, সুতরাং বৃহত্তর মিনিবাসগুলি ব্যবহার করা তাত্ত্বিকভাবে প্রয়োজনীয় নয়। এর দুটি ব্যবহারিক সুবিধা রয়েছে:

এক , যদি গণনাটি ভেক্টরাইজ করা যায় তবে আপনি একটি ছোট মিনিবাচ> 1 এর জন্য প্রায় সমান তত দ্রুত সমীক্ষণ করতে সক্ষম হবেন, যার ফলে প্রশিক্ষণে গতি বাড়বে।

এক্ষেত্রে, সর্বোত্তম মিনিব্যাচ আকারটি নির্দিষ্ট হার্ডওয়্যার এবং বাস্তবায়নের একটি ফাংশন যার সাথে আপনি কাজ করছেন, তাই আপনি সম্ভবত মিষ্টি স্থানটি সন্ধানের জন্য পরীক্ষায় সেরা হবেন।

দ্বিতীয়ত , 1 মিনিবেচের আকার> 1 এ গ্রেডিয়েন্ট গণনা করা আরও সঠিক গ্রেডিয়েন্ট এবং আরও অনুকূল পদক্ষেপে নিয়ে যাবে। তবে এই সুবিধাটি পৌঁছে যাবে এবং মিনিব্যাচের আকার 1 ছাড়িয়ে গেলে দ্রুত স্তরে নেমে যাবে, তাই আপনি প্রথম লক্ষ্যটিতে প্রাথমিকভাবে মনোনিবেশ করতে পারেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.