প্রশিক্ষণের ক্ষতি সময়ের সাথে বৃদ্ধি পায় [নকল]


21

আমি 4 ধরণের সিক্যুয়েন্সকে শ্রেণিবদ্ধ করার জন্য একটি মডেল (পুনরাবৃত্ত নিউরাল নেটওয়ার্ক) প্রশিক্ষণ দিচ্ছি। আমি যখন আমার প্রশিক্ষণ চালাচ্ছি তখন দেখছি প্রশিক্ষণ হ্রাস পয়েন্ট অবধি অবধি নীচে নেমে গেছে যেখানে আমি আমার প্রশিক্ষণ ব্যাচের 90% নমুনার উপরে সঠিকভাবে শ্রেণিবদ্ধকরণ করেছি। তবে কয়েক যুগের পরে আমি লক্ষ্য করেছি যে প্রশিক্ষণের ক্ষতি বৃদ্ধি পায় এবং আমার যথার্থতা হ্রাস পায়। এটি আমার কাছে অদ্ভুত বলে মনে হচ্ছে যেহেতু আমি প্রত্যাশা করব যে প্রশিক্ষণের সময়টি খারাপ হওয়ার সাথে সাথে পারফরম্যান্সের উন্নতি করা উচিত। আমি ক্রস এনট্রপি ক্ষতি ব্যবহার করছি এবং আমার শিক্ষার হার 0.0002।

আপডেট: দেখা গেল যে শিক্ষার হার খুব বেশি। যথেষ্ট কম শিক্ষার হার সহ আমি এই আচরণটি পর্যবেক্ষণ করি না। তবে আমি এখনও এই অদ্ভুত খুঁজে। কেন এমন হয় তা সম্পর্কে কোনও ভাল ব্যাখ্যা স্বাগত

লোকসান হ্রাস পায় এবং তারপরে বৃদ্ধি ঘটে

উত্তর:


6

সিএনএনকে প্রশিক্ষণ দেওয়ার সময় আমারও এ জাতীয় আচরণ ছিল, কারণ ত্রুটি গণনার জন্য ক্ষয়শীল শিক্ষার হারের সাথে গ্রেডিয়েন্ট বংশোদ্ভূত ব্যবহার করেছি used আপনি কি পুনরাবৃত্তির সংখ্যা উল্লেখযোগ্যভাবে বাড়িয়েছেন এবং পরীক্ষা করেছেন যে এই আচরণটি নতুন নিম্ন শিক্ষার হারের সাথে পরে আসে কিনা?


আসলে হ্যাঁ তবে একটি পয়েন্ট আসে যে কম পর্যায়ে পড়াশোনার হার যেখানে এটি আর কখনও বাড়বে না। কেন
এমনটি

আপনি কোন অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করেন?
ফ্রুন্ডলিচার

আমি lr = 0.00001, betas = (0.5, 0.999)
dins2018

1
আমি মনে করি আপনি এই ক্ষুদ্রতর শিক্ষার হারের সাথে স্থানীয় ন্যূনতমের সাথে আনুমানিক হন যাতে ক্ষতির মানটি আবার কিছুটা বাড়ায় (কারণ আপনি সর্বনিম্নের চেয়ে বেশি হয়ে গেছেন) অনেকগুলি পুনরাবৃত্তি প্রয়োজন। লোকসান মূল্যের এই বৃদ্ধি অ্যাডামের কারণে, স্থানীয় সর্বনিম্নকে ছাড়িয়ে যাওয়ার এবং নির্দিষ্ট সংখ্যাগুলির পুনরাবৃত্তির মুহুর্তে, একটি ছোট সংখ্যাকে এমনকি আরও ছোট সংখ্যায় বিভক্ত করা হয় এবং লোকসানের মানটি বিস্ফোরিত হয়।
ফ্রুন্ডলিশার

2
আপনি বিটা 1 = 0.9 এবং বিটা 2 = 0.999 সেট করতে পারেন। এগুলি সাধারণ মান যা এই আচরণের বিরুদ্ধে কাজ করতে হবে।
ফ্রুন্ডলিশার

1

শেখার হার যেহেতু খুব বড়, তাই এটি ক্ষতির কার্যকারিতাটির সর্বনিম্ন সন্ধান করতে এবং ব্যর্থ হবে। নির্দিষ্ট যুগের পরে শেখার হার হ্রাস করার জন্য একটি শিডিয়ুলার ব্যবহার করা সমস্যার সমাধান করতে সহায়তা করবে


0

উচ্চতর শিক্ষার হারের সাথে আপনি গ্রেডিয়েন্টের বিপরীত দিকে খুব বেশি এগিয়ে চলেছেন এবং লোকাল মিনিমা থেকে দূরে সরে যেতে পারেন যা লোকসান বাড়িয়ে তুলতে পারে। শেখার হারের সময়সূচী এবং গ্রেডিয়েন্ট ক্লিপিং সহায়তা করতে পারে।


সিভিতে আপনাকে স্বাগতম। উপরে উঠতে আরও সম্পূর্ণ উত্তর প্রদান করা ভাল, দিকনির্দেশের জন্য stats.stackexchange.com/help/how-to-answer দেখুন wer
রিনিব্যাট
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.