"অপ্টিমাইজেশান ল্যান্ডস্কেপ" চিন্তা করুন। উদাহরণস্বরূপ, যদি আপনার কেবল দুটি ওজনযুক্ত নেটওয়ার্ক থাকে তবে আপনি এই দুটি ওজনের সমস্ত সংমিশ্রণ একটি পৃষ্ঠের উপরে ছুঁড়ে ফেলতে পারেন, যেখানে প্রতিটি বিন্দুতে উচ্চতা যদি আপনার ব্যয় ফাংশনটি প্রদান করে ত্রুটির পরিমাণ উপস্থাপন করে আপনি যদি এটি ব্যবহার করেন (x, y ) আপনার দুটি ওজন হিসাবে সমন্বয়। আপনি ত্রুটির সর্বনিম্ন স্তর পেতে এই পৃষ্ঠের সর্বনিম্ন পয়েন্টে যাওয়ার চেষ্টা করছেন।
কখনও কখনও সমস্যাটি হ'ল পৃষ্ঠটি বেশ সুন্দর হয়ে উঠতে পারে, বিশেষত নেটওয়ার্কগুলিতে মাত্র দু'টির পরিবর্তে কয়েক মিলিয়ন প্যারামিটার। আপনি জিন পয়েন্টগুলিতে আটকে যেতে পারেন যেখানে অগ্রগতি কমিয়ে আনা হয় এবং তারপরে হঠাৎ করে নীচে পাহাড়ে গুলি মারতে হয়।
এটি কল্পনা করতে সহায়তা করার জন্য এখানে একটি অ্যানিমেশন রয়েছে আপনি
দেখতে পাচ্ছেন যে আরও বেসিক গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদমগুলি এই অবস্থানগুলিতে আরও সহজে আটকে যায় easier
এটির জন্য অন্যান্য কারণও থাকতে পারে, তবে এটিই আপনি সবচেয়ে বেশি শুনে থাকেন। এটি সম্ভব হতে পারে যে কোনও নেটওয়ার্কে সংশ্লেষিত ক্রিয়াকলাপগুলি পেতে (বা রেলুর ক্ষেত্রে, একটি ইউনিট যা কেবলমাত্র খুব অল্প সংখ্যক প্রশিক্ষণ ইনপুট দ্বারা সক্রিয় করা হচ্ছে) পেতে পারে, এবং একটি ইউনিট যখন স্যাচুরেশন থেকে বেরিয়ে যায় এটি হতে পারে possible একটি শৃঙ্খলা প্রতিক্রিয়া সেট করে যা বাকী স্যাচুরেশন থেকে সরে যায় এবং ওজন হঠাৎ গ্রেডিয়েন্ট প্রবাহকে বাড়িয়ে তোলে? আমি এর মতো কিছু দেখিনি তবে কারও যুক্ত করার অন্য কোনও কারণ থাকলে আমি আগ্রহী হব।
