আপনি যখন ওজনকে একই মানটির সূচনা করবেন তখন ব্যাকপ্রসারণ কেন কাজ করবে না?


20

আপনি যখন সমস্ত ওজনকে একই মান হিসাবে শুরু করবেন (0.5 বলুন) তবে ব্যান্ডপ্রসারণ কাজ করে না কেন, তবে এলোমেলো সংখ্যা দেওয়ার সময় সূক্ষ্ম কাজ করে?

প্রথমদিকে ওজন একই রকম হওয়া সত্ত্বেও অ্যালগরিদম ত্রুটিটি গণনা করে সেখান থেকে কাজ করা উচিত নয়?

উত্তর:


26

প্রতিসাম্যতা বিরতি।

যদি সমস্ত ওজন সমান মান দিয়ে শুরু হয় এবং যদি সমাধানটির ক্ষেত্রে অসম ওজন বিকাশের প্রয়োজন হয়, সিস্টেম কখনই শিখতে পারে না।

এটি কারণ ওজনটির মানগুলির অনুপাত অনুসারে ওজনের মাধ্যমে ত্রুটিটি আবার প্রচারিত হয়। এর অর্থ হ'ল আউটপুট ইউনিটগুলির সাথে সরাসরি সংযুক্ত সমস্ত লুকানো ইউনিটগুলি অভিন্ন ত্রুটি সংকেত পাবে এবং যেহেতু ওজন পরিবর্তন ত্রুটি সংকেতের উপর নির্ভর করে, সেই ইউনিটগুলি থেকে আউটপুট ইউনিটগুলিতে ওজন সর্বদা একই হতে হবে। সিস্টেমটি এক ধরণের অস্থিতিশীল ভারসাম্য বিন্দুতে শুরু হচ্ছে যা ওজনকে সমান রাখে, তবে এটি ত্রুটির পৃষ্ঠের কয়েকটি প্রতিবেশী পয়েন্টের চেয়ে বেশি এবং এটি একবারে এই পয়েন্টে চলে গেলে তা আর ফিরে আসবে না। আমরা ছোট এলোমেলো ওজন দিয়ে সিস্টেম শুরু করে এই সমস্যার মোকাবিলা করি। এই অবস্থার অধীনে এই ধরণের প্রতিসাম্যের সমস্যাগুলি দেখা দেয় না।


সুতরাং কোনও এনএন এর প্রাথমিক ওজন কেবল এটির গতি নির্ধারণ করে না, তবে শিখতে বা শেখার কারণও হতে পারে?
ব্যবহারকারী 1724140

2
হ্যাঁ, কখনও কখনও, আমরা কেবলমাত্র এক সেট ওজনের ট্রেনিং করি না (উদাহরণস্বরূপ একটি নিউরাল নেটওয়ার্ক)। করার একটি সাধারণ কাজ, যদি আমাদের কাছে সময় থাকে তবে হ'ল বিভিন্ন স্টার্ট ওজনের কনফিগারেশন তৈরি করা এবং এতে নেটওয়ার্ক প্রশিক্ষণ। কারণ কিছু সময়, এটি ঘটতে পারে যে একটি কনফিগারেশন স্থানীয় অপটিমাতে শেষ হবে বা ওজন দুর্ভাগ্যক্রমে সত্যই এলোমেলোভাবে হয়নি।
থিশ

এটি ভুল নয়, কারণ বিভিন্ন ইনপুটগুলি এখনও প্রতিসাম্যতা ভাঙ্গতে পারে। দেখুন: ওপেন.ওলফ্রামক্লাউড
env

12

থিয়েরির উত্তর যুক্ত করতে, আপনি ত্রুটিটিকে ওয়েট ভেক্টরের একটি ক্রিয়াকলাপ হিসাবে অর্থাৎ থেকে ফাংশন হিসাবে ভাবতে পারেনRnR যা আপনি হ্রাস করতে চান। পিছনের প্রসারণ অ্যালগরিদম কোনও বিন্দুর স্থানীয় পাড়া দেখে এবং কোন দিকটি ছোট ত্রুটির দিকে পরিচালিত করবে তা দেখে কাজ করে। এটি আপনাকে স্থানীয় ন্যূনতম দেবে।

আপনি এটি বিশ্বব্যাপী সর্বনিম্ন কী চান, তবে এটি সন্ধানের আপনার কোনও গ্যারান্টিযুক্ত উপায় নেই। এবং যদি আপনার পৃষ্ঠের বেশ কয়েকটি স্থানীয় মিনিমা থাকে তবে আপনি সমস্যায় পড়তে পারেন।

তবে যদি এর কয়েকটি মাত্র থাকে তবে থিয়েরির কৌশলটি কাজ করা উচিত - এলোমেলোভাবে নির্বাচিত পয়েন্টগুলি শুরু করে স্থানীয় মিনিমার জন্য একাধিক অনুসন্ধান করা আপনার বৈশ্বিক ন্যূনতম সন্ধানের সম্ভাবনা বাড়িয়ে তুলবে।

এবং যে খুশির ক্ষেত্রে কেবলমাত্র সর্বনিম্ন একটি রয়েছে - কোনও প্রাথমিক ওজন ভেক্টর আপনাকে এর দিকে নিয়ে যাবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.