ইকো স্টেট নেটওয়ার্কগুলির একটি স্বজ্ঞাত ব্যাখ্যা কী?

Question

আমি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন) এ নতুন এবং এখনও ধারণাগুলি শিখছি। আমি একটি বিমূর্ত স্তরে বুঝতে পারি যে কোনও ইকো স্টেট নেটওয়ার্ক (ইএসএন) ইনপুট সরিয়ে ফেলার পরেও ইনপুটগুলির ক্রম , অর্থাৎ একটি সিগন্যাল তৈরি করতে সক্ষম হয়েছে (পুনরায়) । যাইহোক, আমি স্কলার্পিডিয়া নিবন্ধটি সম্পূর্ণরূপে উপলব্ধি করা এবং বুঝতে খুব অসুবিধা পেয়েছি ।

কেউ কী দয়া করে ব্যাখ্যা করতে পারবেন কীভাবে শেখা সহজতম আকারে গাণিতিকভাবে কাজ করে।

Answer 1

একটি ইকো স্টেট নেটওয়ার্ক রিজার্ভায়ার কম্পিউটিংয়ের আরও সাধারণ ধারণার একটি উদাহরণ । ইএসএন-এর পেছনের মূল ধারণাটি হ'ল একটি আরএনএন (একে অপরের উপর নির্ভরশীল ইনপুটগুলির ক্রম প্রক্রিয়া, যেমন একটি সংকেতের মতো সময় নির্ভরতা) প্রক্রিয়া করা কিন্তু নিখরচায় গ্রেডিয়েন্ট সমস্যার মতো একটি traditionalতিহ্যবাহী আরএনএন প্রশিক্ষণের সমস্যা ছাড়াই ।

ইএসএনগুলি সিগময়েডাল ট্রান্সফার ফাংশন (ইনপুট আকারের সাথে সম্পর্কিত, 100-1000 ইউনিটের মতো কিছু) ব্যবহার করে তুলনামূলকভাবে সংযুক্ত নিউরনের তুলনামূলকভাবে বড় জলাধার পেয়ে এটি অর্জন করে। জলাধারের সংযোগগুলি একবার বরাদ্দ করা হয় এবং সম্পূর্ণ এলোমেলো হয়; জলাধার ওজন প্রশিক্ষিত হয় না। ইনপুট নিউরনগুলি জলাশয়ের সাথে সংযুক্ত থাকে এবং জলাধারটিতে ইনপুট ক্রিয়াকলাপগুলি সরবরাহ করে - এগুলিও প্রশিক্ষণহীন এলোমেলো ওজন নির্ধারিত হয়। প্রশিক্ষিত একমাত্র ওজন হ'ল আউটপুট ওয়েট যা জলাধারটিকে আউটপুট নিউরনের সাথে সংযুক্ত করে।

প্রশিক্ষণে, ইনপুটগুলি জলাশয়ে খাওয়ানো হবে এবং আউটপুট ইউনিটগুলিতে একটি শিক্ষক আউটপুট প্রয়োগ করা হবে। জলাধার রাজ্যগুলি সময়ের সাথে সাথে ক্যাপচার এবং সঞ্চিত হয়। সমস্ত প্রশিক্ষণ ইনপুট একবার প্রয়োগ করা হয়ে গেলে, বন্দী জলাধার রাজ্য এবং লক্ষ্য আউটপুটগুলির মধ্যে লিনিয়ার রিগ্রেশনের একটি সাধারণ প্রয়োগ ব্যবহার করা যেতে পারে। এই আউটপুট ওজনগুলি তখন বিদ্যমান নেটওয়ার্কে সংযুক্ত করা যেতে পারে এবং নভেল ইনপুটগুলির জন্য ব্যবহার করা যেতে পারে।

ধারণাটি হ'ল জলাশয়ে বিচ্ছিন্ন এলোমেলো সংযোগগুলি পূর্ববর্তী রাজ্যগুলি পেরিয়ে যাওয়ার পরেও "প্রতিধ্বনি" করতে দেয়, যাতে নেটওয়ার্ক যদি কোনও অভিনব ইনপুট গ্রহণ করে যা এটি প্রশিক্ষিত কোনও কিছুর অনুরূপ হয় তবে জলাশয়ের গতিশীলতা শুরু হবে ইনপুটটির জন্য উপযুক্ত অ্যাক্টিভেশন ট্র্যাজেক্টোরিটি অনুসরণ করুন এবং সেভাবে এটি কী প্রশিক্ষণ পেয়েছে তার একটি মেলা সংকেত সরবরাহ করতে পারে এবং যদি এটি ভাল প্রশিক্ষিত হয় তবে এটি ইতিমধ্যে যা দেখেছিল তা থেকে সাধারণীকরণ করতে সক্ষম হবে, নিম্নলিখিত সক্রিয়করণ ট্র্যাজেক্টোরিগুলি অনুসরণ করবে যা বোঝা যাবে জলাধার ড্রাইভ ইনপুট সংকেত দেওয়া।

এই পদ্ধতির সুবিধা অবিশ্বাস্যভাবে সহজ প্রশিক্ষণ পদ্ধতিতে হ'ল বেশিরভাগ ওজন কেবল একবার এবং এলোমেলোভাবে নির্ধারিত হয়। তবুও তারা সময়ের সাথে সাথে জটিল গতিবিদ্যা ক্যাপচার করতে সক্ষম হয় এবং গতিশীল সিস্টেমগুলির বৈশিষ্ট্যগুলি মডেল করতে সক্ষম হয়। এখন পর্যন্ত আমি ইএসএন-তে সর্বাধিক সহায়ক কাগজপত্র পেয়েছি:

• হারবার্ট জেইগার ( ইএসএন-তে স্কলার্পিডিয়া পৃষ্ঠার কিউরেটর) দ্বারা আরএনএন প্রশিক্ষণ সম্পর্কিত টিউটোরিয়াল

• মান্টাস লুকোয়েভিয়াসিয়াস দ্বারা ইকো স্টেট নেটওয়ার্ক প্রয়োগের একটি ব্যবহারিক গাইড

উভয়টিরই আনুষ্ঠানিকতা এবং যথাযথ প্যারামিটার মানগুলি বেছে নেওয়ার জন্য গাইডেন্স সহ একটি বাস্তবায়ন তৈরির জন্য অসামান্য পরামর্শের সাথে অনুধাবন করার সহজ ব্যাখ্যা রয়েছে।

আপডেট: গভীর শিক্ষা বই Goodfellow, Bengio এবং Courville থেকে প্রতিধ্বনি রাজ্য নেটওয়ার্ক সামান্য আরো বিস্তারিত কিন্তু এখনও চমৎকার উচ্চ পর্যায়ের আলোচনা হয়েছে। বিভাগ 10.7 বিদায়ী (এবং বিস্ফোরিত) গ্রেডিয়েন্ট সমস্যা এবং দীর্ঘমেয়াদী নির্ভরতা শেখার সমস্যাগুলি নিয়ে আলোচনা করেছে। বিভাগ 10.8 সমস্ত ইকো স্টেট নেটওয়ার্ক সম্পর্কে। এটি নির্দিষ্ট বর্ণালী ব্যাসার্ধের মান আছে এমন জলাধার ওজনগুলি নির্বাচন করা কেন গুরুত্বপূর্ণ তা সম্পর্কে বিশদে এটি বিশদে যায় - এটি সময়ের সাথে তথ্য প্রচারের সময় স্থায়িত্বকে উত্সাহিত করার জন্য ননলাইনার অ্যাক্টিভেশন ইউনিটগুলির সাথে একসাথে কাজ করে।

Answer 2

কোনও ESN এ শিখতে ওজন মানিয়ে নিতে প্রাথমিকভাবে বাধ্য করা হয় না, যথাক্রমে আউটপুট স্তরটি জানতে পারে যে বর্তমান অবস্থায় নেটওয়ার্কের জন্য কোন আউটপুট উত্পাদন করতে হবে। অভ্যন্তরীণ রাষ্ট্রটি নেটওয়ার্ক গতিশীলতার উপর ভিত্তি করে এবং ডায়নামিক জলাধার রাজ্য বলে। জলাশয়ের রাজ্যগুলি কীভাবে তৈরি হয় তা বোঝার জন্য আমাদের একটি ESN এর টপোলজিটি দেখতে হবে।

ইনপুট ইউনিট (গুলি) অভ্যন্তরীণ ইউনিটগুলিতে (জলাধার ইউনিট) নিউরনের সাথে সংযুক্ত থাকে, ওজন এলোমেলোভাবে শুরু হয়। জলাধার ইউনিটগুলি এলোমেলোভাবে এবং খুব কম সংযুক্ত এবং পাশাপাশি এলোমেলো ওজন রয়েছে। আউটপুট ইউনিট সমস্ত জলাধার ইউনিটগুলির সাথেও সংযুক্ত থাকে ফলে জলাশয় রাষ্ট্রটি গ্রহণ করে এবং এর সাথে সম্পর্কিত আউটপুট উত্পাদন করে।

$t$$t$

প্রশিক্ষণ কীভাবে বিশদে কাজ করে তা বোঝানোর আগে আমাদের কয়েকটি বিষয় ব্যাখ্যা করতে এবং সংজ্ঞা দিতে হয়:

শিক্ষক জোরপূর্বক মানে নেটওয়ার্কে ফিড টাইম সিরিজ ইনপুট পাশাপাশি সংশ্লিষ্ট কাঙ্ক্ষিত আউটপুট (সময় বিলম্বিত)। এর পছন্দসই আউটপুট খাওয়ানো$T$ এ $t$পিছনে আউটপুট প্রতিক্রিয়া বলে। অতএব আমাদের ম্যাট্রিক্সে সঞ্চিত কিছু এলোমেলোভাবে প্রাথমিক ওজন প্রয়োজন$W_{fb}$। চিত্র 1 এ সেই প্রান্তগুলি বিন্দুযুক্ত তীরগুলির সাথে প্রদর্শিত হবে।

পরিবর্তনশীল সংজ্ঞা:

• $r$ = জলাধার একত্রিত করার সংখ্যা,
• $o$ = আউটপুট ইউনিট সংখ্যা,
• $t$ = টাইমস্টেপের সংখ্যা,
• $o$ = আউটপুট ইউনিটের সংখ্যা।
• $T$ = ম্যাট্রিক্স (আকারের) $t$ এক্স $o$) যা প্রতিটি টাইমস্টেপের জন্য পছন্দসই আউটপুট ধারণ করে।

পরিশেষে প্রশিক্ষণ কীভাবে বিশদভাবে কাজ করে?

• রেকর্ড জলাধার জন্য $t$শিক্ষক বাধ্য করার সময় সময় পদক্ষেপ। আউটপুটটি: একটি ম্যাট্রিক্স$M$ এর ($t$ এক্স $r$) জলাধার রাজ্য।
• আউটপুট ওজন ম্যাট্রিক্স নির্ধারণ করুন $W_{out}$যা চূড়ান্ত আউটপুট ওজন ধারণ করে। এটি যে কোনও রিগ্রেশন কৌশল ব্যবহার করে গণনা করা যায় যেমন সিউডোয়েন্টার ব্যবহার করে। এর অর্থ, জলাধারের রাজ্যগুলি দেখুন এবং আউটপুট পর্যন্ত আউটপুট ওজনের সাথে বহুগুণে ম্যাপ করার জন্য একটি ফাংশন পান। গাণিতিক: আনুমানিক$M \bullet W_{out} = T -> W_{out} = M \bullet T^{-1}$

কারণ শেখা খুব দ্রুত, আমরা বেশ কয়েকটি নেটওয়ার্ক টপোলজির চেষ্টা করতে পারি যা একটি ভাল ফিট করে।

করতে পারফরম্যান্স পরিমাপ একটি ESN সংখ্যা:

• শিক্ষককে বাধ্য না করে আরও ইকো স্টেট নেটওয়ার্ক চালান (নিজের আউটপুটটি ESN এর গতিশীল জলাশয়ে ফেরত দেওয়া হয়) এর মাধ্যমে $W_{fb}$)।
• রেকর্ড কর্মক্ষমতা, যেমন স্কোয়ার ত্রুটি $\left|\left|M \bullet W_{out} – T\right|\right|^2$

বর্ণালী ব্যাসার্ধ এবং ইএসএন

কিছু স্মার্ট ব্যক্তি প্রমাণ করেছেন যে কোনও ইএসএন এর ইকো স্টেট সম্পত্তি কেবল তখনই দেওয়া যেতে পারে Spec-tralযখন জলাশয়ের ওজন ম্যাট্রিক্সের ব্যাসার্ধের চেয়ে কম বা সমান হয়$1$। ইকো স্টেট প্রোপার্টি মানে সিস্টেম সীমিত সময়ের পরে তার ইনপুটগুলি ভুলে যায়। কোনও ইএসএন ক্রিয়াকলাপে এক্স-প্লড না করা এবং শিখতে সক্ষম হওয়ার জন্য এই সম্পত্তিটি প্রয়োজনীয়।