ফিড-ফরোয়ার্ড এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলির মধ্যে পার্থক্য কী?

Question

ফিড-ফরোয়ার্ড এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্কের মধ্যে পার্থক্য কী ?

আপনি কেন একে অপরকে ব্যবহার করবেন?

অন্যান্য নেটওয়ার্ক টোপোলজিসের কি উপস্থিত রয়েছে?

Comments

ঘনিষ্ঠভাবে সম্পর্কিত: stats.stackexchange.com/questions/287276/...

— Ferdi

Answer 1

ফিড-ফরোয়ার্ড এএনএন সংকেতগুলিকে কেবলমাত্র এক পথে ভ্রমণ করতে দেয়: ইনপুট থেকে আউটপুট পর্যন্ত to কোনও প্রতিক্রিয়া নেই (লুপস); অর্থ্যাৎ যে কোনও স্তরের আউটপুট একই স্তরটিকে প্রভাবিত করে না। ফিড-ফরোয়ার্ড এএনএনগুলি সোজা নেটওয়ার্ক হতে থাকে যা আউটপুটগুলির সাথে ইনপুটগুলিকে যুক্ত করে। তারা প্যাটার্ন স্বীকৃতিতে ব্যাপকভাবে ব্যবহৃত হয়। এই ধরণের সংস্থাটিকে নীচের অংশে বা উপরে-ডাউন হিসাবেও উল্লেখ করা হয়।

প্রতিক্রিয়া (বা পুনরাবৃত্তি বা ইন্টারেক্টিভ) নেটওয়ার্কগুলিতে নেটওয়ার্কে লুপগুলি প্রবর্তন করে উভয় দিক দিয়ে ভ্রমণের সিগন্যাল থাকতে পারে। প্রতিক্রিয়া নেটওয়ার্কগুলি শক্তিশালী এবং অত্যন্ত জটিল হয়ে উঠতে পারে। পূর্ববর্তী ইনপুট থেকে প্রাপ্ত গণনাগুলি আবার নেটওয়ার্কে খাওয়ানো হয়, যা তাদের এক ধরণের স্মৃতি দেয়। প্রতিক্রিয়া নেটওয়ার্কগুলি গতিশীল; তাদের 'রাষ্ট্র' ধারাবাহিকভাবে পরিবর্তিত হয় যতক্ষণ না তারা ভারসাম্য স্থানে পৌঁছায়। ইনপুট পরিবর্তন না হওয়া এবং একটি নতুন ভারসাম্য সন্ধানের প্রয়োজন না হওয়া পর্যন্ত এগুলি ভারসাম্য স্থানে থাকে।

ফিডফরওয়ার্ড নিউরাল নেটওয়ার্কগুলি ভবিষ্যদ্বাণীকারী বা ইনপুট ভেরিয়েবল এবং এক বা একাধিক প্রতিক্রিয়া বা আউটপুট ভেরিয়েবলগুলির মধ্যে সম্পর্ক স্থাপনের জন্য আদর্শভাবে উপযুক্ত। অন্য কথায়, এগুলি যে কোনও কার্যকরী ম্যাপিং সমস্যার জন্য উপযুক্ত যেখানে আমরা জানতে চাই যে বেশ কয়েকটি ইনপুট ভেরিয়েবল কীভাবে আউটপুট ভেরিয়েবলকে প্রভাবিত করে। মাল্টিলেয়ার ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্কগুলি, যাকে মাল্টি-লেয়ার পারসেপ্ট্রনস (এমএলপি) বলা হয়, এটি অনুশীলনে সর্বাধিক বিস্তৃত এবং ব্যবহৃত নিউরাল নেটওয়ার্ক মডেল।

প্রতিক্রিয়া নেটওয়ার্কের উদাহরণ হিসাবে, আমি হপফিল্ডের নেটওয়ার্কটি স্মরণ করতে পারি । হপফিল্ডের নেটওয়ার্কের প্রধান ব্যবহার হ'ল সহযোগী মেমরি। এসোসিয়েটিভ মেমরি এমন একটি ডিভাইস যা কোনও ইনপুট প্যাটার্ন গ্রহণ করে এবং সঞ্চিত প্যাটার্ন হিসাবে আউটপুট উত্পন্ন করে যা ইনপুটটির সাথে সর্বাধিক ঘনিষ্ঠভাবে জড়িত। সহযোগী মেমোরিটির কাজটি হ'ল সংশ্লিষ্ট সঞ্চিত প্যাটার্নটি স্মরণ করা এবং তারপরে আউটপুটটিতে প্যাটার্নটির একটি পরিষ্কার সংস্করণ তৈরি করা। হপফিল্ড নেটওয়ার্কগুলি সাধারণত বাইনারি প্যাটার্ন ভেক্টরগুলির সাথে সমস্যাগুলির জন্য ব্যবহৃত হয় এবং ইনপুট প্যাটার্ন সঞ্চিত নিদর্শনগুলির একটির শোরগোলের সংস্করণ হতে পারে। হপফিল্ড নেটওয়ার্কে, সঞ্চিত নিদর্শনগুলিকে নেটওয়ার্কের ওজন হিসাবে এনকোড করা হয়।

কোহোনেনের স্ব-সংগঠিত মানচিত্র(এসওএম) আরেকটি নিউরাল নেটওয়ার্ক ধরণের প্রতিনিধিত্ব করে যা ফিডফোরওয়ার্ড মাল্টিলেয়ার নেটওয়ার্কগুলির থেকে স্পষ্টতই আলাদা। ফিডফোরওয়ার্ড এমএলপিতে প্রশিক্ষণের বিপরীতে, এসওএম প্রশিক্ষণ বা শেখাকে প্রায়শই নিরীক্ষণ বলা হয় কারণ এসএমএমে প্রতিটি ইনপুট প্যাটার্নের সাথে সম্পর্কিত কোনও টার্গেট আউটপুট নেই এবং প্রশিক্ষণ প্রক্রিয়া চলাকালীন, এসওএম ইনপুট প্যাটার্নগুলি প্রসেস করে এবং ডেটা ক্লাস্টার বা বিভাগ করতে শেখে ওজনের সামঞ্জস্যের মাধ্যমে (যা এটি মাত্রা হ্রাস এবং ডেটা ক্লাস্টারিংয়ের জন্য একটি নিউরাল নেটওয়ার্ক মডেল করে তোলে)। একটি দ্বি-মাত্রিক মানচিত্রটি সাধারণত এমনভাবে তৈরি করা হয় যাতে ইনপুটগুলির মধ্যে আন্তঃসম্পর্ক সংক্রান্ত আদেশগুলি সংরক্ষণ থাকে। প্রশিক্ষণ প্রক্রিয়া দ্বারা উত্পন্ন আউটপুট বিতরণের উপর ভিত্তি করে ক্লাস্টারগুলির সংখ্যা এবং সংমিশ্রণ দৃশ্যত নির্ধারণ করা যেতে পারে। প্রশিক্ষণের নমুনায় কেবল ইনপুট ভেরিয়েবল সহ,

(চিত্রগুলি ডানা ভ্রিজিটুর সি 463 / বি 551 কৃত্রিম গোয়েন্দা ওয়েবসাইট থেকে প্রাপ্ত are )

Comments

কোনও ফিড ফরোয়ার্ড নেটওয়ার্ক যা পুনরুক্ত নেটওয়ার্ক হিসাবে আউটপুটগুলি আউটপুট হিসাবে আউটপুট ব্যবহার করে?

— nnot101

হ্যাঁ, আসলেই এটি হয়।

— বায়ারজ

আমার আগের মন্তব্যটি ভুল ছিল। এই পোস্টের কিছু অংশ mingণ ছাড়াই আপাতদৃষ্টিতে এই ব্যক্তির দ্বারা (বেশ কয়েকটি ছোটখাটো শব্দ-পরিবর্তনকে বাদ দিয়ে) চুরি করেছিল ।

— Glen_b

আমি কেন গাণিতিকভাবে বোঝার চেষ্টা করছি যে কেন আরএনএনগুলি ফিড ফরোয়ার্ড নেটওয়ার্কগুলির চেয়ে সেরা। এমন কোনও উদাহরণ রয়েছে যেখানে ফিড-ফরোয়ার্ড এএনএন দ্বারা অনুমান করা খুব কঠিন তবে আরএনএন দিয়ে সহজ।

— পাইকাছুচামিলিওন

Answer 2

জর্জ ডোনটাস যা লিখেছেন তা সঠিক, তবে বর্তমানে অনুশীলনে আরএনএনগুলির ব্যবহার একটি সহজ শ্রেণির সমস্যার মধ্যে সীমাবদ্ধ: সময় সিরিজ / অনুক্রমিক কাজগুলি।

$(i, t)$$i$$t$$i \in \mathcal{R}^n$$i$$i \in (\mathcal{R}^n)^*$

আরএনএনগুলি হ্যামার দ্বারা সিকোয়েন্স ম্যাপিংয়ের যে কোনও পরিমাপযোগ্য ক্রম উপস্থাপন করতে সক্ষম হতে দেখানো হয়েছে shown

সুতরাং, আরএনএনগুলি আজকাল সমস্ত ধরণের ক্রমমূলক কাজের জন্য ব্যবহৃত হচ্ছে: সময় সিরিজের পূর্বাভাস, সিকোয়েন্স লেবেলিং, সিকোয়েন্স শ্রেণিবিন্যাস ইত্যাদি R আরএনএন-তে শ্মিধুবারের পৃষ্ঠায় একটি ভাল ওভারভিউ পাওয়া যাবে ।

Comments

"যখন ফিডফরওয়ার্ড নেটওয়ার্কগুলি (i, t), যেখানে i এবং t ভেক্টর (যেমন i∈Rn, যেমন পুনরাবৃত্ত নেটওয়ার্কগুলির জন্য আমি সর্বদা একটি ক্রম, যেমন i∈ (আরএন) dat" ডেটাসেট শিখতে ব্যবহার করি তবে আমি জানি এই প্রশ্নটি ছিল অনেক দিন আগে জিজ্ঞাসা করেছিল, তবে সাধারণ মানুষের শর্তাবলীর এর অর্থ কী তা বোঝাতে আপনি কি আপত্তি করবেন? আমি আমার প্রকল্পের জন্য আরএনএন-এর মাধ্যমে ফিড ফরোয়ার্ড নেটওয়ার্কটি বেছে নেওয়ার কারণটি ন্যায্য প্রমাণ করতে হবে এবং আমি মনে করি এটি কারণ হতে পারে এবং / অথবা, আপনি কি আমাকে এমন উত্সের সাথে লিঙ্ক করতে পারেন যা আমাকে এই ন্যায্যতা তৈরি করতে সক্ষম করবে? অনুসন্ধানের পরে আমি নিজেই একটি খুঁজে পাই না Thanks ধন্যবাদ, কোনও উত্তর খুব প্রশংসিত!

— ব্লু 7

এই উত্তরটি এখন এক ধরণের পুরানো। আরএনএনগুলি প্রাকৃতিকভাবে সিক্যুয়েন্স ডেটাতে নিজেকে ঘৃণা করে, তারা স্ট্যাটিক ইনপুটগুলিতে (যেমন চিত্র বা অন্যথায়) ভবিষ্যদ্বাণী করতেও ব্যবহার করা যেতে পারে। দেখুন: অবজেক্টের স্বীকৃতি এবং প্রমাণের

— ফায়ারব্যাগ

Answer 3

এই প্রশ্ন জিজ্ঞাসা সত্যিই আকর্ষণীয়?

আরএনএন এবং এফএনএন বলার পরিবর্তে তাদের নামে আলাদা। সুতরাং তারা ভিন্ন। , আমি মনে করি মডেলিং ডায়নামিকাল সিস্টেমের ক্ষেত্রে আরও মজাদার বিষয়টি কী , এফএনএন থেকে আরএনএন এর চেয়ে বেশি পার্থক্য করে?

পটভূমি

পূর্ববর্তী সময়ের বিলম্ব (এফএনএন-টিডি) হিসাবে অতিরিক্ত বৈশিষ্ট্যযুক্ত পুনরাবৃত্ত নিউরাল নেটওয়ার্ক এবং ফিডফর্ডার নিউরাল নেটওয়ার্কের মধ্যে গতিশীল ব্যবস্থা মডেলিংয়ের জন্য বিতর্ক হয়েছে ।

90 এর ~ 2010 এর সেই কাগজপত্রগুলি পড়ার পরে আমার জ্ঞান থেকে। সাহিত্যের বেশিরভাগ অংশ পছন্দ করে যে ভ্যানিলা আরএনএন এফএনএন থেকে ভাল যে আরএনএন একটি গতিশীল মেমরি ব্যবহার করে যখন এফএনএন-টিডি একটি স্ট্যাটিক মেমরি।

যাইহোক, এই দুটি তুলনা করে খুব বেশি সংখ্যাসূচক গবেষণা নেই। প্রারম্ভিক একটি [1] দেখিয়েছিল যে গতিশীল সিস্টেমের মডেলিংয়ের জন্য, এফএনএন-টিডি ভ্যানিলা আরএনএন-এর সাথে তুলনামূলক পারফরম্যান্স দেখায় যখন শব্দ থাকে যখন কিছুটা খারাপ হয় যখন এটি শব্দহীন থাকে। গতিশীল সিস্টেমগুলির মডেলিং সম্পর্কে আমার অভিজ্ঞতার মধ্যে আমি প্রায়শই দেখতে পাই যে এফএনএন-টিডি যথেষ্ট ভাল।

আরএনএন এবং এফএনএন-টিডির মধ্যে মেমরির প্রভাবগুলি কীভাবে চিকিত্সা করা যায় তার মূল পার্থক্য কী?

$X_n, X_{n-1},\ldots,X_{n-k}$$X_{n+1}$

তথাকথিত স্মৃতি প্রভাবগুলির চিকিত্সার জন্য এফএনএন-টিডি সর্বাধিক সাধারণ, বিস্তৃত উপায় । যেহেতু এটি নির্মম, তাত্ত্বিকভাবে এটি কোনও ধরণের, কোনও ধরণের, কোনও স্মৃতি প্রভাবকে coversেকে দেয়। একমাত্র নীচের দিকটি এটি অনুশীলনে খুব বেশি পরামিতি নেয়।

আরএনএন-এ থাকা স্মৃতি পূর্ববর্তী তথ্যের সাধারণ "সমাবর্তন" হিসাবে উপস্থাপন করা ছাড়া কিছুই নয় । আমরা সকলেই জানি যে সাধারণভাবে দুটি স্কেলারের ক্রমের মধ্যে কনভোলশন কোনও বিপরীত প্রক্রিয়া নয় এবং ডিকনভোলিউশনটি প্রায়শই অসুস্থ-পোজযুক্ত।

$s$

অতএব, আরএনএন প্রকৃত অর্থে পূর্ববর্তী মেমরির তথ্যকে সংশ্লেষের মাধ্যমে সংকুচিত করছে, যখন এফএনএন-টিডি কেবল তাদের মেমরির কোনও ক্ষতি না করে এক অর্থে প্রকাশ করছে। মনে রাখবেন যে লুকানো ইউনিটগুলির সংখ্যা বাড়িয়ে বা ভ্যানিলা আরএনএন এর চেয়ে বেশি সময় বিলম্বের মাধ্যমে আপনি তথ্য ক্ষয়ক্ষতি হ্রাস করতে পারবেন। এই অর্থে, আরএনএন এফএনএন-টিডির চেয়ে আরও নমনীয়। আরএনএন এফএনএন-টিডি হিসাবে কোনও মেমরির ক্ষতি অর্জন করতে পারে না এবং একই ক্রমে প্যারামিটারের সংখ্যাটি প্রদর্শন করা তুচ্ছ হতে পারে।

আমি জানি যে কেউ উল্লেখ করতে চাইতে পারেন যে আরএনএন দীর্ঘ সময়ের প্রভাব বহন করছে যখন এফএনএন-টিডি পারেন না। এর জন্য, আমি কেবল উল্লেখ করতে চাই যে টেকেনস এম্বেডিং তত্ত্ব থেকে অবিচ্ছিন্ন স্বায়ত্তশাসিত গতিশীল ব্যবস্থার জন্য এটি আপাতদৃষ্টিতে দীর্ঘ সময়ের মতো একই কার্য সম্পাদন করতে আপাত স্বল্প সময়ের মেমরির সাথে এফএনএন-টিডি-র এম্বেডিংয়ের অস্তিত্ব পাওয়া জেনেরিক সম্পত্তি is আরএনএন-এ মেমরি। এটি ব্যাখ্যা করে যে কেন 90 এর দশকের গোড়ার দিকে আরএনএন এবং এফএনএন-টিডি ধারাবাহিক গতিশীল পদ্ধতির উদাহরণে খুব বেশি আলাদা হয় না।

এখন আরএনএন-এর সুবিধা উল্লেখ করব। স্বায়ত্তশাসিত গতিশীল ব্যবস্থার কাজের জন্য, আরও আগের শব্দটি ব্যবহার করে, যদিও কার্যকরভাবে তত্ত্বের তুলনায় কম আগের পদগুলির সাথে এফএনএন-টিডি ব্যবহার করার মতো হবে তবে সংখ্যার দিক থেকে এটি সহায়ক হবে যে শব্দটি আরও দৃ rob় হয়। [1] এ ফলাফল এই মতামতের সাথে সামঞ্জস্যপূর্ণ।

উল্লেখ

[1] জেনেয়, রমজান এবং টুং লিউ। "ফিডফোরওয়ার্ড এবং পুনরাবৃত্ত নেটওয়ার্কগুলির সাথে ননলাইনার মডেলিং এবং ভবিষ্যদ্বাণী" " ফিজিকা ডি: ননলাইনার ফেনোমেনা 108.1-2 (1997): 119-134।

[2] প্যান, শাওউ এবং কার্তিক দুরাইস্যামি। "ক্লোজার মডেলগুলির ডেটা চালিত আবিষ্কার"। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1803.09318 (2018)।