আরএনএন বনাম সিএনএন একটি উচ্চ স্তরে


53

আমি পুনরাবৃত্তাকার নিউরাল নেটওয়ার্কগুলি (আরএনএন) এবং তাদের জাত এবং কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলি (সিএনএন) এবং তাদের জাতগুলি নিয়ে ভাবছিলাম।

এই দুটি পয়েন্টটি কি ন্যায়সঙ্গত হবে:

  • কোনও উপাদান (যেমন কোনও চিত্র) উপ-উপাদানগুলিতে (যেমন কোনও চিত্রের কোনও বস্তু যেমন চিত্রের মধ্যে থাকা সামগ্রীর রূপরেখা ইত্যাদি) ভাঙতে সিএনএন ব্যবহার করুন
  • উপ-উপাদানগুলির সংমিশ্রণ তৈরি করতে আরএনএন ব্যবহার করুন (চিত্রের শিরোনাম, পাঠ্য উত্পন্নকরণ, ভাষার অনুবাদ ইত্যাদি)

কেউ যদি এই বিবৃতিগুলিতে কোনও ভুলত্রুটি চিহ্নিত করতে চায় তবে আমি প্রশংসা করব। আমার লক্ষ্য এখানে সিএনএন এবং আরএনএন ব্যবহারের আরও সুস্পষ্ট ভিত্তি পাওয়া।

উত্তর:


42

একটি সিএনএন পুরো স্থান জুড়ে নিদর্শনগুলি সনাক্ত করতে শিখবে। সুতরাং, যেমন আপনি বলেছেন, একটি সিএনএন একটি চিত্রের উপাদানগুলি সনাক্ত করতে শিখবে (যেমন, লাইন, বক্ররেখা ইত্যাদি) এবং তারপরে বৃহত্তর কাঠামোগুলি (যেমন, মুখ, বস্তু ইত্যাদি) সনাক্ত করতে এই উপাদানগুলিকে একত্রিত করতে শিখবে।

আপনি বলতে পারেন, খুব সাধারণ উপায়ে, কোনও আরএনএন একইভাবে সময়ের সাথে সাথে নিদর্শনগুলি সনাক্ত করতে শিখবে। সুতরাং একটি আরএনএন যা পাঠ্য অনুবাদ করতে প্রশিক্ষণপ্রাপ্ত তা শিখতে পারে যে "কুকুর" আলাদাভাবে অনুবাদ করা উচিত যদি "হট" শব্দটির আগে হয়।

তবে দুই ধরণের এনএন এই পদ্ধতিগুলির প্রতিনিধিত্ব করে mechanism সিএনএন-এর ক্ষেত্রে, আপনি ইমেজের সমস্ত বিভিন্ন সাবফিল্ডে একই প্যাটার্নগুলি সন্ধান করছেন। আরএনএন-এর ক্ষেত্রে আপনি (সহজতম ক্ষেত্রে) পূর্ববর্তী পদক্ষেপ থেকে লুকানো স্তরগুলি পরবর্তী ধাপে অতিরিক্ত ইনপুট হিসাবে খাওয়ান। আরএনএন এই প্রক্রিয়াটিতে স্মৃতিশক্তি তৈরি করার সময়, এটি কোনও সিএনএন স্থানের বিভিন্ন অঞ্চলে একই প্যাটার্নগুলির জন্য একইভাবে সময়ের বিভিন্ন টুকরোতে একই প্যাটার্নগুলির সন্ধান করে না।

আমার এও লক্ষ্য করা উচিত যে আমি যখন এখানে "সময়" এবং "স্থান" বলি তখন এটি খুব আক্ষরিক অর্থে নেওয়া উচিত নয়। চিত্রের শিরোনামের জন্য আপনি একটি একক ছবিতে একটি আরএনএন চালাতে পারেন, উদাহরণস্বরূপ এবং "সময়" এর অর্থটি কেবলমাত্র সেই ক্রম হবে যাতে চিত্রটির বিভিন্ন অংশগুলি প্রক্রিয়াজাত হয়। সুতরাং প্রাথমিকভাবে প্রক্রিয়াজাত অবজেক্টগুলি প্রক্রিয়াজাতকৃত অবজেক্টগুলির ক্যাপশন দেওয়ার বিষয়টি অবহিত করবে।


3
আপনি আরপিএন মডেলের পার্থক্যের জন্য করপ্যাথি.github.io/assets/rnn/diags.jpeg - থেকে একটি অনুলিপি গ্রাফিক পেতে পারেন। সিএনএনগুলি এমএলপি এবং অন্যান্য অ-পুনরাবৃত্ত মডেলগুলির সাথে কেবল ওয়ান-টু-ওয়ান মডেল কেস বাস্তবায়নের জন্য রয়েছে।
নিল স্লেটার

@ নীলস্ল্যাটার এমনকি আমি এই চিত্রটির মূল নিবন্ধটিও জানি , তবে এটির থেকে কখনই দরকারী কিছু বের করতে পারিনি। দয়া করে, আপনি চিত্র থেকে যা শিখলেন তা বিস্তারিতভাবে বর্ণনা করতে পারেন?
হাই-এঞ্জেল

2
@ হাই-অ্যাঞ্জেল: চিত্রটি মডেল দ্বারা ম্যাপ করা যায় এমন সিকোয়েন্স এবং একক সত্তার মধ্যে সম্ভাব্য সম্পর্কগুলিকে চিত্রিত করে। যদি আপনি ইতিমধ্যে অনুমতিগুলি ভালভাবে বুঝতে পারেন তবে আপনি এটি থেকে কিছু নাও পেতে পারেন। নিবন্ধে চিত্রটি প্রদর্শিত হওয়ার কারণটি হ'ল এটি আরএনএনগুলির তুলনামূলক নমনীয়তা প্রদর্শন করে: দেখানো সমস্ত বিভিন্ন ধরণের সমস্যার ক্ষেত্রে একটি আরএনএন প্রয়োগ করা যেতে পারে (উদাহরণস্বরূপ এটি চতুর্থ আইটেমের সাথে মেলে এমন ভাষা অনুবাদ সমস্যার ক্ষেত্রে ব্যবহার করা যেতে পারে), যদিও ফিড-ফরোয়ার্ড নেটওয়ার্ক কেবল প্রথম চিত্রের সাথে মিলে যাওয়া সমস্যার ক্ষেত্রেই প্রযোজ্য।
নীল স্লেটার


23

সিএনএন এবং আরএনএন এর মধ্যে পার্থক্য নিম্নরূপ:

সিএনএন:

  1. সিএনএন একটি নির্দিষ্ট আকারের ইনপুট নেয় এবং স্থির আকারের আউটপুট উত্পন্ন করে।

  2. সিএনএন হ'ল এক ধরণের ফিড-ফরোয়ার্ড কৃত্রিম নিউরাল নেটওয়ার্ক - মাল্টিলেয়ার পারসেপ্ট্রনের বিভিন্নতা যা ন্যূনতম পরিমাণে প্রিপ্রোসেসিং ব্যবহারের জন্য ডিজাইন করা হয়েছে।

  3. সিএনএনগুলি তার নিউরনের মধ্যে কানেক্টিভিটি প্যাটার্ন ব্যবহার করে প্রাণিজ ভিজ্যুয়াল কর্টেক্সের সংস্থার দ্বারা অনুপ্রাণিত, যার স্বতন্ত্র নিউরনগুলি এমনভাবে সাজানো হয়েছে যাতে তারা ভিজ্যুয়াল ফিল্ডটি টাইলিংয়ের ওভারল্যাপিং অঞ্চলে সাড়া দেয়।

  4. সিএনএনগুলি চিত্র এবং ভিডিও প্রসেসিংয়ের জন্য আদর্শ।

RNN:

  1. আরএনএন যথেচ্ছ ইনপুট / আউটপুট দৈর্ঘ্য পরিচালনা করতে পারে।

  2. ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্কগুলির বিপরীতে আরএনএন তাদের অভ্যন্তরীণ মেমরিটি ইনপুটগুলির স্বেচ্ছাসেবী ক্রমগুলি প্রক্রিয়া করতে ব্যবহার করতে পারে।

  3. পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি টাইম-সিরিজের তথ্য ব্যবহার করে (যেমন আমি যা শেষ বলেছি তার পরে আমি কী বলব তা প্রভাবিত করবে))

  4. আরএনএনগুলি পাঠ্য এবং বক্তৃতা বিশ্লেষণের জন্য আদর্শ।



ঘন স্তর ছাড়াই সিএনএনগুলি নির্বিচারে আকারের ইনপুট নিতে পারে।
মিকায়েল রাউসন

1

আমি মনে করি যে দুটি বিবৃতি সঠিক নয় যেহেতু সিএনএন উপাদানটিকে উপ-উপাদানগুলিতে বিভক্ত করে না বরং একই প্যাটার্নটি খুঁজে পেতে সেখানে ওভারল্যাপিং সাব-কম্পোনেন্টগুলি (পুনরুদ্ধার ক্ষেত্র) সমস্তগুলিতে ভাগ করে নেওয়া ওজন ব্যবহার করে। এটি কোনও বিভাজন এবং বিজয়ী অ্যালগরিদম নয়।

সাধারণ ক্ষেত্রে সিএনএন এর স্থানীয় এবং অবস্থান-আক্রমণকারী বৈশিষ্ট্যগুলি (তাদের অবস্থানের স্বতন্ত্রভাবে) বৈশিষ্ট্যগুলি বের করার ঝোঁক রয়েছে এবং আরএনএন এর প্রবণতা দূরবর্তী হলেও পুরো সময়ে বিভিন্ন ধরণের সন্ধান করার প্রবণতা রয়েছে।

উদাহরণস্বরূপ, প্রাকৃতিক ভাষায় উভয় প্রয়োগের ক্ষেত্রে, সিএনএন স্থানীয় এবং অবস্থান-আক্রমণকারী বৈশিষ্ট্যগুলি বের করতে ভাল তবে এটি দীর্ঘ পরিসরের শব্দার্থ নির্ভরতা নির্ভর করে না। এটি কেবল স্থানীয় কী-বাক্যাংশ বিবেচনা করে।

ফলস্বরূপ যখন পুরো বাক্যটি দ্বারা নির্ধারিত হয় বা একটি দীর্ঘ-পরিসরের শব্দার্থক নির্ভরতা সিএনএন কার্যকর হয় না এই প্রবন্ধে দেখানো হয়েছে যেখানে লেখকরা উভয় আর্কিটেকচারকে এনএলপি টাকার সাথে তুলনা করে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.