কনভলিউশনাল নিউরাল নেটওয়ার্ক এবং নিয়মিত নিউরাল নেটওয়ার্কের মধ্যে পার্থক্য কী?


18

আমি এই সাইটের চারপাশে এই শর্তগুলি অনেক বেশি দেখেছি, বিশেষত ট্যাগগুলি এবং

আমি জানি যে নিউরাল নেটওয়ার্ক হ'ল মানব মস্তিষ্কের উপর ভিত্তি করে একটি সিস্টেম। তবে কনভলিউশনাল নিউরাল নেটওয়ার্ক এবং নিয়মিত নিউরাল নেটওয়ার্কের মধ্যে পার্থক্য কী ? একজন কি আরও অনেক জটিল এবং, আহেম, অন্যটির চেয়ে দুর্গন্ধযুক্ত ?

উত্তর:


23

টিএলডিআর: কনভ্যুশনাল -নিউরাল-নেটওয়ার্ক হ'ল নিউরাল-নেটওয়ার্কগুলির একটি সাবক্লাস যাতে কমপক্ষে একটি কনভলিউশন স্তর থাকে। তারা স্থানীয় তথ্য (যেমন কোনও চিত্রের প্রতিবেশী পিক্সেল বা কোনও পাঠ্যের আশেপাশের শব্দগুলি) ক্যাপচারের পাশাপাশি মডেলের জটিলতা হ্রাস করার জন্য দুর্দান্ত (দ্রুত প্রশিক্ষণ, কম নমুনার প্রয়োজন, ওভারফিট করার সম্ভাবনা হ্রাস করে) for

নিচের ছকে যে গভীর প্রচলিত-স্নায়ুর-নেটওয়ার্ক সহ বিভিন্ন নিউরাল-নেটওয়ার্ক আর্কিটেকচারের রচিত দেখুন: কল্পনা


নিউরাল নেটওয়ার্কস (এনএন) বা আরও সুনির্দিষ্টভাবে কৃত্রিম নিউরাল নেটওয়ার্কস (এএনএন) , মেশিন লার্নিং অ্যালগরিদমগুলির একটি শ্রেণি যা সম্প্রতি বিগ ডেটা এবং দ্রুত কম্পিউটিংয়ের সুবিধার কারণে (বেশিরভাগ ডিপ লার্নিং) খুব বেশি মনোযোগ পেয়েছে (আবার!) অ্যালগরিদমগুলি মূলত এএনএন এর বিভিন্ন ভিন্নতা)।

এএনএন-এর শ্রেণিতে কনভলিউশনাল নিউরাল নেটওয়ার্কস ( সিএনএন ), রিকভারেন্ট নিউরাল নেটওয়ার্কস ( আরএনএন ) যেমন এলএসটিএম এবং জিআরইউ , অটেনকোডারস এবং ডিপ বিলিফ নেটওয়ার্কস সহ বেশ কয়েকটি আর্কিটেকচার রয়েছে । অতএব, সিএনএন কেবল এক ধরণের এএনএন।

সাধারণভাবে বলতে গেলে, একটি এএনএন হ'ল সংযুক্ত এবং সুরযুক্ত ইউনিট (ওরফে নোডস, নিউরনস এবং কৃত্রিম নিউরন) এর সংকলন যা একটি সংকেত (সাধারণত একটি আসল-মূল্যবান সংখ্যা) একটি ইউনিট থেকে অন্য ইউনিটে যেতে পারে। ইউনিটগুলির (স্তরগুলির) সংখ্যা, তাদের ধরণ এবং তারা একে অপরের সাথে যেভাবে যুক্ত রয়েছে তাকে নেটওয়ার্ক আর্কিটেকচার বলে।

একটি সিএনএন নির্দিষ্টভাবে কনভোলশন ইউনিটের এক বা একাধিক স্তর রয়েছে । একটি কনভোলশন ইউনিট পূর্ববর্তী স্তর থেকে একাধিক ইউনিট থেকে তার ইনপুট গ্রহণ করে যা একত্রে একটি নৈকট্য তৈরি করে। সুতরাং, ইনপুট ইউনিট (এটি একটি ছোট প্রতিবেশী গঠন করে) তাদের ওজন ভাগ করে দেয়।

কনভলশন ইউনিট (পাশাপাশি পুলিং ইউনিট) বিশেষত উপকারী:

  • তারা নেটওয়ার্কে ইউনিটগুলির সংখ্যা হ্রাস করে (যেহেতু তারা বহু-এক-ম্যাপিং হয় )। এর অর্থ, শিখতে কম প্যারামিটার রয়েছে যা ওভারফিটিংয়ের সম্ভাবনা হ্রাস করে কারণ মডেল সম্পূর্ণ সংযুক্ত নেটওয়ার্কের চেয়ে কম জটিল be
  • তারা ছোট পাড়ার প্রসঙ্গ / ভাগ করা তথ্য বিবেচনা করে। প্রতিবেশী ইনপুট (যেমন পিক্সেল, ফ্রেম, শব্দ, ইত্যাদি) হিসাবে সাধারণত অ্যাপ্লিকেশন, ভিডিও, পাঠ্য এবং স্পিচ প্রসেসিং / খনির মতো অনেক অ্যাপ্লিকেশনগুলিতে এই ভবিষ্যতটি অত্যন্ত গুরুত্বপূর্ণ usually

(গভীর) সিএনএন সম্পর্কে আরও তথ্যের জন্য নিম্নলিখিতগুলি পড়ুন:

  1. ডিপ কনভলিউশনাল নিউরাল নেটওয়ার্কগুলির সাথে ইমেজনেট শ্রেণিবদ্ধকরণ
  2. কনভলিউশন সহ আরও গভীরতর হচ্ছে

পিএন এএনএন "মানব মস্তিষ্কের উপর ভিত্তি করে আলগা ভিত্তিক একটি সিস্টেম" নয় বরং নিউরন সংযোগ দ্বারা অনুপ্রাণিত এক শ্রেণির সিস্টেমের প্রাণীর মস্তিষ্কে বিদ্যমান।


10

কনভ্যুভেশনাল নিউরাল নেটওয়ার্কস (সিএনএন) হ'ল গণনামূলক জটিলতা হ্রাস করতে এবং অনুবাদিত আক্রমণাত্মকতা নিশ্চিত করতে আর্কিটেকচারাল সীমাবদ্ধতার সাথে নিউরাল নেটওয়ার্কগুলি (নেটওয়ার্ক স্বীকৃতি হিসাবে চিত্র নির্বিশেষে একইভাবে ইনপুট প্যাটার্নগুলি ব্যাখ্যা করে recognition চিত্রের স্বীকৃতি হিসাবে একটি কলা একটি কলা যেখানেই থাকুক না কেন চিত্র)। কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলির তিনটি গুরুত্বপূর্ণ স্থাপত্য বৈশিষ্ট্য রয়েছে।

স্থানীয় সংযোগ: এক স্তরের নিউরনগুলি কেবলমাত্র পরবর্তী স্তরের নিউরনের সাথে সংযুক্ত থাকে যা স্পেসিটিলি তাদের কাছাকাছি থাকে। এই নকশাটি ধারাবাহিক স্তরগুলির মধ্যে সংখ্যার সংখ্যক সংখ্যক সংযোগকে ছাঁটাই করে তবে সবচেয়ে দরকারী তথ্য বহন করে। এখানে তৈরি অনুমানটি হ'ল ইনপুট ডেটার স্থানিক তাত্পর্য রয়েছে, বা কম্পিউটার দৃষ্টিভঙ্গির উদাহরণে, দুটি নিকটবর্তী পিক্সেলের মধ্যে সম্পর্ক সম্ভবত দুটি কাছের প্রতিবেশীর চেয়ে কম তাত্পর্যপূর্ণ।

অংশীদারি ওজন: এটি সিএনএনগুলিকে "কনভোলজিনাল" করে তোলে concept এক স্তরের নিউরনকে ওজন ভাগ করে নেওয়ার জন্য জোর করে, ফরওয়ার্ড পাস (নেটওয়ার্কের মাধ্যমে ডেটা ফিড করা) একটি নতুন চিত্র তৈরি করতে চিত্রের উপর একটি ফিল্টারকে সংশ্লেষ করার সমতুল্য হয়ে ওঠে। সিএনএনগুলির প্রশিক্ষণ তখন ফিল্টারগুলি শিখার কাজ হয়ে যায় (আপনার কী কী বৈশিষ্ট্যগুলি ডেটাতে সন্ধান করা উচিত তা সিদ্ধান্ত নেওয়া))

পুলিং এবং রিলু: সিএনএনগুলির দুটি অ-লিনিয়ারিটি রয়েছে: পুলিং স্তর এবং রিলু ফাংশন। পুলিং স্তরগুলি ইনপুট ডেটাগুলির একটি ব্লক বিবেচনা করে এবং সর্বাধিক মানটি দিয়ে যায়। এটি করার ফলে আউটপুটটির আকার হ্রাস পায় এবং শিখতে কোনও যুক্ত প্যারামিটারের প্রয়োজন হয় না, তাই পুলিং স্তরগুলি প্রায়শই নেটওয়ার্কের আকার নিয়ন্ত্রণ করতে এবং সিস্টেমকে একটি গণনীয় সীমাতে রাখার জন্য ব্যবহৃত হয়। রিলু ফাংশনটি একটি ইনপুট, এক্স নেয় এবং সর্বাধিক {0, x returns দেয়} ReLU(x) = argmax(x, 0)। এটি তানহ (x) বা সিগময়েড (এক্স) এর সাথে একইরকম প্রভাবটির সাথে মডেলের অভিব্যক্তিীয় শক্তি বাড়ানোর জন্য অ-লাইনারিটি হিসাবে প্রবর্তন করে।


আরও পড়া

অন্য একটি উত্তরের হিসাবে উল্লেখ করা হয়েছে, স্ট্যানফোর্ডের সিএস 231 এন কোর্সটি এটিকে বিস্তারিতভাবে কভার করে। পরীক্ষা করে দেখুন এই লিখিত নির্দেশিকা এবং এই বক্তৃতা আরও তথ্যের জন্য। মত ব্লগ পোস্ট এই এক এবং এই এক খুব সহায়ক।

যদি আপনি এখনও আগ্রহী হন যে সিএনএন-এর কাঠামো কেন তাদের রয়েছে তবে আমি এই কাগজটি পড়ার পরামর্শ দিচ্ছি যেগুলি এগুলি দীর্ঘ দীর্ঘ যদিও তাদের পরিচয় করিয়ে দেওয়া হয়েছিল এবং সম্ভবত জন্মগত কারাগার সম্পর্কে ইয়ান লেকুন এবং ক্রিস্টোফার ম্যানিংয়ের মধ্যে এই আলোচনাটি পরীক্ষা করে দেখছি (আমরা যখন অনুমান করি তখন আমরা একটি মডেলের আর্কিটেকচার ডিজাইন করি)।


2
"এবং অনুবাদ অদৃশ্যতা নিশ্চিত করুন" হেক অনুবাদ হস্তান্তর কি? আপনি যখন এই ধরনের রহস্যময় শব্দটির কথা উল্লেখ করেন, আপনার অন্তত অন্তত স্বজ্ঞাতভাবে এটি সংজ্ঞায়িত করা উচিত।
nbro

1
ওফস, আমি সম্মত — আমি একটি সংক্ষিপ্ত বর্ণনায় যুক্ত করেছি।
জ্যাকসন ওয়াশচুরা

1
এটি আমার কাছে আরও ভাল উত্তর যে এটি সিএনএন কীভাবে একটি নির্দিষ্ট ধরণের এনএন হয় তা ঠিক ব্যাখ্যা করে। অন্যান্য উত্তরগুলি উল্লেখ করে না যে ওজন ভাগ করে নেওয়া কার্যকর করা হয়েছে।
ডেনজিলো

5

একটি কনভ্যুশনাল নিউরাল নেটওয়ার্ক হ'ল কনভ্যুশনাল স্তরগুলি। যদি একটি সাধারণ নিউরাল নেটওয়ার্ক হ'ল আলগাভাবে বলা হয়, যা মানুষের মস্তিষ্ক দ্বারা অনুপ্রাণিত হয় (যা খুব বেশি সঠিক নয়), কনভ্যুশনাল নিউরাল নেটওয়ার্কটি ভিজ্যুয়াল কর্টেক্স সিস্টেম দ্বারা অনুপ্রাণিত হয়, মানুষ এবং অন্যান্য প্রাণীর মধ্যে (যা সত্যের নিকটে) । নামটি যেমন বোঝায়, এই স্তরটি শিখনযোগ্য ফিল্টার (ওরফে কার্নেল ) দিয়ে কনভলিউশনটি প্রয়োগ করে , ফলস্বরূপ নেটওয়ার্ক চিত্রগুলিতে নিদর্শনগুলি শেখে: প্রান্ত, কোণ, আর্কস, তারপরে আরও জটিল চিত্র। কনভোলিউশনাল নিউরাল নেটওয়ার্কে অন্যান্য স্তরগুলিও থাকতে পারে, সাধারণত পুলিং এবং ঘন স্তর।

এই বিষয়ে CS231n টিউটোরিয়ালটি উচ্চভাবে সুপারিশ করুন: এটি খুব বিস্তারিত এবং এতে খুব সুন্দর ভিজ্যুয়ালাইজেশন রয়েছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.