একটি নিউরাল নেটওয়ার্ক, একটি ডিপ লার্নিং সিস্টেম এবং একটি গভীর বিশ্বাস নেটওয়ার্কের মধ্যে পার্থক্য কী?

Question

একটি নিউরাল নেটওয়ার্ক, একটি ডিপ লার্নিং সিস্টেম এবং একটি গভীর বিশ্বাস নেটওয়ার্কের মধ্যে পার্থক্য কী?

আমি মনে করি আপনার মৌলিক নিউরাল নেটওয়ার্কটি একটি 3 স্তর কান্ডা জিনিস, এবং আমি ডিপ বিলিফ সিস্টেমগুলি একে অপরের উপরে সজ্জিত নিউরাল নেটওয়ার্ক হিসাবে বর্ণনা করেছি।

আমি সম্প্রতি একটি ডিপ লার্নিং সিস্টেমের কথা শুনেছি না, তবে আমি দৃ strongly়ভাবে সন্দেহ করি যে এটি গভীর বিশ্বাস সিস্টেমের প্রতিশব্দ। কেউ কি এটি নিশ্চিত করতে পারবেন?

Comments

আপনি "গভীর শিক্ষা" মানে ? উদাহরণস্বরূপ গভীর লার্নিং নিউজ / লিঙ্কগুলি দেখুন

— vzn

ডিপ বিলিফ সিস্টেম, আমি যে শব্দটি ব্যবহার করেছি, এটি প্রতিশব্দ হতে পারে এবং নাও হতে পারে (একটি গুগল অনুসন্ধান ডিপ বিশ্বাসের জন্য নিবন্ধগুলি ছুঁড়ে দেবে)

— লিন্ডন হোয়াইট

ডিপ বিলিফ নেটওয়ার্ক হ'ল প্রচলিত নাম কারণ তারা ডিপ বোল্টজমান নেটওয়ার্ক থেকে প্রাপ্ত (এবং এটি একটি বিশ্বাস প্রচার সিস্টেমের সাথে বিভ্রান্ত হতে পারে যা বেয়েসিয়ান নেটওয়ার্ক এবং সম্ভাব্য সিদ্ধান্ত তত্ত্ব সম্পর্কে সম্পূর্ণ ভিন্ন)।

— চমত্কার

@ গৌরবহীন গভীর বিশ্বাস নেটওয়ার্ক হ'ল সঠিক নাম (আমি যে ডকুমেন্টটি কয়েক বছর আগে তাদের সাথে আমার পরিচয় করিয়েছি তা অবশ্যই একটি টাইপ ছিল)। তবে গভীর বল্টজম্যান নেটওয়ার্ক থেকে প্রাপ্ত হিসাবে, সেই নামটি নিজেই ননকোনোনিকাল (এএফআইকে, একটি উদ্ধৃতি দেখে খুশি)। সিবিময়েড বিশ্বাস নেটওয়ার্ক এবং স্ট্যাকড আরবিএম থেকে ডিবিএনগুলি প্রাপ্ত। আমি মনে করি না যে ডিপ বোল্টজম্যান নেটওয়ার্ক শব্দটি কখনও ব্যবহৃত হয়। অন্যদিকে ডিপ বোল্টজম্যান মেশিন একটি ব্যবহৃত শব্দ, তবে ডিপ বোল্টজম্যান মেশিনগুলি ডিপ বিশ্বাসের নেটওয়ার্কগুলির পরে তৈরি হয়েছিল

— লিন্ডন হোয়াইট

@ অক্সিনাবক্স আপনি ঠিক বলেছেন, আমি একটি টাইপো তৈরি করেছি, এটি ডিপ বোল্টজমান মেশিন, যদিও এটির সত্যই ডিপ বোল্টজম্যান নেটওয়ার্ক বলা উচিত (তবে তারপথের সংক্ষিপ্ত রূপটি একই রকম হবে, তাই সম্ভবত তাই)। আমি জানি না কোন গভীর আর্কিটেকচারটি প্রথম উদ্ভাবিত হয়েছিল, তবে বোল্টজম্যান মেশিনগুলি আধা-সীমাবদ্ধ বিএম এর আগে are পুনরাবৃত্তি স্তর হিসাবে ব্যবহৃত বেস নেটওয়ার্কটি একটি এসআরবিএম বনাম বিএম ব্যতীত ডিবিএন এবং ডিবিএম সত্যই একই নির্মাণ।

— গর্বজনক

Answer 1

কয়েক দশক ধরে বিভিন্ন কারণে কৃত্রিম নিউরাল নেটওয়ার্কের মডেলগুলি কেবল কয়েকটি স্তরের মধ্যে সীমাবদ্ধ ছিল, কলমোগোরভস থেম নামে একটি গণিতের প্রমাণ সহ তারা উল্লেখ করেছিলেন যে তারা তাত্ত্বিকভাবে কম ত্রুটিযুক্ত (তবে কেবলমাত্র অনেক নিউরনের সাহায্যে) স্বেচ্ছাসেবীর কাজগুলি আনুমানিকভাবে আনতে পারে।

এর বাইরে মাল্টিলেয়ার নেটওয়ার্কগুলি পূর্বের শেখার কৌশলগুলির মাধ্যমে সম্ভব / কার্যকর ছিল না। ২০০ similar সালে তিনটি ভিন্ন গবেষক হিন্টন, লে কুন, বেনজিও যারা একই সাথে আরও অনেক স্তরকে প্রশিক্ষণ দিতে সক্ষম হয়েছিল, একই রকম যুগান্তকারী ঘটনা ঘটেছে। এই অঞ্চলে বিশিষ্ট সমস্যা হস্তাক্ষর স্বীকৃতি ছিল।

"গভীর বিশ্বাস নেটওয়ার্ক" শব্দটির উৎপত্তি 2006 সালের একটি পেপারের সাথে হিন্টনের দ্বারা বেইশিয়ান নেটওয়ার্কগুলির উল্লেখ করে করা হয়েছে , যার স্নায়ুবিক নেটওয়ার্কগুলির সাথে ঘনিষ্ঠ ধারণা / তাত্ত্বিক সংযোগ / উপমা রয়েছে। "গভীর বিশ্বাসের জালগুলির জন্য একটি দ্রুত শেখার অ্যালগরিদ"

এই উপস্থাপনাটির গভীর স্নায়বিক নেটওয়ার্কগুলির 17 টি স্লাইড দেখুন

সুতরাং গভীর শিক্ষার ক্ষেত্রটি কেবলমাত্র ~ ½ দশক পুরানো এবং দ্রুত গবেষণা এবং বিকাশ চলছে। গুগল, ফেসবুক, ইয়াহু সমস্ত গভীর-শিক্ষার উপর ভিত্তি করে উদ্যোগ গ্রহণ করেছে এবং গবেষণা ও উন্নয়ন চলছে is

Comments

ক্ষেত্রের গবেষকদের গভীর শিক্ষার জন্য উত্সর্গীকৃত ওয়েবসাইট

— vzn

Answer 2

কৃত্রিম নিউরাল নেটওয়ার্কগুলি একটি শ্রেণিবদ্ধ অ্যালগরিদম যা গ্রাফের উপর ভিত্তি করে বিভিন্ন ধরণের অ্যালগোরিদম অন্তর্ভুক্ত করে, তাই আপনি যা বলেছিলেন তার বাইরে আমি এখানে বিস্তারিত জানাতে পারি না কারণ অনেকগুলি এএনএন রয়েছে বলেই।

প্রথম ধরণের কৃত্রিম নিউরাল নেটওয়ার্কগুলি, বিখ্যাত ম্যাককুলাচ-পিটস নিউরনগুলি লিনিয়ার ছিল , যার অর্থ তারা কেবল লিনিয়ার সিদ্ধান্ত সমস্যার সমাধান করতে পারে (অর্থাত্, ডেটাসেটগুলি যা লাইন আঁকার মাধ্যমে লিনিয়ার পৃথক পৃথক হতে পারে )। সময়ের সাথে সাথে, এই রৈখিক নিউরাল নেটওয়ার্ক মডেল পেরসেপ্ট্রন বা অ্যাডালাইন হিসাবে পরিচিত হয় (আপনি কীভাবে ওজন আপডেটের গণনা করবেন তার উপর নির্ভর করে)।

লিনিয়ার নিউরাল নেটওয়ার্কগুলি কেবল একটি দ্বিপক্ষীয় গ্রাফ দ্বারা গঠিত, যেখানে বাম পাশের নোডগুলি ইনপুট এবং ডান দিকের নোডগুলি আউটপুট দেয়। এই নোডগুলির মধ্যে কেবল প্রান্তগুলির ওজনগুলিই শিখে নেওয়া হয় (নোডগুলির অ্যাক্টিভেশন থ্রেশহোল্ডটিও সামঞ্জস্য করা যায় তবে এটি খুব কমই হয়)।

অগভীর নিউরাল নেটওয়ার্কগুলির উদ্ভাবন করার সময় একটি বড় পদক্ষেপ নেওয়া হয়েছিল: কেবলমাত্র দ্বিপক্ষীয় গ্রাফ না থাকার পরিবর্তে আমরা একটি 3 পার্টائাইট গ্রাফ ব্যবহার করি: ইনপুট "স্তর", আউটপুট "স্তর" এবং তাদের মধ্যে একটি "লুকানো স্তর" । ধন্যবাদ লুকানো স্তরটির জন্য, নেটওয়ার্কটি এখন অ-রৈখিক সিদ্ধান্ত নিতে পারে এবং ক্যানোনিকাল এক্সওআর এর মতো সমস্যাগুলি সমাধান করতে পারে।

দ্রষ্টব্য যে "অগভীর" শব্দটি পূর্বনির্বাচিতভাবে তৈরি হয়েছিল যখন গভীর নিউরাল নেটওয়ার্ক (এটি এন-লেয়ারস নিউরাল নেটওয়ার্ক নামেও পরিচিত ) উদ্ভাবিত হয়েছিল। এটি কেবলমাত্র একটি গোপন স্তর সহ নিউরাল নেটওয়ার্কগুলির বিরোধিতা করা, এন লুকানো স্তর সহ গভীর নিউরাল নেটওয়ার্ক রয়েছে । যেমন আপনি অনুমান করতে পারেন, আরও গোপন স্তরগুলি ব্যবহার করে সিদ্ধান্তকে জটিল করার জন্য আরও জটিল ডেটাসেটগুলি স্থির করার অনুমতি দেয় (অর্থাত্, আপনি নিজের সিদ্ধান্তের সীমানার মাত্রা বাড়িয়ে তুলছেন, যা অত্যধিক মানানসই হতে পারে)।

আপনি জিজ্ঞাসা করতে পারেন: কেন কেউ এর আগে বহু-স্তরযুক্ত (গভীর) নিউরাল নেটওয়ার্ক ব্যবহার করার চেষ্টা করেনি? প্রকৃতপক্ষে, তারা ১৯ 197৫ সালের প্রথম দিকে ফুকুশিমার দ্বারা কগনিট্রন এবং নওকোগনিট্রনকে দিয়েছিল (এটি আসলে একটি সংঘাতমূলক নিউরাল নেটওয়ার্ক, তবে এটি অন্য গল্প)। যাইহোক, সমস্যাটি হল এই যে Noone জানত কিভাবে দক্ষতার, বড় ইস্যু হচ্ছে এই ধরনের নেটওয়ার্ক শিখতে ছিল নিয়মিতকরণ । হিন্টনের অটো এনকোডাররা পথ খুলেছিল এবং পরে লেকনের সংশোধিত লিনিয়ার ইউনিটগুলি বিষয়টি ভাল করার জন্য সমাধান করেছে।

ডিপ বিলিফস নেটওয়ার্ক (ডিবিএন) সম্পর্কে কী? সেগুলি কেবল বহু-স্তরযুক্ত আধা-সীমাবদ্ধ বল্টজম্যান মেশিন। সুতরাং এগুলি এক ধরণের গভীর নিউরাল নেটওয়ার্ক, তবে ভিন্ন একটি বেসিক নেটওয়ার্ক প্যাটার্ন সহ (যেমন: স্তর, এটি সেই ধরণটি পুনরাবৃত্তি হয়): বোল্টজম্যান মেশিনগুলি অন্য নেটওয়ার্কগুলির থেকে পৃথক যে তারা জেনারেটেড , অর্থাত্ তারা সাধারণত আপনার ডেটা থেকে এটি পুনরুত্পাদন করতে শিখতে ব্যবহৃত হত ("এটি তৈরি করুন"), যখন সাধারণ ডিপ নিউরাল নেটওয়ার্কগুলি আপনার ডেটা পৃথক করতে ("সিদ্ধান্তের সীমানা" অঙ্কন করে) ব্যবহার করা হয়।

অন্য কথায়, ডিএনএন আপনার ডেটাसेट থেকে একটি মানকে শ্রেণিবদ্ধকরণ / পূর্বাভাস দেওয়ার জন্য দুর্দান্ত, যখন ডিবিএন কোনও ক্ষতিগ্রস্থ ডেটা "মেরামত" করতে দুর্দান্ত (যখন আমি যখন মেরামত বলি, এটি কেবল ক্ষতিগ্রস্ত ডেটা থেকে নয়, এটি পুরোপুরি সূক্ষ্ম তথ্যেও হতে পারে যে আপনি কেবলমাত্র অন্যরকম নিউরাল নেটওয়ার্ক, যেমন হাতে লিখিত অঙ্কগুলির সাথে আরও সহজে স্বীকৃতি পাওয়ার জন্য আরও বেশি স্টেরিওটাইপিকাল হওয়ার জন্য কিছুটা ঠিক করতে চান)।

প্রকৃতপক্ষে, ঝরঝরে সংক্ষেপে বলতে গেলে, আপনি বলতে পারেন যে অটো এনকোডাররা ডিপ বিশ্বাসের নেটওয়ার্কের একটি সহজ রূপ। এখানে কোনও ডিবিএন এর উদাহরণ দেওয়া আছে যাতে মুখগুলি সনাক্ত করতে প্রশিক্ষণ দেওয়া হয় তবে নম্বরগুলি হয় না, সংখ্যাগুলি স্বয়ংক্রিয়ভাবে বিবর্ণ হয়ে যায় (এটি ডিবিএন এর "ফিক্সিং" প্রভাব):

সুতরাং শেষ পর্যন্ত, ডিবিএন এবং ডিএনএন বিপরীত নয়: এগুলি পরিপূরক। উদাহরণস্বরূপ, আপনি কোনও হাতে লিখিত অক্ষরগুলি সনাক্ত করতে এমন একটি সিস্টেম কল্পনা করতে পারেন যা প্রথমে একটি চরিত্রের চিত্রটিকে একটি ডিবিএনকে আরও স্টেরিওটাইপিকাল করে তুলবে এবং তারপরে স্টেরিওটাইপযুক্ত চিত্রটি একটি ডিএনএনকে ফিড করবে যা তারপরে চিত্রটি প্রদর্শিত চরিত্রটিকে আউটপুট দেয়।

একটি সর্বশেষ নোট: ডিপ বেল্ফজম্যান মেশিনগুলি ডিপ বোল্টজমান মেশিনগুলির খুব কাছাকাছি: ডিপ বোল্টজম্যান মেশিনগুলি বোল্টজমান মেশিনগুলির স্তরগুলি ব্যবহার করে (যা দ্বিপাক্ষিক নিউরাল নেটওয়ার্ক, এটি পুনরবৃত্ত নিউরাল নেটওয়ার্কও বলা হয়), যখন ডিপ বিলিফ নেটগুলি আধা-সীমাবদ্ধ বল্টজম্যান মেশিনগুলি (অর্ধ- সীমাবদ্ধ অর্থ হ'ল এগুলি একমুখীকরণে পরিবর্তিত হয়, সুতরাং এটি নেটওয়ার্কটি শিখতে ব্যাকপ্রোপেশন ব্যবহার করতে দেয় যা একটি রিক্যুরেন্ট নেটওয়ার্ক শেখার চেয়ে আরও কার্যকর) উভয় নেটওয়ার্ক একই উদ্দেশ্যে ব্যবহৃত হয় (ডেটাসেটটি পুনরুত্পাদন করা), তবে গণনা ব্যয় আলাদা (ডিপ বোল্টজম্যান মেশিনগুলি পুনরাবৃত্ত প্রকৃতির কারণে শিখার জন্য উল্লেখযোগ্যভাবে আরও ব্যয়বহুল: ওজনকে "স্থিতিশীল" করা কঠিন)।

বোনাস: কনভলিউশনাল নিউরাল নেটওয়ার্ক (সিএনএন) সম্পর্কে, আপনি প্রচুর দ্বন্দ্ব এবং বিভ্রান্তিকর দাবিগুলি দেখতে পাবেন এবং সাধারণত আপনি দেখতে পাবেন যে এগুলি কেবল গভীর স্নায়বিক নেটওয়ার্ক। তবে, মনে হচ্ছে seemsক্যমত্যটি ফুকুশিমার নিওকগনিট্রনের মূল সংজ্ঞাটি ব্যবহার করা: একটি সিএনএন হ'ল একটি ডিএনএন যা সক্রিয়করণের আগে একটি সমাবর্তন চাপিয়ে বিভিন্ন শ্রেণিবদ্ধ স্তরে বিভিন্ন বৈশিষ্ট্য আহরণ করতে বাধ্য হয় (যা কোনও ডিএনএন স্বাভাবিকভাবে করতে পারে, তবে জোর করে নেটওয়ার্কের বিভিন্ন স্তরগুলিতে একটি আলাদা কনভলিউশন / অ্যাক্টিভেশন ফাংশন সেট করে আরও ভাল ফলাফল পাওয়া যেতে পারে, অন্তত এটি সিএনএন এর বেট):

এবং অবশেষে, কৃত্রিম বুদ্ধিমত্তার আরও কঠোর টাইমলাইনের জন্য, এখানে দেখুন ।

Comments

দুর্দান্ত উত্তর! কনভ্যুশনাল গভীর নেটওয়ার্কগুলির একটি মূল দিক (সম্ভবত সংজ্ঞায়িত দিক) হ'ল প্রতিটি স্তরটি কনভোলশন প্রয়োগের সাথে সম্পর্কিত হয় তারপরে অ্যাক্টিভেশন ফাংশন প্রয়োগ করে: একটি কার্নেল থাকে এবং একটি স্তরের সমস্ত নোড একই কার্নেল প্রয়োগ করে। ধারণা করুন ইনপুটটি একটি চিত্র। সাধারণত, আপনার প্রতিটি পিক্সেলের জন্য নোড থাকে এবং এটির নিকটস্থ পিক্সেল থেকে সংযোগ আসে। একটি সাধারণ নেটওয়ার্ক প্রতিটি পিক্সেলকে আগত প্রান্তগুলিতে ওজনের নিজস্ব প্যাটার্ন রাখতে দেয়। একটি কনভোলশনাল নেটওয়ার্ক অতিরিক্ত প্রয়োজনীয়তা চাপিয়ে দেয় যে এটি চিত্রের প্রতিটি পিক্সেলের ওজনের একই ক্রম।

— DW

হ্যাঁ সত্যই আপনি ঠিক বলেছেন, এবং এখান থেকেই নামটি এসেছে। তবে ব্যক্তিগতভাবে, আমি মনে করি এটি প্রায়শই হ্যাক হিসাবে অন্য যে কোনও কিছুর চেয়ে গভীর নিউরাল নেটওয়ার্ককে বিশেষজ্ঞ করতে ব্যবহৃত হয় (যখন একটি গভীর স্নায়ু নেটওয়ার্কের সংজ্ঞা বৈশিষ্ট্যটি ডেটাসেটের সাধারণ উদ্দেশ্য এবং অজ্ঞেয়বাদী হতে পারে)। উদাহরণস্বরূপ, এইচএমএক্স, এক ধরণের সিএনএন, স্যালিয়েন্সি মানচিত্রের গণনা করার জন্য কনভলশনটি ব্যবহার করে, যা জৈবিক নিউরাল নেটওয়ার্কের স্যালেন্সী ম্যাপ অবশ্যই গতিশীল প্রোগ্রামিং ব্যবহার করে গণনা করা হয় না যখন স্পষ্টতই একটি হ্যাক হয় ...

— গ্যাবারাস

Answer 3

ডিপ নিউরাল নেটওয়ার্কগুলি হ'ল নিউরাল নেটওয়ার্কগুলি যার তুলনামূলকভাবে উচ্চ গভীরতা রয়েছে। এগুলি নিউরাল নেটওয়ার্কগুলির একটি সাবক্লাস। ধারণাটি আসলে কয়েক দশক পিছনে যায় এবং এটি নতুন নয়। কী নতুন তা হ'ল আমরা অনুশীলন করেছি কীভাবে তাদের প্রশিক্ষণ দিতে পারি। সম্প্রতি এটি খুব জনপ্রিয় হওয়ার কারণ তাদের প্রশিক্ষণ দেওয়া সম্ভব হয়েছে এবং লোকেরা তাদেরকে শিল্পের অ্যালগরিদমগুলিতে পরাজিত করতে ব্যবহার করেছিল। ডিএনএন এর জন্য প্রচুর ডেটা এবং প্রচুর গণনার শক্তি প্রয়োজন যা দশক আগে পাওয়া যায় নি। জিওফ হিন্টন এবং তার ছাত্র এবং সহকর্মীরা বিগত দশকে তাদের কীভাবে অনুশীলনে প্রশিক্ষণ দেবেন তা আবিষ্কার করেছিলেন এবং বেশ কয়েকটি ক্ষেত্রে আর্ট মেশিন লার্নিং অ্যালগরিদমগুলিকে পরাজিত করতে তাদের ব্যবহার করেছিলেন যেখানে বেশিরভাগ গবেষকরা সেগুলির সময় সম্পূর্ণরূপে ব্যবহারের ধারণা থেকে বিরত ছিলেন।

বিশ্বাস নেটওয়ার্কগুলি সম্ভাব্য গ্রাফিকাল মডেলগুলির একটি শ্রেণি, তারা একটি গ্রাফ ব্যবহার করে এলোমেলো ভেরিয়েবল এবং তাদের নির্ভরতাগুলির একগুচ্ছ মডেল করে (এটি করার বিভিন্ন উপায় রয়েছে)। এই ভেরিয়েবলগুলি প্যারামিটারাইজড বিতরণ থেকে হতে পারে এবং নিউরাল নেটওয়ার্কগুলি (বা প্যারামিটারাইজড ডিস্ট্রিবিউশন উপস্থাপনের জন্য কোনও অন্য মডেল) দ্বারা মডেল করা যেতে পারে। গভীর বিশ্বাস নেটওয়ার্ক হ'ল বিশ্বাস নেটওয়ার্ক যা তুলনামূলকভাবে উচ্চতর গভীরতা high

বিশ্বাস নেটওয়ার্কগুলি উত্পাদনশীল হতে থাকে, অর্থাত্ এটি প্রতিনিধিত্ব করে এমন বিতরণ থেকে নমুনা তৈরি করতে আমরা একটি প্রশিক্ষিত মডেল ব্যবহার করতে পারি।

নিউরাল নেটওয়ার্কগুলি বৈষম্যমূলক হওয়ার প্রবণতা রয়েছে, প্রদত্ত ইনপুটটির সম্ভাবনা গণনা করার জন্য আমরা এগুলি ব্যবহার করতে পারি (এটি কি একটি বিড়ালের চিত্র? এটি একটি বিড়ালের ছবি হওয়ার সম্ভাবনা কী?) তবে সাধারণত নমুনা দেওয়ার জন্য নয় (একটি উত্পন্ন করে একটি বিড়ালের ছবি)।

Comments

আমি এমএল এর বিশেষজ্ঞ নই তাই আমি যা লিখেছি তা লবণের দানা দিয়ে নিন।

— কাভেহ

Answer 4

নিউরাল নেটওয়ার্কগুলি সাধারণত প্রয়োগ করা হয় যেখানে লুকানো স্তর এবং চতুষ্কোণ সমীকরণ প্রয়োজন হয় where কোথাও গভীর শেখা এবং গভীর বিশ্বাস নেটওয়ার্ক ব্যবহার করা হয় যেখানে গভীর বোল্টজম্যান নেটওয়ার্কের মতো ডেটা ম্যানিপুলেশনের জন্য একাধিক লুকানো স্তরগুলির প্রয়োজন হয়।

Comments

সুতরাং উভয় কি গোপন স্তর প্রয়োজন? আপনি কি সাধারণ এনএন-তে একাধিক লুকানো স্তর করতে পারবেন? এই বোল্টজমান নেটওয়ার্কগুলি, আপনি কি বল্টজম্যান মেশিনগুলি বোঝাতে চেয়েছিলেন? তাহলে পার্থক্য টা কি? এটি প্রশ্নের উত্তর দেয় না (বা সম্ভবত এটি করে তবে এটি খুব অস্পষ্ট)।

— এভিল