কীভাবে হিন্টনের "ক্যাপসুল তত্ত্ব" কাজ করে?


35

জেফ্রি হিন্টন এমন কিছু গবেষণা করছেন যা তিনি নিউরাল নেটওয়ার্কগুলিতে "ক্যাপসুল থিওরি" বলেছেন। এটি কী এবং এটি কীভাবে কাজ করে?


8
এখন এই কাগজটি দেখা যাবে: arxiv.org/abs/1710.09829 ক্যাপসুলি সারা সাবুর, নিকোলাস ফ্রস্ট, জেফ্রি ই হিন্টনের মধ্যে ডায়নামিক রাউটিং
জেই

1
নতুন তথ্য সম্পর্কিত একটি প্রশ্ন রয়েছে (নভেম্বর 2017): ক্যাপসুল নেটওয়ার্কগুলির পিছনে মূল ধারণাটি কী?
এমজুল

উত্তর:


31

এটি এখনও প্রকাশিত হয়নি বলে মনে হয়; অনলাইনে সর্বাধিক উপলভ্য এই আলাপের জন্য এই স্লাইডগুলি । (বেশিরভাগ লোক এই লিঙ্কটির সাথে পূর্বের আলাপটির উল্লেখ করেছেন , তবে দুঃখের বিষয় এই উত্তরটি লেখার সময় এটি ভেঙে গেছে))

আমার ধারণাটি হ'ল এটি একটি নিউরাল নেটওয়ার্কের মধ্যে সাবনেটওয়ার্কগুলি তৈরি করার আনুষ্ঠানিকতা এবং বিমূর্তকরণের প্রয়াস। এটি হ'ল, যদি আপনি একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্ক দেখেন তবে স্তরগুলি সম্পূর্ণরূপে সংযুক্ত থাকে (যা স্তর 1 এর প্রতিটি নিউরনের স্তর 0 এর প্রতিটি নিউরনে অ্যাক্সেস থাকে এবং স্তর 2 এর প্রতিটি নিউরন নিজেই অ্যাক্সেস করে)। তবে এটি অবশ্যই কার্যকর নয়; এক পরিবর্তে, থাকতে পারে বলুন, এন স্তর ( 'ক্যাপসুল') প্রতিটি কিছু পৃথক কাজের উপর বিশেষ সমান্তরাল স্ট্যাকগুলি (নিজেই একটি স্তর চেয়ে বেশি প্রয়োজন হতে পারে যা সফলভাবে সম্পন্ন করার জন্য)।

যদি আমি এর ফলাফলগুলি সঠিকভাবে কল্পনা করি তবে এই আরও পরিশীলিত গ্রাফ টপোলজি এমন কিছু মনে হয় যা ফলস্বরূপ নেটওয়ার্কের কার্যকারিতা এবং ব্যাখ্যাযোগ্যতা উভয়ই বাড়িয়ে দিতে পারে।


9
কাগজটি এখন (অক্টোবর 2017) প্রকাশিত হয়েছে: arxiv.org/pdf/1710.09829.pdf
machinaut

13

পূর্ববর্তী উত্তরের পরিপূরক হিসাবে: এ সম্পর্কিত একটি নিবন্ধ রয়েছে যা বেশিরভাগ ক্ষেত্রে কাঁচা তথ্য থেকে নিম্ন-স্তরের ক্যাপসুলগুলি শিখতে হয়, তবে হিন্টন তার প্রাথমিক ভূমিকাতে ক্যাপসুল সম্পর্কে ধারণাটি ব্যাখ্যা করে: http://www.cs.toronto.edu/~ ফ্রিটজ / absps / transauto6.pdf

এটিও লক্ষণীয় যে উপরের উত্তরে এমআইটি আলাপের লিঙ্কটি আবার কাজ করছে বলে মনে হচ্ছে।

হিন্টনের মতে, একটি "ক্যাপসুল" হ'ল একটি স্তরের মধ্যে নিউরনের একটি উপসেট যা "ইনস্ট্যান্টেশন প্যারামিটার" উভয়কেই প্রমাণ করে যে কোনও সত্তা সীমিত ডোমেনের মধ্যে উপস্থিত রয়েছে কিনা এবং "পোজ প্যারামিটার" এর একটি ভেক্টর সত্তার সাথে সম্পর্কিত সত্তাকে নির্দিষ্ট করে কিনা তা নির্দেশ করে একটি ক্যানোনিকাল সংস্করণ।

নিম্ন-স্তরের ক্যাপসুল দ্বারা পরামিতি আউটপুট উচ্চ স্তরের ক্যাপসুল দ্বারা প্রতিনিধিত্ব করা সত্তাগুলির পোজগুলির জন্য পূর্বাভাসগুলিতে রূপান্তরিত হয়, যা পূর্বাভাসগুলি তাদের নিজস্ব প্যারামিটারগুলি সম্মত করে এবং আউটপুট দেয় তবে সক্রিয় হয় (উচ্চ স্তরের পোজ পরামিতি প্রাপ্ত পূর্বাভাসের গড় হিসাবে গড়ে তোলে )।

হিন্টন অনুমান করেন যে এই উচ্চ-মাত্রিক কাকতালীয় শনাক্তকরণটি মস্তিষ্কের মিনি-কলাম প্রতিষ্ঠানের জন্য রয়েছে। তাঁর মূল লক্ষ্য মনে হচ্ছে কনভ্যুশনাল নেটওয়ার্কগুলিতে ব্যবহৃত সর্বাধিক পুলিংয়ের প্রতিস্থাপন করা হচ্ছে, যেখানে গভীর স্তরগুলি ভঙ্গি সম্পর্কে তথ্য হারাবে।


4

ক্যাপসুল নেটওয়ার্কগুলি মেশিনে হিন্টনের মানব মস্তিষ্কের পর্যবেক্ষণ অনুকরণ করার চেষ্টা করে। অনুপ্রেরণাটি সত্য যে নিউরাল নেটওয়ার্কগুলির অংশগুলির স্থানিক সম্পর্কের আরও ভাল মডেলিংয়ের প্রয়োজন ছিল ms সহ-অস্তিত্বের মডেলিংয়ের পরিবর্তে, আপেক্ষিক অবস্থানকে উপেক্ষা করে ক্যাপসুল-নেটগুলি শ্রেণিবিন্যাসের সাথে বিভিন্ন উপ-অংশগুলির বৈশ্বিক আপেক্ষিক রূপান্তরকে মডেল করার চেষ্টা করে। এটি অন্যের দ্বারা উপরে বর্ণিত হিসাবে ইক্যুভারিয়েন্স বনাম আক্রমণাত্মক বাণিজ্য বন্ধ is

এই নেটওয়ার্কগুলি তাই কিছুটা দৃষ্টিভঙ্গি / অভিমুখী সচেতনতা অন্তর্ভুক্ত করে এবং বিভিন্ন দিকনির্দেশে ভিন্নভাবে প্রতিক্রিয়া জানায়। এই সম্পত্তি তাদের আরও বৈষম্যমূলক করে তোলে, যখন সুপ্ত-স্থান বৈশিষ্ট্যগুলি ব্যাখ্যামূলক, নির্দিষ্ট বিবরণ ধারণ করে বলে সম্ভাব্যভাবে ভঙ্গ অনুমান করার দক্ষতার পরিচয় দেয়।

নেটওয়ার্কের অন্য একটি স্তরকে সংশ্লেষ না করে স্তরটির মধ্যে ক্যাপসুল নামক নেস্টেড স্তর অন্তর্ভুক্ত করে এগুলি সম্পন্ন করা হয়। এই ক্যাপসুলগুলি নোডের জন্য একটি স্কেলারের পরিবর্তে ভেক্টর আউটপুট সরবরাহ করতে পারে।

কাগজের গুরুত্বপূর্ণ অবদান হ'ল গতিশীল রাউটিং যা একটি স্মার্ট স্ট্র্যাটেজি দ্বারা স্ট্যান্ডার্ড সর্বাধিক-পুলিংকে প্রতিস্থাপন করে। উপরের স্তরটিতে আউটপুট কেবল উপযুক্ত পিতামাতার কাছে প্রেরণ করা যায় তা নিশ্চিত করতে এই অ্যালগরিদম ক্যাপসুল আউটপুটগুলিতে একটি গড়-শিফট ক্লাস্টারিং প্রয়োগ করে।

লেখকরা একটি প্রান্তিক ক্ষতি এবং পুনর্নির্মাণ ক্ষতি সহ অবদানগুলিও জুটি করেন, যা একই সাথে টাস্কটি আরও ভালভাবে শিখতে সহায়তা করে এবং এমএনআইএসটিতে শিল্প ফলাফলের অবস্থা প্রদর্শন করে।

সাম্প্রতিক-গবেষণাপত্রটির নামকরণ হয়েছে ক্যাপসুলের মধ্যে ডায়নামিক রাউটিং এবং এটি আর্ক্সিভে উপলব্ধ: https://arxiv.org/pdf/1710.09829.pdf


3

তাদের কাগজের উপর ভিত্তি করে ক্যাপসুলগুলির মধ্যে ডায়নামিক রাউটিং

ক্যাপসুল হ'ল নিউরনের একটি গ্রুপ যার ক্রিয়াকলাপের ভেক্টর কোনও নির্দিষ্ট ধরণের সত্তার যেমন কোনও অবজেক্ট বা অবজেক্ট অংশের ইনস্ট্যান্টেশন পরামিতিগুলি উপস্থাপন করে। সত্তাটির উপস্থিতি এবং ইনস্ট্যান্টেশন প্যারামিটারগুলির প্রতিনিধিত্ব করার জন্য এর অভিমুখীকরণের সম্ভাবনা উপস্থাপন করার জন্য আমরা ক্রিয়াকলাপের ভেক্টরের দৈর্ঘ্যটি ব্যবহার করি। এক স্তরের সক্রিয় ক্যাপসুলগুলি উচ্চ স্তরের ক্যাপসুলগুলির ইনস্ট্যান্টেশন প্যারামিটারগুলির জন্য রূপান্তর ম্যাট্রিক্সের মাধ্যমে পূর্বাভাস দেয়। যখন একাধিক পূর্বাভাস সম্মত হয়, তখন একটি উচ্চ স্তরের ক্যাপসুল সক্রিয় হয়। আমরা দেখাই যে একটি বৈষম্যমূলক প্রশিক্ষিত, মাল্টি-লেয়ার ক্যাপসুল সিস্টেম এমএনআইএসটি-তে অত্যাধুনিক পারফরম্যান্স অর্জন করে এবং অত্যন্ত ওভারল্যাপিং সংখ্যাকে স্বীকৃতি দেওয়ার ক্ষেত্রে একটি সমঝোতার জালের চেয়ে যথেষ্ট ভাল। এই ফলাফলগুলি অর্জনের জন্য আমরা একটি পুনরাবৃত্তি রাউটি-বাই-চুক্তি পদ্ধতি ব্যবহার করি: নিম্ন-স্তরের ক্যাপসুল তার আউটপুটটিকে উচ্চ স্তরের ক্যাপসুলগুলিতে প্রেরণ করতে পছন্দ করে যার ক্রিয়াকলাপের ভেক্টরগুলির নিম্ন স্তরের ক্যাপসুল থেকে আগত ভবিষ্যদ্বাণী সহ একটি বড় স্কেলার পণ্য রয়েছে। পর্যালোচকদের মন্তব্যগুলি অন্তর্ভুক্ত করার জন্য কাগজের চূড়ান্ত সংস্করণটি পুনর্বিবেচনার অধীনে রয়েছে।


2
একটি ভাল উত্তর সাধারণত কেবল একটি উদ্ধৃতি চেয়ে বেশি। আপনি সাধারণত একটি পরিষ্কার উপায়ে বিশ্রাম নিতে পারেন বা আরও গভীরতায় যেতে পারেন। খুব কমই একটি উত্তরের উত্তর যা খুব ভাল উত্তর দেয় takes আপনি কি মনে করেন যে আপনি এং সম্পাদনা করে কিছুটা উন্নতি করতে পারেন ?
ব্যবহারকারী 58

3

কনভলিউশনাল নিউরাল নেটওয়ার্কগুলির অন্যতম প্রধান সুবিধা হ'ল অনুবাদে তাদের আগ্রাসন । তবে এই অদলবদল একটি দাম নিয়ে আসে এবং তা হ'ল এটি কীভাবে আলাদা আলাদা বৈশিষ্ট্য একে অপরের সাথে সম্পর্কিত তা বিবেচনা করে না। উদাহরণস্বরূপ, আমাদের মুখের সিএনএন থাকলে মুখের বৈশিষ্ট্য এবং নাকের বৈশিষ্ট্যগুলির মধ্যে পার্থক্য চিহ্নিত করতে অসুবিধা হবে। স্যাক্সিং পুলিং স্তরগুলি এই প্রভাবের মূল কারণ। কারণ যখন আমরা সর্বাধিক পুলিং স্তরগুলি ব্যবহার করি তখন আমরা মুখ এবং শব্দের সুনির্দিষ্ট অবস্থানগুলি হারিয়ে ফেলি এবং সেগুলি একে অপরের সাথে কীভাবে যুক্ত তা আমরা বলতে পারি না।

ক্যাপসুলগুলি সিএনএন এর সুবিধা ধরে রাখার চেষ্টা করে এবং এই ত্রুটিটি দুটি উপায়ে সংশোধন করে;

  1. চালান: এই কাগজ থেকে উদ্ধৃতি

ক্যাপসুলটি যখন সঠিকভাবে কাজ করছে, তখন ভিজ্যুয়াল সত্তার উপস্থিতির সম্ভাবনা স্থানীয়ভাবে অচল হয়ে পড়ে - ক্যাপসুলের আওতাধীন সীমিত ডোমেনের মধ্যে সত্তাটি সম্ভাব্য উপস্থিতির বহুগুণে সরে যাওয়ার সাথে সাথে এটি পরিবর্তন হয় না।

অন্য কথায় ক্যাপসুল সুনির্দিষ্ট বৈশিষ্ট্যের অস্তিত্বকে বিবেচনা করে যা আমরা মুখ বা নাকের মতো সন্ধান করছি। এই বৈশিষ্ট্যটি নিশ্চিত করে যে ক্যাপসুলগুলি সিএনএনগুলির অনুরূপ অনুবাদ অদৃশ্য।

  1. Equivariance: তার জন্যে বৈশিষ্ট্য অনুবাদ তৈরীর invariance , ক্যাপসুল এটা অনুবাদ-equivariant বা দৃষ্টিকোণ-equivariant করতে হবে। অন্য কথায়, বৈশিষ্ট্যটি চিত্রটিতে যেমন স্থান পরিবর্তন করে এবং এর অবস্থান পরিবর্তন করে, বৈশিষ্ট্য ভেক্টরের উপস্থাপনাও একইভাবে পরিবর্তিত হবে যা একে সমতুল্য করে তোলে। ক্যাপসুলগুলির এই সম্পত্তিটি শুরুতে উল্লেখ করেছি সর্বাধিক পুলিং স্তরগুলির অপূর্ণতা সমাধানের চেষ্টা করে।
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.