নিউরাল নেটওয়ার্কগুলিতে একটি ক্রিয়াকলাপের ভেক্টর কী?


9

আমি হিন্টনের নতুন পেপার, "ডাইনামিক রাউটিং বিটম্যান ক্যাপসুলস" পড়ছিলাম এবং অ্যাবস্ট্রাক্টে "অ্যাক্টিভিটি ভেক্টর" শব্দটি বুঝতে পারি নি।

ক্যাপসুল হ'ল নিউরনের একটি গ্রুপ যার ক্রিয়াকলাপের ভেক্টর কোনও নির্দিষ্ট ধরণের সত্তার যেমন কোনও অবজেক্ট বা অবজেক্ট অংশের ইনস্ট্যান্টেশন পরামিতিগুলি উপস্থাপন করে। সত্তাটির উপস্থিতি এবং ইনস্ট্যান্টেশন প্যারামিটারগুলির প্রতিনিধিত্ব করার জন্য এর অভিমুখীকরণের সম্ভাবনা উপস্থাপন করতে আমরা ক্রিয়াকলাপের ভেক্টরের দৈর্ঘ্যটি ব্যবহার করি। এক স্তরের সক্রিয় ক্যাপসুলগুলি উচ্চ স্তরের ক্যাপসুলগুলির ইনস্ট্যান্টেশন প্যারামিটারগুলির জন্য রূপান্তর ম্যাট্রিক্সের মাধ্যমে পূর্বাভাস দেয়। যখন একাধিক পূর্বাভাস সম্মত হয়, তখন একটি উচ্চ স্তরের ক্যাপসুল সক্রিয় হয়। আমরা দেখাই যে একটি বৈষম্যমূলক প্রশিক্ষিত, মাল্টি-লেয়ার ক্যাপসুল সিস্টেম এমএনআইএসটিতে অত্যাধুনিক পারফরম্যান্স অর্জন করে এবং অত্যধিক ওভারল্যাপিং সংখ্যাকে স্বীকৃতি দেওয়ার ক্ষেত্রে একটি সমঝোতার জালের চেয়ে যথেষ্ট ভাল। এই ফলাফলগুলি অর্জনের জন্য আমরা একটি পুনরাবৃত্তি রাউটি-বাই-চুক্তি পদ্ধতি ব্যবহার করি:

https://arxiv.org/pdf/1710.09829.pdf

ভেবেছিলাম ভেক্টর এমন একটি ডেটার অ্যারের মতো যা আপনি নেটওয়ার্কের মাধ্যমে চালাচ্ছেন।

আমি অ্যান্ড্রু এনগের গভীর শিক্ষার কোর্সের মাধ্যমে কাজ শুরু করেছিলাম তবে এটি সমস্ত নতুন এবং শর্তাবলী আমার মাথার উপরে।

উত্তর:


8

একটি traditionalতিহ্যবাহী নিউরাল নেটওয়ার্কে, নেটওয়্যারেক্টসটি নিউরন এবং একক নিউরনের আউটপুট একটি একক মান (একটি " স্কেলার ")। এই নম্বরটিকে এর অ্যাক্টিভেশন বলা হয় । একটি স্তরনেটওয়ার্কে নিউরনের সক্রিয়করণের একটি ভেক্টরকে আউটপুট করে। আমাদের এটি একটি ক্যাপসুল নেটওয়ার্কের ক্রিয়াকলাপ ভেক্টরগুলির সাথে বিভ্রান্ত করা উচিত নয়।

নিউক্লোনগুলির চেয়ে নেটওয়ার্কের শীর্ষগুলি ক্যাপসুল হওয়ায় ক্যাপসুল নেটওয়ার্কগুলি আলাদা different এগুলি একটি উচ্চ-মাত্রিক: একটি ক্যাপসুলের আউটপুট একটি স্কেলার নয় তবে ইনপুট সম্পর্কিত পরামিতিগুলির একটি গোষ্ঠীর প্রতিনিধিত্বকারী ভেক্টর । সুতরাং নাম অ্যাক্টিভেশন ভেক্টর

প্রেরণা

নিউরনগুলির স্কেলার আউটপুটগুলির মধ্যে কোনও নিউরাল নেটওয়ার্কের মধ্যে অন্তর্নিহিত কাঠামো নেই, এটি নিম্নলিখিত স্তরগুলি শিখতে হবে। ক্যাপসুল নেটওয়ার্কগুলিতে একটি ক্যাপসুলের আউটপুট সেই সাথে সম্পর্কিত সমস্ত পরামিতি উপস্থাপিত করে যা একত্রে একটি ভেক্টরে গভীর স্তর ক্যাপসুলগুলির সক্রিয়করণের পূর্বাভাস সহ including এটি একটি দরকারী স্থানীয় কাঠামো যুক্ত করে।

উদাহরণস্বরূপ, মুখের স্বীকৃতি বিবেচনা করুন। আপনার যদি এমন ক্যাপসুল থাকে যা কীভাবে চোখ চিনতে পারে তা কোনও ক্রিয়াকলাপের ভেক্টরকে উপস্থাপন করতে পারে উদাহরণস্বরূপ "যেহেতু আমি সম্ভাব্যতার সাথে একটি চোখের অবস্থান (x, y) সনাক্ত করেছি পি = 0.97 আমি পূর্বাভাস দিচ্ছি পুরো মুখের জন্য প্যারামিটারগুলি হবে (f1, ... fn) "।

হিসাবে ব্যাখ্যা করা ডায়নামিক রাউটিং ক্যাপসুল মধ্যে গভীর স্তর (মুখ) এর সক্রিয়করণব্যবস্থা ভবিষ্যদ্বাণী করা: কাগজ আপনি এই তথ্য তারপর উপায় যে তার আগে স্তরগুলোতে ক্যাপসুল (চক্ষু, মুখ, নাক অংশ) ব্যবহার করা হয় পড়ুন। উদাহরণস্বরূপ, কোনও মুখের শনাক্তকারী কেবল তখনই দৃ activ়ভাবে সক্রিয় হয়ে যায় যখন চোখ, নাক এবং মুখ শনাক্তকারীদের (অংশগুলি) এবং মুখ সনাক্তকারী (পুরো) মধ্যে মুখটি কোথায় রয়েছে সে সম্পর্কে চুক্তি হয় ( (f1, ... fn ) প্যারামিটার)।

.তিহাসিক অনুপ্রেরণা

SIFT এর মতো পুরানো কম্পিউটার ভিশন অ্যালগরিদম একইভাবে কাজ করে যেখানে স্বীকৃতি বহুমাত্রিক বৈশিষ্ট্যগুলির (মূল পয়েন্ট) কনফিগারেশন এবং রেফারেন্স কনফিগারেশনের মধ্যে চুক্তি ভিত্তিক agreement


1

আমি এটি "ক্যাপসুলের নিউরনের ক্রিয়াকলাপের ভেক্টর" এর মতো কিছু বোঝাতে চেয়েছিলাম। প্রদত্ত নিউরনের জন্য অ্যাক্টিভেশন হ'ল সক্রিয়করণ ফাংশন (সিগময়েড, রেলু, ইত্যাদি) এর মধ্য দিয়ে যাওয়া ইনপুটগুলির ভারিত যোগফল sum

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.