কোনও কার্যক্রমে মডিউলার নিউরাল নেটওয়ার্কগুলি বৃহত, একতরফা নেটওয়ার্কগুলির চেয়ে বেশি কার্যকর?


16

মডুলার / একাধিক নিউরাল নেটওয়ার্কগুলি (এমএনএন) ছোট, স্বতন্ত্র নেটওয়ার্কগুলি প্রশিক্ষণ দেয় যা একে অপরকে বা অন্য কোনও উচ্চতর নেটওয়ার্কগুলিতে ফিড করতে পারে around

নীতিগতভাবে, শ্রেণিবদ্ধ সংস্থা আমাদের আরও জটিল সমস্যার জায়গাগুলি অনুধাবন করতে এবং একটি উচ্চতর কার্যকারিতাটিতে পৌঁছানোর অনুমতি দিতে পারে তবে অতীতে এই বিষয়ে কংক্রিট গবেষণার উদাহরণ পাওয়া খুব কঠিন বলে মনে হয়। আমি কয়েকটি উত্স পেয়েছি:

https://en.wikipedia.org/wiki/Modular_neural_network

https://www.teco.edu/~albrecht/neuro/html/node32.html

https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y

আমার কাছে কয়েকটি শক্ত প্রশ্ন রয়েছে:

  • এমএনএন ব্যবহারে সাম্প্রতিক কোন গবেষণা হয়েছে?

  • এমএনএনরা বড় একক জালের চেয়ে ভাল পারফরম্যান্স দেখিয়েছে এমন কোনও কাজ কি আছে?

  • এমএনএনগুলি মাল্টিমোডাল শ্রেণিবিন্যাসের জন্য ব্যবহার করা যেতে পারে, অর্থাত্ প্রতিটি নেটকে মৌলিকভাবে বিভিন্ন ধরণের ডেটা, (পাঠ্য বনাম চিত্র) প্রশিক্ষণ দিতে এবং সমস্ত আউটপুট পরিচালনা করে এমন একটি উচ্চ স্তরের মধ্যস্থতাকে ফিড করতে পারে?

  • একটি সফ্টওয়্যার ইঞ্জিনিয়ারিং দৃষ্টিকোণ থেকে, এই আরও ত্রুটি সহনশীল এবং সহজেই একটি বিতরণ সিস্টেমে বিচ্ছিন্ন হয় না?

  • নিউরাল আর্কিটেকচার সন্ধানের মতো কোনও প্রক্রিয়া ব্যবহার করে সাবনেটওয়ার্কের টপোলজিকগুলি গতিশীলভাবে রূপান্তর করার কোনও কাজ হয়েছে?

  • সাধারণত, এমএনএনগুলি কি কোনও উপায়ে ব্যবহারিক?

এই প্রশ্নগুলি যদি নির্দোষ মনে হয় তবে দুঃখিত, আমি একটি জীববিজ্ঞান / স্নায়ুবিজ্ঞানের পটভূমি থেকে এমএল এবং আরও বিস্তৃতভাবে সিএসে এসেছি এবং সম্ভাব্য ইন্টারপ্লে দ্বারা মোহিত হয়েছি।

আমি আপনাকে সময় এবং আপনার অন্তর্দৃষ্টি ightণ দেওয়ার জন্য সত্যই প্রশংসা করি!


আমি পারফরম্যান্স উন্নত করতে যেমন একটি মডুলার সিস্টেম বাস্তবায়ন এবং ফিল্টার আউট - অবশ্যই ইনপুট উপর অপ্রয়োজনীয় নির্ভরতা সম্পর্কে চিন্তা করেছি। ভেবেছিলেন এটি ইউরেকের মুহূর্ত, তবে জানেন না এটি ইতিমধ্যে একটি প্রতিষ্ঠিত কাঠামো।
টোবি 12'19

উত্তর:


2

এই বিষয়টি সম্পর্কে সত্যই তদন্ত চলছে। গত মার্চের প্রথম প্রকাশে উল্লেখ করা হয়েছে যে কিছুকাল আগে থেকেই স্পষ্টভাবে বলা হয়নি, তবে কিছুটা প্রশিক্ষণ একচেটিয়া রাখা হয়েছে। এই কাগজটি বিষয়টি সম্পর্কে কিছু প্রাথমিক প্রশ্নকে মূল্যায়ন করে এবং মডিউলার এবং ভারী পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণের সময় এবং পারফরম্যান্সের সাথে তুলনা করে। দেখা:

কিছু অন্যান্য মডুলারালিটির দিকে খুব বেশি মনোনিবেশিত, তবে একচেটিয়া প্রশিক্ষণের সাথেই রয়েছেন ( জ্যাকব অ্যান্ড্রিয়ার গবেষণা দেখুন , বিশেষত যুক্তি অনুসারে শেখা আপনার তৃতীয় প্রশ্নের সাথে খুব জড়িত)। 2019 সালের শেষের দিকে এবং পরের বছর মার্চের মধ্যে, কোথাও আরও ফলাফল হওয়া উচিত (আমি তা জানতে পারি)।

আপনার দুটি শেষ প্রশ্নের সাথে, আমরা এখন দেখতে শুরু করেছি যে সাধারণকরণের ক্ষেত্রে মডুলারালিটি একটি প্রধান চাবিকাঠি। আমি আপনাকে কিছু কাগজপত্র সুপারিশ করি (আপনি সেগুলি আর্কসিভ বা গুগল স্কলারে সন্ধান করতে পারেন):

  • কীওয়ার্ড স্পটিংয়ের জন্য স্টোকাস্টিক অ্যাডাপটিভ নিউরাল আর্কিটেকচার অনুসন্ধান (কর্মক্ষমতা এবং সংস্থান ব্যবহারের ভারসাম্য রক্ষার জন্য কোনও স্থাপত্যের বিভিন্নতা)।

  • নিউরাল প্রোগ্রামিং আর্কিটেকচারগুলি পুনরাবৃত্তির মাধ্যমে সাধারণীকরণ করা (তারা টাস্ক সাবমডুলারালিটি করেন এবং আমি বিশ্বাস করি যে এটি প্রথমবারের মতো নিউরাল নেটওয়ার্কগুলির ক্ষেত্রে সাধারণীকরণের গ্যারান্টিযুক্ত)।

  • গভীর নিউরাল নেটওয়ার্ক এবং ট্রি সন্ধানের সাথে গোয়ের গেমটি আয়ত্ত করা (নেটওয়ার্ক টপোলজি আসলে সন্ধানের গাছ নিজেই, আপনি যদি গ্রাফ নিউরাল নেটওয়ার্কগুলি সন্ধান করেন তবে এর আরও কিছু দেখতে পাবেন)।


1

একক গভীর নেটওয়ার্কগুলির সাথে সম্পর্কিত পৃথকভাবে প্রশিক্ষিত নেটওয়ার্কগুলির সমন্বিত সিস্টেমগুলির একটি মানদণ্ডের তুলনা সম্ভবত সর্বজনীনভাবে প্রয়োগযোগ্য সেরা পছন্দটি প্রকাশ করে না। 1 আমরা অন্যান্য ধরণের উপাদানগুলির সাথে বেশ কয়েকটি কৃত্রিম নেটওয়ার্ক একত্রিত হওয়া বৃহত সিস্টেমে সংখ্যার বৃদ্ধি সাহিত্যে দেখতে পাচ্ছি। এটা আশা করা যায়। সিস্টেম জটিলতায় বেড়ে ওঠার সাথে সাথে মডুলারাইজেশন এবং কর্মক্ষমতা এবং সক্ষমতা বৃদ্ধির দাবি শিল্পায়নের মতো পুরানো।

আমাদের পরীক্ষাগার রোবোটিক নিয়ন্ত্রণ, তাপবিদ্যুৎ সংক্রান্ত উপকরণ এবং ডেটা বিশ্লেষণ নিয়ে কাজ করে, কৃত্রিম নেটওয়ার্কগুলি বৃহত্তর সিস্টেমের প্রসঙ্গে x আমাদের কাছে কোনও একক এমএলপি বা আরএনএন নেই যা নিজেরাই কোনও কার্যকর ফাংশন সম্পাদন করে।

বহু দশক আগে শ্রেণিবিন্যাস সম্পর্কে অনুমানের বিপরীতে, টপোলজি পদ্ধতির যে বেশিরভাগ ক্ষেত্রে ভাল কাজ করে বলে মনে হচ্ছে পাওয়ার প্লান্ট, স্বয়ংক্রিয় কারখানা, অ্যারোনটিক্স, এন্টারপ্রাইজ তথ্য আর্কিটেকচার এবং অন্যান্য জটিল ইঞ্জিনিয়ারড ক্রিয়েশনে দেখা যায় এমন আরও সাধারণ সিস্টেম মডিউল সম্পর্ক অনুসরণ করে। সংযোগগুলি প্রবাহের মতো এবং যদি সেগুলি ভালভাবে ডিজাইন করা হয় তবে তদারকির কাজগুলি ন্যূনতম। যোগাযোগের জন্য প্রোটোকল জড়িত মডিউলগুলির মধ্যে প্রবাহ ঘটে এবং প্রতিটি মডিউল তার কার্যকারিতাটি ভাল করে সম্পাদন করে, নিম্ন স্তরের জটিলতা এবং কার্যকরী বিশদকে আবদ্ধ করে। এটি এমন একটি নেটওয়ার্ক নয় যা অন্যটির তদারকি করে যা প্রকৃত অনুশীলনে সর্বাধিক কার্যকর বলে মনে হয় তবে ভারসাম্য এবং সিম্বিওসিস। মানব মস্তিষ্কে পরিষ্কার মাস্টার-স্লেভ ডিজাইনের সনাক্তকরণ সমান পিচ্ছিল বলে মনে হয়।

চ্যালেঞ্জটি তথ্য সম্পর্কিত টপোলজি তৈরি করে এমন তথ্য পাথগুলি খুঁজে পাচ্ছে না। সমস্যা বিশ্লেষণের পরে তথ্য প্রবাহ প্রায়শই সুস্পষ্ট is এই স্বাধীন নেটওয়ার্কগুলিকে প্রশিক্ষণের জন্য কৌশলগুলির সেরা আবিষ্কার করতে অসুবিধা হচ্ছে। প্রশিক্ষণের নির্ভরতা সাধারণ এবং প্রায়শই সমালোচনামূলক, যেখানে প্রাণীদের মধ্যে প্রশিক্ষণটি সিটুতে ঘটে বা হয় না। আমরা এমন শর্তগুলি আবিষ্কার করছি যার অধীনে আমাদের সিস্টেমে এই জাতীয় শিক্ষাগত ব্যবহারিক এবং এটি কীভাবে অর্জন করা যায়। এই লাইনগুলি সহ আমাদের বেশিরভাগ গবেষণার উদ্দেশ্য এটির জন্য গবেষণার সময়গুলির ক্ষেত্রে উচ্চতর নির্ভরযোগ্যতা এবং কম বোঝা অর্জনের উপায়গুলি আবিষ্কার করা।

উচ্চ কার্যকারিতা সবসময় উপকারী হয় না। এটি প্রায়শই কম নির্ভরযোগ্যতা উত্পাদন করে এবং সামান্য রিটার্নের সাথে অতিরিক্ত বিকাশ সংস্থান গ্রহণ করে। একটি বিকাশের প্রক্রিয়াতে উচ্চ স্তরের অটোমেশন, রিসোর্স থ্রিফট এবং নির্ভরযোগ্যতার সাথে বিবাহ করার একটি উপায় সন্ধান করুন এবং আপনি ওয়েবের চারপাশে একটি পুরষ্কার এবং সম্মানজনক উল্লেখ জিতে পাবেন।

সমান্তরাল সিস্টেমগুলির একই উদ্দেশ্য হ'ল একটি ভাল ধারণা, তবে নতুন নয়। একটি অ্যারোনটিক্স সিস্টেমে নয়টি সমান্তরাল সিস্টেমে তিনটির দলে একই উদ্দেশ্য রয়েছে। প্রতিটি গ্রুপ একটি পৃথক কম্পিউটিং পদ্ধতির ব্যবহার করে। যদি দুটি পদ্ধতির একই পদ্ধতির ব্যবহার করে একই আউটপুট সরবরাহ করা হয় এবং তৃতীয়টি পৃথক হয়, তবে মিলে যাওয়া আউটপুট ব্যবহার করা হয় এবং তৃতীয়টির পার্থক্যটি সিস্টেম ত্রুটি হিসাবে রিপোর্ট করা হয়। যদি দুটি ভিন্ন পদ্ধতির মধ্যে দুটি একইরকম ফলাফল সরবরাহ করে এবং তৃতীয়টি যথেষ্ট পরিমাণে পৃথক হয়, তবে দুটি অনুরূপ ফলাফলের একটি মার্জ ব্যবহার করা হয় এবং তৃতীয়টি ভিন্নমত পোষণের পদ্ধতির বিকাশের জন্য ব্যবহারের ক্ষেত্রে হিসাবে রিপোর্ট করা হয়।

উন্নত ত্রুটি সহনশীলতার একটি ব্যয়, আরও আটটি সিস্টেম এবং সংযুক্ত কম্পিউটিং সংস্থান এবং সংযোগকারী প্লাস লেজের তুলনাকারী রয়েছে, তবে যে সিস্টেমগুলি জীবন এবং মৃত্যুর বিষয়, সেখানে অতিরিক্ত ব্যয় দেওয়া হয় এবং নির্ভরযোগ্যতা সর্বাধিক হয়।

ডায়নামিক টপোলজিকাল অভিযোজন রিয়ंडান্ট সিস্টেম এবং ফল্ট সহনশীলতার সাথে সম্পর্কিত তবে কিছু উপায়ে এটি বেশ স্বতন্ত্র। বিকাশের সেই ক্ষেত্রে, অনুসরণ করার প্রযুক্তিটি হল নিউরোমর্ফিক কম্পিউটারিং, যা আংশিকভাবে নিউরোপ্লাস্টিটি দ্বারা অনুপ্রাণিত।

বিবেচনা করার জন্য একটি শেষ পার্থক্য হ'ল প্রক্রিয়া টোকোলজি, ডেটা টপোলজি এবং হার্ডওয়্যার টপোলজির মধ্যে। এই তিনটি জ্যামিতিক ফ্রেম একত্রে আরও বেশি দক্ষতা তৈরি করতে পারে যদি নির্দিষ্ট উপায়ে সংযুক্ত থাকে যা প্রবাহ, প্রতিনিধিত্ব এবং যান্ত্রিকতার মধ্যে সম্পর্কের মধ্যে আরও সরাসরি ম্যাপিং তৈরি করে। এগুলি অবশ্য স্বতন্ত্র টোপোলজিস। এই ধারণাগুলি এবং নির্দিষ্ট পণ্য বা পরিষেবা উদ্দেশ্যগুলির জন্য উত্থাপিত বিশদে গভীরভাবে ডুব দেওয়া ছাড়া প্রান্তিককরণের অর্থ স্পষ্ট নয়।

পাদটিকা

[1] গভীর নেটওয়ার্কগুলি যা একটি একক হিসাবে প্রশিক্ষিত হয় এবং অন্যান্য কৃত্রিম নেটওয়ার্কগুলির সাথে সংযোগ ছাড়াই ফাংশন করে সেগুলি অবিচ্ছিন্ন নয়। বেশিরভাগ ব্যবহারিক গভীর নেটওয়ার্কগুলিতে তাদের অ্যাক্টিভেশন ফাংশন এবং প্রায়শই তাদের ঘরের ধরণের ক্ষেত্রে স্তরগুলির ভিন্ন ভিন্ন ক্রম থাকে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.