আধুনিক নিউরাল নেটওয়ার্কগুলি যা তাদের নিজস্ব টপোলজি তৈরি করে

Question

স্ট্যান্ডার্ড নিউরাল নেট অ্যালগরিদমগুলির একটি সীমাবদ্ধতা (ব্যাকপ্রপের মতো) হ'ল আপনি কতগুলি লুকানো স্তর এবং প্রতি-স্তরের নিউরন চান তা একটি নকশা সিদ্ধান্ত নিতে হবে। সাধারণত, শেখার হার এবং সাধারণীকরণ এই পছন্দগুলির জন্য অত্যন্ত সংবেদনশীল। এটি কারণ, কেন ক্যাসকেড পারস্পরিক সম্পর্কের মতো নিউরাল নেট অ্যালগরিদমগুলি আগ্রহ তৈরি করে চলেছে। এটি একটি সর্বনিম্ন টপোলজি (কেবল ইনপুট এবং আউটপুট ইউনিট) দিয়ে শুরু হয় এবং শেখার অগ্রগতির সাথে সাথে নতুন লুকানো ইউনিটগুলিকে নিয়োগ দেয়।

সিসি-এনএন অ্যালগরিদম 1990 সালে ফাহলম্যান এবং 1991 সালে পুনরাবৃত্ত সংস্করণ দ্বারা প্রবর্তিত হয়েছিল। আরও কিছু সাম্প্রতিক (1992-এর পরে) স্নায়বিক নেট অ্যালগরিদমগুলি কি কি ন্যূনতম টপোলজি দিয়ে শুরু হয়?

---

সম্পর্কিত প্রশ্নগুলি

CogSci.SE: নিউরোজেনেসিসের জৈবিকভাবে প্রশ্রয়যোগ্য অ্যাকাউন্ট সহ নিউরাল নেটওয়ার্ক

Comments

এলোমেলো প্রোজেকশন ভিত্তিক নিউরাল নেটওয়ার্কগুলির সাথে পরীক্ষা করা সম্ভব। ব্লগ এন্ট্রি কোড (গিথুব)

— সান ও'কনোর

Answer 1

এখানে অন্তর্নিহিত প্রশ্নটি হল কীভাবে আপনি নিউরাল নেটওয়ার্ক বা মেশিন লার্নিং মডেলের টপোলজি / কাঠামো নির্ধারণ করতে পারেন যাতে মডেলটি "সঠিক আকারের" হয় এবং অতিরিক্ত ফিট / আন্ডারফিটিং না হয়।

১৯৯০ সালে ক্যাসকেড পারস্পরিক সম্পর্ক ফিরে আসার পর থেকে এখনই এটি করার জন্য পুরো পদ্ধতি রয়েছে, তাদের মধ্যে অনেকগুলি আরও ভাল স্ট্যাটিস্টিকাল বা গণনাগত বৈশিষ্ট্য সহ:

• উত্সাহ দেওয়া: দুর্বল শিক্ষানবিশকে একবারে প্রশিক্ষণ দিন, প্রতিটি দুর্বল শিক্ষানবিশকে পুনর্বিবেচিত প্রশিক্ষণের জন্য সেট তৈরি করা হয় যাতে এটি অতীতের শিখররা শেখেনি এমন জিনিসগুলি শিখতে পারে।
• স্পারসিটি লাশো বা স্বয়ংক্রিয় প্রাসঙ্গিকতার দৃ determination়তার মতো নিয়মিতকরণ প্রেরণা করে: একটি বড় মডেল / নেটওয়ার্ক দিয়ে শুরু করুন, এবং নিয়মিত ব্যবহার করুন যা অপ্রয়োজনীয় ইউনিটগুলিকে "বন্ধ" করতে উত্সাহিত করে, যা কার্যকর সক্রিয় রয়েছে leaving
• বায়েশিয়ান ননপ্রেমেট্রিক্স: "ডান" মডেলটির আকারটি খুঁজতে চেষ্টা করতে ভুলবেন না। কেবলমাত্র একটি বড় মডেল ব্যবহার করুন এবং বায়েশিয়ান নিয়মিত করা / সতর্কতা অবলম্বন করুন, যাতে আপনি বেশি পরিমাণে না। উদাহরণস্বরূপ, অসীম সংখ্যক ইউনিট এবং গাউসিয়ান প্রিরিওর সহ একটি নিউরাল নেটওয়ার্ক গাউসিয়ান প্রক্রিয়া হিসাবে উদ্ভূত হতে পারে, যা প্রশিক্ষণে অনেক সহজ হতে পারে।
• গভীর শিক্ষণ: অন্য উত্তরে উল্লিখিত হিসাবে, একটি সময়ে একটি গভীর নেটওয়ার্কের একটি স্তরকে প্রশিক্ষণ দিন। এটি প্রতি স্তর প্রতি ইউনিটের সংখ্যা নির্ধারণের সমস্যাটি সমাধান করে না - প্রায়শই এটি এখনও হাত বা ক্রস-বৈধতা দ্বারা সেট করা হয়।

Answer 2

অ্যাগমেন্টিং টপোলজির নিউরোএভলিউশন সম্পর্কে (NEAT) http://www.cs.ucf.edu/~kstanley/neat.html

এটি সাধারণ সমস্যার জন্য কাজ করে বলে মনে হচ্ছে, তবে রূপান্তর করতে ধীরে ধীরে ধীর।

Comments

NEAT অ্যালগরিদমের সাথে নিউরোভলিউশনের একটি জীবন্ত উদাহরণ এখানে পাওয়া যাবে: wagenaartje.github.io/neataptic/articles/neuroevolution

— থমাস ডব্লু

Answer 3

যেহেতু আমি বুঝতে পেরেছি আজকের শিল্পের শীর্ষস্থানটি হ'ল "আনসার্পাইভাইড ফিচার লার্নিং এবং ডিপ লার্নিং"। সংক্ষেপে: নেটওয়ার্কটি নিরীক্ষণ পদ্ধতিতে প্রশিক্ষণ দেওয়া হচ্ছে, প্রতিটি স্তর প্রতিটি সময়ে:

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

Comments

এটি কি ন্যূনতম সংখ্যক নিউরন (কেবল ইনপুট এবং আউটপুট) দিয়ে শুরু হয়?

— আর্টেম কাজনাটচিভ

গভীর শিক্ষায় একাধিক লুকানো স্তর সহ নিউরাল নেটওয়ার্কগুলির বিভিন্ন পদ্ধতি রয়েছে। নিউরনের সংখ্যা নির্ধারণ করে এমন কোনও পদ্ধতির সাথে আমি পরিচিত নই, তবে গুগল পণ্ডিত আরও জানতে পারে ...

— রান

সমস্ত প্রতিযোগিতামূলক বর্তমান পদ্ধতিতে আফাইক নম্বরটি আগেই ঠিক করা হয়েছে। এটি কিছুটা সমস্যার কারণ এর অর্থ প্রচুর হাইপার প্যারামিটার রয়েছে। এটি মোকাবেলা করার জন্য, জেমস বার্গস্ট্র্রা সম্প্রতি সেরা হাইপার প্যারামিটার সেটিংস অনুসন্ধানের জন্য গাউসিয়া প্রসেসিস ব্যবহারের প্রস্তাব দিয়েছিলেন: http://people.fas.harvard.edu/~bergstra/files/pub/11_nips_hyperopt.pdf)। তবে এটি এমন এক ধরণের "বহিরাগত লুপ" যা স্মার্ট উপায়ে অনেকগুলি ভিন্ন সেটিংস চেষ্টা করে।

— Andreas Mueller

Answer 4

ইতিমধ্যে NEAT (অগমেন্টিং টপোলজিস সহ নিউরাল বিবর্তন) এর একটি উল্লেখ রয়েছে। স্পেসিফিকেশন এবং হাইপারনেট সহ এই বিষয়ে অগ্রগতি রয়েছে। হাইপারনেট সম্পূর্ণরূপে সংযুক্ত ফিনোটাইপের ওজনকে অনুকূল করতে একটি 'মেটা' নেটওয়ার্ক ব্যবহার করে। এটি একটি নেটওয়ার্ককে 'স্পেসিয়াল সচেতনতা' দেয় যা চিত্র স্বীকৃতি এবং বোর্ড গেমের ধরণের সমস্যার ক্ষেত্রে অমূল্য। আপনি 2D তেও সীমাবদ্ধ নন। আমি এটি 1 ডি তে সিগন্যাল বিশ্লেষণের জন্য ব্যবহার করছি এবং 2 ডি .র্ধ্বমুখী করা সম্ভব তবে প্রক্রিয়াজাতকরণের প্রয়োজনীয়তায় ভারী হয়ে উঠছে। কেন স্ট্যানলির কাগজপত্র সন্ধান করুন এবং ইয়াহুতে একটি দল রয়েছে। যদি আপনার কোনও সমস্যা থাকে যা কোনও নেটওয়ার্কের সাথে ট্র্যাকটেবল হয়, তবে NEAT এবং / অথবা হাইপারনেট ভালভাবে প্রযোজ্য হতে পারে।

Answer 5

এই বিষয়টিতে কিছুটা সাম্প্রতিক কাগজ রয়েছে: আরপি অ্যাডামস, এইচ। ওয়ালাচ এবং জুবিন ঘড়মণি। গভীর বিরল গ্রাফিকাল মডেলগুলির কাঠামোটি শিখছি। এটি সাধারণ নিউরাল নেটওয়ার্ক সম্প্রদায়ের বাইরে কিছুটা এবং মেশিন লার্নিংয়ের দিক থেকে আরও। কাগজটি নেটওয়ার্ক স্ট্রাকচারে নন-প্যারামেট্রিক বায়েশিয়ান অনুমান ব্যবহার করে।