নিউরাল নেটওয়ার্কের ভিসি-মাত্রা গণনা করা হচ্ছে


11

যদি আমার কিছু স্থির অ-পুনরাবৃত্ত (ডিএজি) টপোলজি (নোড এবং প্রান্তের স্থির সেট, তবে শিখার অ্যালগরিদমটি ইনপুট নিউরনের সাথে সিগময়েড নিউরনগুলির কেবলমাত্র স্ট্রিং নিতে পারে) ইনপুট হিসাবে এবং একটি আউটপুটকে নিয়ে যায় (এটি যদি 0 থেকে দূরে একটি নির্দিষ্ট স্থিতিশীল হয় তবে আমরা 1 বা নীচে -1 এ গোল করে এমন একটি আসল মান আউটপুট করে)। এই নেটওয়ার্কটির ভিসি-ডাইমেনশন গণনা করার কোনও দ্রুত উপায় আছে (বা আনুমানিক)?এন{-1,1}এন


মন্তব্য

আমি সিএসএসইতে কিছুটা আরও সুনির্দিষ্ট অ্যালগরিদমিক সংস্কার জিজ্ঞাসা করেছি:

স্নায়বিক নেটওয়ার্কের ভিসি-মাত্রা দক্ষতার সাথে গণনা করা বা আনুমানিক করা


কেবল পরিষ্কার করতে: আপনার কি নিউরনের কোনও গোপন স্তর রয়েছে? আপনার প্রশ্নটি আপনার কোনও গোপন স্তর রয়েছে কিনা তা স্পষ্ট করে নির্দিষ্ট করে না।
অ্যান্ড্রু

@ অ্যান্ড্রু পদ্ধতিটি উভয় ক্ষেত্রেই কাজ করা উচিত। যেহেতু কোনও লুকানো স্তরগুলি রৈখিক শ্রেণিবদ্ধ নয়, এটি করা তুচ্ছ; তাই আমি তুচ্ছ মামলায় বেশি আগ্রহী; ধরে নিন আমাদের কাছে 2+ লুকানো স্তর রয়েছে (যদিও পদ্ধতিটি আরও কম কাজ করা উচিত, যেহেতু এটি সহজ)।
আর্টেম কাজনাটচিভ

উত্তর:


6

নিউরাল নেটগুলিতে ভিসি ডাইমেনশন গণনার জন্য একটি সাধারণ ফর্মুলার শিকার করার সময় আমি আপনার পোস্টটি জুড়ে হোঁচট খেয়েছি, তবে দৃশ্যত এর একটিও নেই। স্পষ্টতই আমাদের কাছে কেবলমাত্র পৃথক উপাচার্য সমীকরণের একটি হজপজ রয়েছে যা কেবলমাত্র কয়েকটি সংকীর্ণ ক্ষেত্রে প্রযোজ্য। সতর্কতা: আমি ভিসি ডাইমেনশনগুলির ধারণার ভিত্তিতে, আমি সবেই বুঝতে পেরেছি এটি পুরানো গবেষণার ভিত্তিতে করছি তবুও, পিটার এল বার্টলেট এবং ওল্ফগ্যাং মাস 1 এর এই কাগজটি স্কিমে সার্থক হতে পারেভিসি মাত্রাগুলির গণনযোগ্যতার উপর। তারা 13 টি উপপাদিতে উপাচার্য সূত্রগুলি অর্জন করতে কীভাবে দুর্দান্ত দৈর্ঘ্যে যায় তা নোট করুন তবে প্রতিটিটির জন্য কতগুলি বিচিত্র এবং অসংখ্য প্রয়োজনীয় শর্ত রয়েছে। এই পূর্বশর্তগুলি অ্যাক্টিভেশন ফাংশনে অপারেটরের সংখ্যা থেকে শুরু করে বিভিন্ন ধরণের জাম্প, নিউরনের সংখ্যা এবং তাদের অবস্থানগুলি, ইনপুটটির সামান্য গভীরতা ইত্যাদি range এই ছড়িয়ে ছিটিয়ে থাকা অনেকগুলি "গোটচ" রয়েছে যেগুলি সূত্রগুলি কেবলমাত্র কয়েকটি নির্দিষ্ট সংকীর্ণ সমস্যার জন্য দরকারী। বিষয়টিকে আরও খারাপ করার জন্য, তারা থিওরেমস 5 এবং 8 এ নির্দেশ করেছেন যে সিগময়েডাল অ্যাক্টিভেশন ফাংশনগুলি ভিসির পরিসংখ্যানগুলি গণনা করা বিশেষত কঠিন। 6-7 পৃষ্ঠাতে তারা লিখেছেন:

"অংশবিশেষ বহুপদী অ্যাক্টিভেশন ফাংশনগুলির সাথে নেটওয়ার্কগুলির ভিসি-ডাইমেনশনটি ভালভাবে বোঝা গেলেও স্নায়বিক নেটওয়ার্কগুলির বেশিরভাগ অ্যাপ্লিকেশনগুলি লজিস্টিক সিগময়েড ফাংশন বা গাউসীয় রেডিয়াল ভিত্তিক ফাংশন ব্যবহার করে Unfortunately দুর্ভাগ্যক্রমে, সীমাবদ্ধ সংখ্যার সাহায্যে এই জাতীয় ফাংশনগুলি গণনা করা সম্ভব নয় Unfortunately থিওরেম ৫-এ তালিকাভুক্ত পাটিগণিত অপারেশনগুলি অবশ্য কার্পিনস্কি এবং ম্যাকিন্তেয়ার [কার্পিনস্কি এবং ম্যাকিন্টায়ার, ১৯৯]] তাত্ত্বিকতা 5 বাড়িয়ে দিয়েছিলেন ক্ষয়ক্ষেত্রের গণনা করার জন্য। প্রমাণটি একই ধারণা ব্যবহার করে তবে সমীকরণের পদ্ধতির সমাধানের সংখ্যার উপর আবদ্ধ হয় উল্লেখযোগ্যভাবে আরও কঠিন। "

"নিউরাল নেটওয়ার্কগুলির জন্য বাউন্ডিং ভিসি-ডাইমেনশন: প্রগতি এবং প্রত্যাশা" এর উত্সাহজনক শিরোনামটি নিয়ে আমি এই কাগজটি পেরিয়ে এসেছি 2গণিতের অনেক অংশ আমার মাথার উপরে পড়েছে এবং আমি আমার অনুবাদ দক্ষতার অভাবকে কাটিয়ে উঠতে এত দিন এড়াতে পারি নি, তবে আমার সন্দেহ হয় যে এটি বার্থলেট বইটির দ্বিতীয় সংস্করণটির পূর্বাভাস দেওয়ার কারণে এটি কোনও পৃথিবী-বিভ্রান্তিকর সমাধান দেয় না। এবং মাশ, যিনি একই লেখকের পরবর্তী কাজ উদ্ধৃত করেছেন। সম্ভবত পরে বিগত 20 বছর ধরে গবেষণা স্নায়বিক জালগুলির জন্য ভিসি মাত্রাগুলির ক্যালকুলেটেবিলিটির উন্নতি করেছে, তবে বেশিরভাগ রেফারেন্স আমি পেয়েছি বলে মনে হয়'৯০ এর দশকের মাঝামাঝি থেকে; স্পষ্টতই এই বিষয়টির উপর কাজ নিয়ে আবার আলোড়ন সৃষ্টি হয়েছিল তখন থেকে এটি মারা গিয়েছিল। যদি সক্ষমতাগুলি 90 এর দশকের তুলনায় আরও সাম্প্রতিক বৃত্তি দ্বারা প্রসারিত না হয় তবে আমি আশা করি যে খুব শীঘ্রই কেউ আরও ব্যাপকভাবে প্রয়োগযোগ্য সমাধান নিয়ে আসবে যাতে আমি আমার নিউরাল নেটগুলিতেও ভিসি মাত্রাগুলি গণনা শুরু করতে পারি। দুঃখিত আমি পারিনি

1 বারলেটলেট, পিটার এল এবং মাস, ওল্ফগ্যাং, 2003, "ভ্যাপনিক-চেরভোনেনকিস ডাইমেনশন অব নিউরাল নেটস," পৃষ্ঠা 1188-1192 হ্যান্ডবুক অফ ব্রেন থিওরি এবং নিউরাল নেটওয়ার্কস, আরবিব, মাইকেল ম। এ। এমআইটি প্রেস: কেমব্রিজ, ম্যাস।

কার্পিনস্কি, মারেক এবং ম্যাকিন্টায়ার, অ্যাঙ্গাস, ১৯৯৫, "বার্সেলোনা, স্পেনের কম্পিউটেশনাল লার্নিং থিওরির ২ য় ইউরোপীয় সম্মেলনের প্রসেসিংয়ে" নিউরাল নেটওয়ার্কগুলির জন্য বাউন্ডিং ভিসি-ডাইমেনশন: প্রগতি এবং সম্ভাবনা, "পিপি। ভিটানাই, পি। এড। কৃত্রিম বুদ্ধিমত্তায় লেকচার নোটস, নং 904. স্প্রিঞ্জার: বার্লিন।


0

এখানে সর্বশেষ কাজটি রয়েছে: http://jMLr.org/papers/v20/17-612.html

ওয়াটএল

ওয়াটএললগ(ওয়াট/এল)ভীসিসিওয়াটএললগ(ওয়াটএল)
সি

সি

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.