নিউরাল নেটওয়ার্কগুলির জটিলতা পরিমাপের জন্য ভিসি-মাত্রার বিকল্পগুলি কী কী?

Question

নিউরাল নেটওয়ার্কগুলির জটিলতা পরিমাপ করার জন্য আমি কয়েকটি প্রাথমিক উপায়টি পেয়েছি:

• নিষ্পাপ এবং অনানুষ্ঠানিক: নিউরন, লুকানো নিউরন, স্তর বা লুকানো স্তরগুলির সংখ্যা গণনা করুন
• ভিসি-মাত্রা (এডুয়ার্ডো ডি সন্টাগ [1998] "নিউরাল নেটওয়ার্কগুলির ভিসি মাত্রা" [ পিডিএফ ]।)
• টি সি 0 ডি এর সমতুল্য হয়ে$TC^0_d$ একটি কোর্স গ্রেড এবং অ্যাসিম্পটোটিক কম্পিউটেশনাল জটিলতা পরিমাপ ।

অন্য বিকল্প আছে?

এটি পছন্দ করা হয়:

• জটিলতা মেট্রিক যদি একই স্কেলে বিভিন্ন প্যারাডিজম (ব্যাকপ্রপ, ডায়নামিক্স নিউরাল নেট, ক্যাসকেড পারস্পরিক সম্পর্ক ইত্যাদি পরিমাপ করতে) থেকে নিউরাল নেটওয়ার্কগুলি পরিমাপ করতে ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, ভিসি-ডাইমেনশনটি নেটওয়ার্কগুলিতে বিভিন্ন ধরণের (বা এমনকি নিউরাল নেটওয়ার্কগুলি ছাড়াও অন্যান্য জিনিসগুলির জন্য) ব্যবহার করা যেতে পারে যেখানে সক্রিয়করণ ফাংশন, সংকেতগুলি (বেসিক অঙ্কগুলি বনাম স্পাইক) এবং অন্যান্য ক্ষেত্রে খুব সুনির্দিষ্ট মডেলগুলির মধ্যে কেবল নিউরনগুলির সংখ্যা কার্যকর while নেটওয়ার্কের বৈশিষ্ট্যগুলি একই।
• যদি এটির দ্বারা নেটওয়ার্কের দ্বারা শেখার ফাংশনগুলির জটিলতার মানক ব্যবস্থার সাথে সুন্দর চিঠিপত্র থাকে
• যদি নির্দিষ্ট নেটওয়ার্কগুলিতে মেট্রিকটি সহজেই গণনা করা যায় (তবে এটি শেষ হওয়া আবশ্যক নয় is)

মন্তব্য

এই প্রশ্নটি CogSci.SE এ আরও সাধারণ প্রশ্নের উপর ভিত্তি করে ।

Comments

জটিলতাটি শেখার অ্যালগরিদমের উপরও নির্ভর করা উচিত নয়? উপাচারের মাত্রা সাধারণত উত্তল ক্ষতি ফাংশন সহ পদ্ধতিতে প্রয়োগ করা হয়। যদি আপনার একটি উত্তম-ক্ষতি হয়, আপনি এমন পরিস্থিতিতে যেতে পারেন যেখানে আপনি মডেল কিছু পয়েন্ট আলাদা করতে সক্ষম হবেন তবে আপনি অ্যালগরিদম শিখতে কখনই এই সমাধান পাবেন না। এর জন্য আমি অনুভব করি যে নেটওয়ার্কের কাঠামোটি ব্যবহার করে সীমানা নির্ধারণ করা বেশ শক্ত হওয়া উচিত। আমি @tdc এর সাথে একমত যে জেনারালাইজেশন ত্রুটি হ'ল উপায়। স্ট্যাটিস্টিকাল লার্নিং থিওরিতে ভ্যাপনিকের কাগজটি সে সম্পর্কে শিখতে শুরু করার জন্য ভাল জায়গা হতে পারে।

— Andreas Mueller

Answer 1

আপনি হয়ত পেপারটি একবার দেখতে চান "(না) জন ল্যাংফোর্ড অ্যান্ড রিচ কারুয়ানা কর্তৃক সত্য ত্রুটির বাউন্ডিং (এনআইপিএস, 2001)

বিমূর্ততা বলে:

আমরা পিএসি-বেয়েস সীমানার উপর ভিত্তি করে অবিচ্ছিন্ন মূল্যবান শ্রেণিবদ্ধের প্রকৃত ত্রুটি হারকে সীমাবদ্ধ করার জন্য একটি নতুন পদ্ধতি উপস্থাপন করি। মডেলটির প্রতিটি পরামিতি শব্দ করার জন্য কতটা সংবেদনশীল তা নির্ধারণ করে পদ্ধতিটি প্রথমে শ্রেণিবদ্ধদের উপর বিতরণ তৈরি করে। সংবেদনশীলতা বিশ্লেষণের সাথে পাওয়া স্টোকাস্টিক শ্রেণিবদ্ধের প্রকৃত ত্রুটি হারটি তখন পিএসি-বেয়েস বাউন্ড ব্যবহার করে শক্তভাবে আবদ্ধ হতে পারে। এই গবেষণাপত্রে আমরা কৃত্রিম নিউরাল নেটওয়ার্কগুলির পদ্ধতিটি 2 3 এর ক্রমগুলির উন্নতির বিপরীতে সেরা ডিটারমিনিস্টিক নিউরাল নেট সীমানার ফলাফলের সাথে প্রদর্শন করি।

তারা দেখায় যে আপনি স্টোকাস্টিক নিউরাল নেটওয়ার্কগুলিতে পিএসি-বেয়েস স্টাইলের সীমা প্রয়োগ করতে পারেন। তবে বিশ্লেষণটি কেবলমাত্র সিগময়েডাল ট্রান্সফার ফাংশন সহ 2-স্তর ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কগুলিতে প্রযোজ্য। এই ক্ষেত্রে জটিলতা শব্দটি কেবল নোডের সংখ্যা এবং ওজনের বিভিন্নতার উপর নির্ভর করে। তারা দেখায় যে এই সেটিংটির জন্য সীমাটি কার্যকরভাবে পূর্বাভাস দেয় যে কখন অতিরিক্ত প্রশিক্ষণ আসবে। দুর্ভাগ্যক্রমে যদিও এটি আপনার কোনও "পছন্দসই" বৈশিষ্ট্যটিকে আঘাত করে না!

Comments

+1 যা দুর্দান্ত দেখাচ্ছে - ধন্যবাদ, আমি একবার দেখে নেব। তবে আমি একমত যে এটি কোনও পছন্দের বৈশিষ্ট্যের সাথে খাপ খায় না এবং প্রথমদিকে নেটওয়ার্কের জটিলতাটি তার পারফরম্যান্সের তুলনায় সত্যই পরিমাপ করা হয় বলে মনে হয় না ... তবে আমি অনুমান করি যে এটি অবিচ্ছেদ্য।

— আর্টেম কাজনাটচিভ

এটি যা দেখছে তা হ'ল জেনারালাইজেশন ত্রুটি । সীমাগুলি তৈরি করা হয় সাধারণত একটি শব্দ থাকে যা প্রশিক্ষণের ত্রুটির উপর ভিত্তি করে থাকে এবং মডেলের জটিলতার ভিত্তিতে একটি জরিমানার শর্ত থাকে। আপনার আগ্রহী সমস্তই জটিলতা শব্দ, তবে এটি প্রায় প্রতিটি গণ্ডির একটি উপাদান হবে। এই ভিডিওটি এটি আমার থেকে আরও ভাল ব্যাখ্যা করে!

— tdc

এই দিকটি সঠিক নয় বলে মনে করেন। ত্রুটি নেটওয়ার্ক জটিলতার চেয়ে অনেক বেশি আলাদা। যদিও বিদ্যমান থিয়োরি দুটোকে অস্পষ্ট করে দিতে পারে। একটি সাধারণ উদাহরণ হ'ল ত্রুটি কম তবে জটিলতা বেশি তবে ওভারফিটিং। এছাড়াও, ত্রুটি প্রতিরোধমূলক পদ্ধতিতে কব্জি জটিলতা আচরণ করতে পারে। যেমন পক্ষপাত। মনে হচ্ছে একটি ছোট নেটওয়ার্ক ত্রুটিটিকে অবমূল্যায়ন করতে পারে। ইত্যাদি

@vzn তবে সাধারণীকরণ ত্রুটি হ'ল ভবিষ্যতের ডেটা ত্রুটি - যেমন আপনার যদি প্রশিক্ষণের ত্রুটি কম থাকে এবং উচ্চ জটিলতা থাকে তবে আপনার ত্রুটিটি আবদ্ধ হবে।

— tdc

Answer 2

অধ্যাপক, প্রফেসর পিটার বার্টলেট দ্বারা সম্পন্ন ফ্যাট-বিভাজনীয় মাত্রা কাজের বিষয়েও আপনার আগ্রহ থাকতে পারে। এখানে 1998 এর আইইইই কাগজে নিউরাল নেটওয়ার্ক জটিলতার বিশ্লেষণের একটি ভূমিকা: নিউরাল নেটওয়ার্কগুলির সাথে প্যাটার্ন শ্রেণিবিন্যাসের নমুনা জটিলতা: ওজনের আকার নেটওয়ার্কের আকারের চেয়ে গুরুত্বপূর্ণ (বার্টলেট 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]