একটি মেশিন লার্নিং মডেলের "ক্ষমতা" কী?


15

আমি কার্ল ডোরস্চের ভেরিয়েশনাল অটোনকোডার্সের এই টিউটোরিয়ালটি অধ্যয়ন করছি । দ্বিতীয় পৃষ্ঠায় এটি উল্লেখ করেছে:

এই জাতীয় ফ্রেমওয়ার্কগুলির মধ্যে অন্যতম জনপ্রিয় হ'ল ভেরিয়াল অটোইনকোডার [1, 3], এই টিউটোরিয়ালটির বিষয়। এই মডেলটির অনুমানগুলি দুর্বল, এবং ব্যাকপ্রেগেশন দ্বারা প্রশিক্ষণ দ্রুত fast ভিএইগুলি প্রায় অনুমান করে তবে এই আনুমানিক মাধ্যমে প্রবর্তিত ত্রুটিটি উচ্চ ক্ষমতা সম্পন্ন মডেলগুলির দ্বারা যুক্তিযুক্তভাবে ছোট । এই বৈশিষ্ট্যগুলি তাদের জনপ্রিয়তার দ্রুত বৃদ্ধি করতে অবদান রেখেছে।

আমি অতীতে উচ্চ-ক্ষমতার মডেলগুলি সম্পর্কে এই ধরণের দাবিগুলি পড়েছি , তবে আমি এর কোনও সুস্পষ্ট সংজ্ঞা পাইনি বলে মনে হয়। আমি এই সম্পর্কিত স্ট্যাকওভারফ্লো প্রশ্নটি পেয়েছি তবে আমার কাছে উত্তরটি অত্যন্ত সন্তুষ্ট নয়।

একটি মডেল এর ক্ষমতা জন্য একটি সংজ্ঞা আছে? আপনি এটি পরিমাপ করতে পারেন?

উত্তর:


13

ক্ষমতা একটি অনানুষ্ঠানিক শব্দ। এটি মডেলের জটিলতার জন্য খুব কাছাকাছি (প্রতিশব্দ না হলে)। কোনও মডেল কীভাবে জটিল কোনও প্যাটার্ন বা সম্পর্ক প্রকাশ করতে পারে তা নিয়ে কথা বলার উপায়। আপনি উচ্চ ক্ষমতা সহ একটি মডেল কম ক্ষমতা সহ একটি মডেল তুলনায় আরও ভেরিয়েবলের মধ্যে আরও সম্পর্ক মডেল করতে সক্ষম হতে পারে আশা করতে পারেন।

ক্ষমতার কথাবার্তা সংজ্ঞা থেকে সাদৃশ্য আঁকতে, আপনি এটিকে আরও বেশি করে ডেটা থেকে শেখার কোনও মডেলের দক্ষতা হিসাবে ভাবতে পারেন, যতক্ষণ না এটি সম্পূর্ণ তথ্য দিয়ে পূর্ণ হয়।

সক্ষমতা আনুষ্ঠানিককরণ এবং এর জন্য একটি সংখ্যাসূচক মান গণনা করার বিভিন্ন উপায় রয়েছে, তবে গুরুত্বপূর্ণ বিষয় হ'ল সামর্থ্যের কিছু সম্ভাব্য "অপারেশনালাইজেশন" (প্রায় একইভাবে, কেউ যদি সৌন্দর্যের গণনা করার সূত্র নিয়ে আসে তবে আপনি বুঝতে পারবেন যে সূত্রটি সৌন্দর্যের একমাত্র পতনীয় ব্যাখ্যা)।


ভিসি ডাইমেনশন হ'ল একটি গাণিতিকভাবে শক্তির কঠোর গঠন। যাইহোক, কোনও মডেলের ভিসি মাত্রা এবং ডেটা মাপসই করার মডেলের আসল দক্ষতার মধ্যে একটি বড় ব্যবধান থাকতে পারে। যদিও ভিসি ডিমে জেনে মডেলটির সাধারণীকরণের ত্রুটিটির সীমাবদ্ধতা দেয় তা স্নায়ুবিক নেটওয়ার্কগুলির সাথে দরকারী হিসাবে এটি সাধারণত খুব আলগা।

গবেষণার আরও একটি লাইন দেখুন সক্ষমতা একটি পরিমাপ হিসাবে নিউরাল নেটওয়ার্কে ওজন ম্যাট্রিকের বর্ণালী আদর্শ ব্যবহার করা। এটি বোঝার একটি উপায় হ'ল বর্ণালী আদর্শটি নেটওয়ার্কের লিপসিৎজ ধ্রুবককে সীমাবদ্ধ করে।

কোনও মডেলের দক্ষতা অনুমান করার সর্বাধিক সাধারণ উপায় হ'ল পরামিতিগুলির সংখ্যা গণনা। যত বেশি প্যারামিটার, সাধারণের ক্ষমতা তত বেশি। অবশ্যই, প্রায়শই একটি ছোট নেটওয়ার্ক বৃহত্তর নেটওয়ার্কের চেয়ে আরও জটিল ডেটা মডেল করতে শেখে, তাই এই পরিমাপটিও নিখুঁত।

ক্ষমতা পরিমাপের আরেকটি উপায় হতে পারে আপনার মডেলটিকে এলোমেলো লেবেলগুলির সাথে প্রশিক্ষণ দেওয়া ( নিশাবুর এট। আল ) - যদি আপনার নেটওয়ার্কটি এলোমেলো লেবেলগুলির সাথে সংখ্যার ইনপুটগুলি সঠিকভাবে মনে করতে পারে তবে এটি মূলত দেখায় যে মডেলটি সমস্ত স্মরণ করার ক্ষমতা রাখে ডেটা পৃথকভাবে পয়েন্ট। যত বেশি ইনপুট / আউটপুট জোড়া "শিখতে" পারা যায়, তার ক্ষমতাও তত বেশি।

ε


1
এটি স্ট্যাকওভারফ্লো থেকে উত্তরের চেয়ে ভাল উত্তর, আপনাকে ধন্যবাদ। অন্য কিছুটির ন্যায্যতা হিসাবে স্বল্প সংজ্ঞায়িত শর্তাদি ব্যবহার করতে আমার এখনও কিছুটা সমস্যা আছে তবে আমি অনুমান করি ক্ষেত্রটি কীভাবে এগিয়ে চলেছে।
আন্দ্রেস মারাফিওতি

1
"কোনও মডেলের ভিসি মাত্রা এবং মডেলের প্রকৃত সামর্থ্যের মধ্যে একটি বড় ব্যবধান থাকতে পারে।" এটি একটি অত্যন্ত বিভ্রান্তিমূলক বক্তব্য কারণ "প্রকৃত ক্ষমতা" সুনির্দিষ্টভাবে সংজ্ঞায়িত হয়নি। আসলে, ভিসি ডাইমেনশন একটি মডেলের ক্ষমতার একটি ভাল পরিমাপ। কেবলমাত্র নিউরাল নেটওয়ার্কগুলি কিছু নির্দিষ্ট সমস্যা সমাধান করেছে বলে মনে হয়, এটি তাদের "অত্যন্ত সক্ষম" করে না। প্রকৃতপক্ষে, বেশিরভাগ সময় লোকেরা মনে করে যে নিউরাল নেটওয়ার্কগুলি একটি সমস্যা সমাধান করছে, যখন তারা একটি খুব সরল সমস্যা সমাধান করছে এবং বাস্তবে তারা প্রায়শই বিপর্যয়করভাবে ব্যর্থ হয় (কারণ তারা একটি সহজ সমস্যা সমাধানের জন্য "অপ্রত্যাশিতভাবে" প্রশিক্ষিত হয়েছিল)।
এনবিরো
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.