নিরীক্ষণযোগ্য শেখার মূল্যায়ন করার জন্য পারফরম্যান্স মেট্রিক্স


49

আনসারভিজড লার্নিং (যেমন ক্লাস্টারিং) এর প্রতি শ্রদ্ধা রেখে, পারফরম্যান্স মূল্যায়নের জন্য কি কোনও মেট্রিক রয়েছে?



4
আমি মনে করি যে এই প্রশ্নটি আরও সাধারণ, তাই আমি এই খোলা ছেড়ে ভোট দিচ্ছি।
পিটার ফ্লুম - মনিকা পুনরায়

আপনার কাছে আমার একই প্রশ্ন ছিল এবং আমার কাছে কিছু (এখনও পুরোপুরি পড়া হয়নি) উল্লেখগুলি প্রাসঙ্গিক: ক্লাস্টার বৈধকরণের জন্য অভ্যন্তরীণ বৈধতা পরিমাপের সমীক্ষা এল। জেগাথা দেবোরাহ, আর.বাশকারান, এ.কানান এবং ক্লাস্টারের বৈধতা পরিমাপ কৌশলগুলি ফেরেঙ্ক কোভ্যাকস, সিসাবা লেগেনি, আটিলা
বাবস

উত্তর:


44

কিছুটা অর্থে আমি মনে করি এই প্রশ্নটি অযোগ্য ছিল না। আমি এটি বলছি কারণ একটি নির্দিষ্ট অকার্যকর পদ্ধতির কতটা ভাল পারফর্মেন্স মূলত নির্ভর করবে যে কোনও ব্যক্তি প্রথম স্থানে নিরীক্ষণরত শিক্ষণ কেন করছে, অর্থাত্, পদ্ধতিটি কী আপনার শেষ লক্ষ্যটির প্রেক্ষাপটে ভাল সম্পাদন করে? স্পষ্টতই এটি পুরোপুরি সত্য নয়, লোকজন এই সমস্যাগুলিতে কাজ করে এবং ফলাফলগুলি প্রকাশ করে যার মধ্যে একরকম মূল্যায়ন অন্তর্ভুক্ত থাকে। আমি নীচের সাথে পরিচিত কিছু পদ্ধতির রূপরেখা করব।

ক্লাস্টারিংয়ের জন্য একটি ভাল সংস্থান (রেফারেন্স সহ) হ'ল স্ক্লার্নের ডকুমেন্টেশন পৃষ্ঠা, ক্লাস্টারিং পারফরম্যান্স মূল্যায়ন । এটি বেশ কয়েকটি পদ্ধতি কভার করে, তবে একটি ব্যতীত সিলুয়েট কোপিটিস, ধরে নিচ্ছে গ্রাউন্ড ট্রুথ লেবেল উপলব্ধ। এই পদ্ধতিটি ক্লাস্টারিংয়ের মূল্যায়ন পরিমাপ প্রশ্নের ক্ষেত্রেও উল্লেখ করা হয়েছে , এই প্রশ্নের মন্তব্যে লিঙ্কযুক্ত।

যদি আপনার অকার্যকর শেখার পদ্ধতিটি সম্ভাব্য হয় তবে অন্য বিকল্পটি হ'ল আউট ডেটাতে কিছু সম্ভাবনা পরিমাপ (লগ-সম্ভাবনা, বিস্মিত হওয়া ইত্যাদি) মূল্যায়ন করা। এখানে অনুপ্রেরণা হ'ল যদি আপনার অকার্যকর শেখার পদ্ধতি যদি প্যারামিটারগুলির সাথে ফিট করার জন্য ব্যবহৃত হয়নি এমন একই ডেটাতে উচ্চ সম্ভাবনা নির্ধারণ করে, তবে সম্ভবত এটি সুদের বিতরণ ক্যাপচারের জন্য একটি ভাল কাজ করেছে। একটি ডোমেন যেখানে এই ধরণের মূল্যায়ন সাধারণত ব্যবহৃত হয় তা হল ভাষা মডেলিং।

শেষ বিকল্পটি আমি উল্লেখ করব এটি সম্পর্কিত সহায়ক টাস্কে তত্ত্বাবধানে থাকা শিক্ষানবিশকে ব্যবহার করা। যদি আপনি অকার্যকর পদ্ধতিতে সুপ্ত ভেরিয়েবল উত্পাদন করে তবে আপনি এই সুপ্ত পরিবর্তনশীলগুলিকে ইনপুটটির প্রতিনিধিত্ব হিসাবে ভাবতে পারেন। সুতরাং, এই তাত্পর্যপূর্ণ ভেরিয়েবলগুলি কোনও তত্ত্বাবধানে শ্রেণিবদ্ধের জন্য ইনপুট হিসাবে ব্যবহার করা ডোমেন সম্পর্কিত ডেটা সম্পর্কিত কোনও কাজ সম্পাদন করা বুদ্ধিমান। তদারকি করা পদ্ধতির কর্মক্ষমতা তখন নিরীক্ষণবিহীন শিক্ষার্থীর কর্মক্ষমতা জন্য সার্গেট হিসাবে কাজ করতে পারে। উপস্থাপনা শেখার ক্ষেত্রে আপনি বেশিরভাগ কাজের ক্ষেত্রে এটিই মূলত সেটআপ।

এই বিবরণটি সম্ভবত কিছুটা নেবুলাস, সুতরাং আমি একটি দৃ concrete় উদাহরণ দেব। শব্দ উপস্থাপনা শেখার প্রায় সমস্ত কাজ মূল্যায়নের জন্য নিম্নলিখিত পদ্ধতির ব্যবহার করে:

  1. একটি নিরীক্ষণযোগ্য শিখর ব্যবহার করে শব্দের উপস্থাপনা শিখুন।
  2. স্পিচ ট্যাগিংয়ের অংশ বা নামযুক্ত সত্তার স্বীকৃতি হিসাবে কিছু এনএলপি টাস্ক সম্পাদন করা তত্ত্বাবধানে থাকা শিক্ষানবিশকে ইনপুট হিসাবে শিখানো প্রতিনিধিত্বগুলি ব্যবহার করুন।
  3. ইনপুট হিসাবে বাইনারি শব্দের উপস্থিতি বৈশিষ্ট্যগুলির মতো বাইনারি শব্দের উপস্থিতি বৈশিষ্ট্যগুলির মতো একটি বেসলাইন হিসাবে তুলনা করা তত্ত্বাবধানকৃত শিক্ষানবিশ এর কার্যকারিতা উন্নত করার দক্ষতার দ্বারা নিরীক্ষণপ্রাপ্ত শিক্ষার্থীর কর্মক্ষমতা মূল্যায়ন করুন।

কর্মের এই পদ্ধতির উদাহরণের জন্য দাহাল এট আল দ্বারা ওয়ার্ড পর্যবেক্ষণে ট্রেনিং সীমাবদ্ধ বল্টজম্যান মেশিনগুলি কাগজটি দেখুন ।


11
+1 "করতে কত ভাল একটি নির্দিষ্ট তত্ত্বাবধান ছাড়াই পদ্ধতি সঞ্চালিত মূলত উপর নির্ভর করবে কেন এক প্রথম স্থানে তত্ত্বাবধান ছাড়াই লার্নিং করছে " এটি আপ প্রায় কাছাকাছি অঙ্কের। এমন কোনও ম্যাজিক নম্বর খুঁজতে যাবেন না যা আপনি কোনওভাবে বাস্তবে ফলাফলটির ব্যাখ্যা না দিয়ে কোনও প্রদত্ত ফলাফলকে ন্যায়সঙ্গত করতে ব্যবহার করতে পারেন ।
মার্ক Claesen

1
আমি আরও যোগ করব যে একটি নিরীক্ষণ পদ্ধতির কতটা ভাল কাজ করে তার প্রক্সি হিসাবে তত্ত্বাবধানের পদ্ধতির ব্যবহার করে নতুন বৈশিষ্ট্যগুলির আবিষ্কারের প্রয়োজন হয় না। উদাহরণস্বরূপ, ক্লাস্টারিং নতুন বৈশিষ্ট্যগুলি শিখতে পারে না, তবুও ক্লাস্টারিং প্রায়শই তত্ত্বাবধানে থাকা শিক্ষার্থীর ভবিষ্যদ্বাণী নির্ভুলতার উন্নতি করতে ব্যবহৃত হয়, কেন এটি এমন হতে পারে তা ব্যাখ্যা করার অতিরিক্ত সুবিধা সহ। উদাহরণস্বরূপ, কে-মানে ক্লাস্টারিং কে পূর্বাভাস তৈরি করতে পারে যা প্রতিটি আবিষ্কারকৃত কাঠামো এবং ক্লাস্টারিং থেকে সংকোচনের মাধ্যমে উন্নত হয়। Ttic.uchicago.edu/~shubhendu/Papers/clustering_bagging.pdf
সাইবারনেটিক
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.