প্রশিক্ষণ এবং পরীক্ষার সেট ব্যবহার করে কোনও রিগ্রেশন মডেলের পারফরম্যান্স মূল্যায়ন করা?

আমি প্রায়শই পরীক্ষার সেটটি ধরে রেখে একটি শ্রেণিবদ্ধকরণ মডেলের কর্মক্ষমতা মূল্যায়ন এবং প্রশিক্ষণ সংস্থায় একটি মডেলকে প্রশিক্ষণের মাধ্যমে শুনতে পাই। তারপরে 2 টি ভেক্টর তৈরি করুন, একটি পূর্বাভাসিত মানগুলির জন্য এবং একটি সত্য মানের জন্য। স্পষ্টতই তুলনা করা একজনকে এফ-স্কোর, কাপা স্ট্যাটিস্টিক, যথার্থতা এবং পুনর্বিবেচনা, আরওসি বক্রিয়া ইত্যাদির মতো জিনিসগুলি ব্যবহার করে তার ভবিষ্যদ্বাণীমূলক শক্তি দ্বারা মডেলটির পারফরম্যান্সের বিচার করতে দেয় allows

এটি রিগ্রেশন জাতীয় সংখ্যার ভবিষ্যদ্বাণী মূল্যায়নের সাথে কীভাবে তুলনা করে? আমি ধরে নেব যে আপনি প্রশিক্ষণ সংস্থায় রিগ্রেশন মডেলটিকে প্রশিক্ষণ দিতে পারেন, মানগুলির পূর্বাভাস দেওয়ার জন্য এটি ব্যবহার করতে পারেন, তারপরে এই পূর্বাভাসিত মানগুলি পরীক্ষার সেটে বসে থাকা সত্য মানের সাথে তুলনা করুন। স্পষ্টতই পারফরম্যান্সের পদক্ষেপগুলি আলাদা হতে হবে কারণ এটি কোনও শ্রেণিবদ্ধকরণ কাজ নয়। সাধারণ অবশিষ্টাংশ এবং পরিসংখ্যানগুলি সুস্পষ্ট ব্যবস্থা তবে রিগ্রেশন মডেলগুলির পারফরম্যান্স মূল্যায়নের আরও / আরও ভাল উপায় আছে কি? দেখে মনে হচ্ছে শ্রেণিবিন্যাসে অনেকগুলি বিকল্প রয়েছে তবে রিগ্রেশনটি এবং অবশিষ্টাংশে রেখে গেছে । $R^2$ $R^2$

regression machine-learning model-evaluation

— StatTime
সূত্র

আপনি ঠিক কোন প্রশ্ন জিজ্ঞাসা করছেন তা আমি নিশ্চিত নই তবে অবিচ্ছিন্ন আউটপুট সহ একটি রিগ্রেশন মডেলের জন্য একটি স্পষ্ট ত্রুটি মেট্রিক মানে মডেল আউটপুট এবং ফলাফলের ভেরিয়েবলের মধ্যে বর্গ ত্রুটি (এমএসই)।

— বিগ্রিন

সুতরাং প্রকৃত এবং পূর্বাভাসের মধ্যে কেবল একটি ত্রুটি পরিমাপ।

— স্ট্যাটটাইম

হ্যাঁ, প্রশিক্ষণ সেটটিতে অনুকূলিত এবং পরীক্ষার সেটটি ব্যবহার করে যাচাই করা হয়েছে।

— বিগ্রিন

যেমনটি বলা হয়েছে, সাধারণত, মীন স্কোয়ার্ড ত্রুটি ব্যবহৃত হয়। আপনি আপনার প্রশিক্ষণ সেটের উপর ভিত্তি করে আপনার রিগ্রেশন মডেলটি গণনা করেন এবং পরীক্ষা সেট (y) এবং আউটপুট প্রদত্ত ফলাফলের মধ্যে এমএসই গণনা করে একটি পৃথক পরীক্ষা সেট (ইনপুট এক্স এবং ज्ञিত পূর্বাভাস আউটপুট y) ব্যবহার করে এর কার্যকারিতাটি মূল্যায়ন করেন একই প্রদত্ত ইনপুট (এক্স) এর জন্য মডেল (এফ (এক্স)) দ্বারা।

বিকল্পভাবে আপনি নিম্নলিখিত মেট্রিকগুলি ব্যবহার করতে পারেন: রুট মানে স্কোয়ার্ড ত্রুটি, তুলনামূলক স্কোয়ার ত্রুটি, অর্থ নিখুঁত ত্রুটি, আপেক্ষিক পরম ত্রুটি ... (সংজ্ঞার জন্য গুগলকে জিজ্ঞাসা করুন)

— মেরিমা কুলিন
সূত্র

ভাল উত্তর. এগুলি সমস্ত বিতরণের দ্বিতীয় মুহুর্তের সাথে সম্পর্কিত। আপনি পক্ষপাত নির্মূল করার চেষ্টা করছেন বা আপনি যে কোনও সংমিশ্রণ চান তা ব্যবহার করতে পারলে আপনি পার্থক্যের যোগফলও দেখতে পারেন। উদাহরণস্বরূপ, যেখানে প্রতিটি এবং স্কোরিং পদ্ধতির জন্য ও এবং বি বেছে নেওয়া হয়। সত্যিই এটি আপনার নির্দিষ্ট সমস্যার জন্য কী কারণগুলি গুরুত্বপূর্ণ তার উপর নির্ভর করবে।

e r r = A \sum (x - x_{i}) + B \sum (x - x_{i})^{2}

$err = A\sum (x - x_i) + B\sum (x - x_i)^2$

— গ্রেগ পিটারসন