ডায়াগনস্টিক মেট্রিকের ভিত্তিতে (

Question

আমি আমার মডেলটি ফিট করেছি এবং এটি কোনও ভাল কিনা তা বোঝার চেষ্টা করছি। আমি এটি নির্ধারণের জন্য প্রস্তাবিত মেট্রিকগুলি গণনা করেছি ( $R^2$ / এউসি / যথার্থতা / পূর্বাভাস ত্রুটি / ইত্যাদি) তবে কীভাবে তা ব্যাখ্যা করতে হয় তা জানি না। সংক্ষেপে, আমার মডেলটি মেট্রিকের উপর ভিত্তি করে কোনও ভাল কিনা তা আমি কীভাবে বলব? 0.6 এর একটি $R^2$ কি (উদাহরণস্বরূপ) পর্যাপ্ত বিজ্ঞান / ব্যবসায়িক সিদ্ধান্তের ভিত্তিতে আমাকে আঁকতে বা অগ্রাধিকার দিতে এগিয়ে যাওয়ার পক্ষে যথেষ্ট?

---

এই প্রশ্নটি ইচ্ছাকৃতভাবে বিস্তৃত, সদস্যরা প্রায়শই সম্মুখীন হওয়া বিভিন্ন পরিস্থিতি coverাকতে; এই জাতীয় প্রশ্নগুলির এটির সদৃশ হিসাবে বন্ধ করা যেতে পারে। এখানে উল্লিখিত মেট্রিকগুলির বাইরে সুযোগকে প্রশস্ত করার জন্য সম্পাদনাগুলি স্বাগত, যেমন অতিরিক্ত উত্তরও রয়েছে - বিশেষত যারা অন্যান্য শ্রেণির মেট্রিকের বিষয়ে অন্তর্দৃষ্টি দেয়।

Comments

সম্পর্কিত: আপনার মেশিন শেখার সমস্যাটি হতাশ বলে কীভাবে জানবেন? "আমার কাছে , তার মানে কি আমি আর কোনও উন্নতি করতে পারি না?" $R^2=0.6$

— স্টিফান কোলাসা

বা অন্য কোনও ব্যবহৃত মেট্রিকের জন্য বেস-লাইন ? Going ইতস্তত আর 2 = 0.03 থেকে আর 2 = 0.05 নির্দিষ্ট অ্যাপ্লিকেশনের মধ্যে একটি বিস্ময়কর কর্মক্ষমতা লাফ হতে পারে। ঠিক এটিই সমস্ত যুক্তিসঙ্গত প্রকাশনা কাজ করে। আমাদের একটি প্রস্তাবিত মডেল রয়েছে, আমাদের কাছে বেশ ভাল-স্বীকৃত মেট্রিকের একটি সিরিজ রয়েছে, আমাদের "অত্যাধুনিক রাষ্ট্র" সম্পর্কে জ্ঞান আছে এবং আমরা পারফরম্যান্সের তুলনা করি। আমাদের মডেলটি কোনও ভাল কিনা তা আমরা জানি । $R^2$$R^2 = 0.03$$R^2 = 0.05$

— usεr11852

Answer 1

এই উত্তরটি বেশিরভাগ $R^2$ তে ফোকাস করবে তবে এই যুক্তিটির বেশিরভাগ অংশ অন্যান্য মেট্রিকগুলিতে যেমন এউসি ইত্যাদিতে প্রসারিত।

এই প্রশ্নের প্রায় অবশ্যই আপনার পক্ষে ক্রসভিলেটেড পাঠকদের পক্ষে ভাল উত্তর দেওয়া যাবে না। আর 2 এর মতো মডেল মেট্রিকগুলি ভাল কিনা তা নির্ধারণের কোনও প্রসঙ্গ-মুক্ত উপায় নেই$R^2$ । চূড়ান্তভাবে, সাধারণত বিশেষজ্ঞদের বিভিন্ন ধরণের থেকে sensকমত্য পাওয়া সম্ভব: প্রায় 1 এর একটি $R^2$ সাধারণত একটি ভাল মডেল নির্দেশ করে, এবং 0 এর কাছাকাছি একটি ভয়ানককে নির্দেশ করে। এর মধ্যে একটি পরিসীমা থাকে যেখানে মূল্যায়ন সহজাতভাবে বিষয়গত হয়। এই পরিসীমাটিতে, আপনার মডেল মেট্রিক কোনও ভাল কিনা তা উত্তর দিতে কেবল পরিসংখ্যান বিশেষজ্ঞের চেয়ে বেশি লাগে। এটি আপনার অঞ্চলে অতিরিক্ত দক্ষতা নেয়, যা ক্রসভিলেটেড পাঠক সম্ভবত নেই।

কেন? আমাকে আমার নিজের অভিজ্ঞতা থেকে একটি উদাহরণ দিয়ে চিত্রিত করুন (ছোটখাটো বিশদ বিবরণ পরিবর্তিত হয়েছে)।

আমি মাইক্রোবায়োলজি ল্যাব পরীক্ষাগুলি করতাম। আমি পুষ্টিক ঘনত্বের বিভিন্ন স্তরে কোষগুলির ফ্লাস্ক স্থাপন করব এবং কোষের ঘনত্বের বৃদ্ধি পরিমাপ করব (সময়ের সাথে কোষের ঘনত্বের slাল, যদিও এই বিবরণটি গুরুত্বপূর্ণ নয়)। যখন আমি তারপর এই বৃদ্ধি / পুষ্টির সম্পর্ক অনুকরণে, এটা অর্জন করা খুবই সাধারণ বিষয় ছিল $R^2$ এর 0.90> মান।

আমি এখন পরিবেশ বিজ্ঞানী। আমি প্রকৃতি থেকে পরিমাপযুক্ত ডেটাসেটের সাথে কাজ করি। আমি যদি এই 'ক্ষেত্র' ডেটাসেটগুলিতে উপরে বর্ণিত ঠিক একই মডেলের ফিট করার চেষ্টা করি, আমি $R^2$ 0.4 এর চেয়ে বেশি হলে আমি অবাক হব ।

$R^2$

$R^2$

---

প্রত্যাশাগুলিতে এই বড় পার্থক্যের কারণ কী? প্রসঙ্গ। এই অস্পষ্ট শব্দটি একটি বিস্তৃত অঞ্চলকে কভার করে, সুতরাং আমি এটিকে আরও কিছু নির্দিষ্ট কারণগুলিতে আলাদা করার চেষ্টা করি (এটি সম্ভবত অসম্পূর্ণ):

1. পরিশোধ / ফলাফল / আবেদন কি?

$R^2$

$R^2$পাখির। কয়েক দশক আগে, মার্কিন যুক্তরাষ্ট্রে প্রায় 85% এর যথাযথতা উচ্চ হিসাবে বিবেচিত হত। আজকাল, প্রায় সর্বোচ্চ 99% এর সর্বাধিক নির্ভুলতা অর্জনের মান? সম্ভবত এমন এক বেতন যা প্রতি বছর সম্ভবত 60,000 থেকে সম্ভবত 180,000 ডলার পর্যন্ত সীমাবদ্ধ হতে পারে (কিছু দ্রুত গুগলিংয়ের উপর ভিত্তি করে)। যেহেতু মানুষ এখনও তাদের গতিবেগের মধ্যে সীমাবদ্ধ তাই মেশিন লার্নিং অ্যালগরিদমগুলি একই ধরণের নির্ভুলতা অর্জন করতে পারে তবে দ্রুততর স্থান নির্ধারণের অনুমতি দেয় কয়েক মিলিয়ন এর মূল্য হতে পারে।

(আমি আশা করি আপনি উদাহরণটি উপভোগ করেছেন - বিকল্পটি ছিল সন্ত্রাসীদের খুব প্রশ্নবিদ্ধ অ্যালগরিদমিক সনাক্তকরণ সম্পর্কে হতাশাজনক)

২. আপনার সিস্টেমে অব্যাহত উপাদানগুলির প্রভাব কতটা শক্তিশালী?

$R^2$

৩. আপনার পরিমাপ কতটা নির্ভুল এবং সঠিক?

$R^2$

4. মডেল জটিলতা এবং সাধারণীকরণ

$R^2$$R^2$

$R^2$$R^2$

আইএমও, ওভারফিট করা অনেক ক্ষেত্রে আশ্চর্যরকম সাধারণ। এটি এড়ানোর জন্য কীভাবে সেরা তা জটিল বিষয় এবং আমি যদি আপনার আগ্রহী হয় তবে এই সাইটে নিয়মিতকরণ পদ্ধতি এবং মডেল নির্বাচন সম্পর্কে পড়ার পরামর্শ দিই ।

৫. ডেটা পরিসীমা এবং এক্সট্রাপোলেশন

$R^2$

এগুলি বাদ দিয়ে, যদি আপনি কোনও ডেটাসেটের সাথে একটি মডেল ফিট করেন এবং সেই ডেটাসেটের (যেমন এক্সট্রোপোলেট ) এক্স এক্সের বাইরে কোনও মান পূর্বাভাসের প্রয়োজন হয় তবে আপনি দেখতে পাচ্ছেন যে এর পারফরম্যান্সটি আপনার প্রত্যাশার চেয়ে কম। এটি কারণ আপনি যে সম্পর্কটি অনুমান করেছেন তা আপনার মাপসই করা ডেটা সীমার বাইরেও পরিবর্তিত হতে পারে। নীচের চিত্রটিতে, আপনি যদি কেবল সবুজ বাক্সের দ্বারা নির্দেশিত পরিসীমা পরিমাপ করেন তবে আপনি কল্পনা করতে পারেন যে একটি সরল রেখা (লাল রঙে) তথ্যটি ভালভাবে বর্ণনা করেছে। তবে আপনি যদি সেই লাল রেখার সাথে এই সীমার বাইরে কোনও মানের পূর্বাভাস দেওয়ার চেষ্টা করেন তবে আপনি বেশ ভুল হয়ে যাবেন।

[চিত্র তার সম্পাদিত সংস্করণ এই এক , 'Monod বক্ররেখা' এর জন্য একটি দ্রুত Google অনুসন্ধান মাধ্যমে পাওয়া যায় নি।]

Met. মেট্রিকগুলি আপনাকে ছবির একটি অংশ দেয়

এটি আসলে মেট্রিকগুলির সমালোচনা নয় - এগুলি সংক্ষিপ্তসার , যার অর্থ তারা ডিজাইন করেও তথ্য ফেলে দেয় away তবে এর অর্থ এই যে যে কোনও একক মেট্রিক এমন তথ্য ছেড়ে যায় যা এর ব্যাখ্যার পক্ষে গুরুত্বপূর্ণ হতে পারে। একটি ভাল বিশ্লেষণ একক মেট্রিকের চেয়ে বেশি বিবেচনায় নেয়।

---

পরামর্শ, সংশোধন এবং অন্যান্য প্রতিক্রিয়া স্বাগত। এবং অন্যান্য উত্তরগুলিও অবশ্যই।

Comments

$R^2$$R^2$

@ লুইয়ান প্রতিক্রিয়াটির জন্য আপনাকে ধন্যবাদ। আমি ভেবেছিলাম আমার 2 এবং 3 পয়েন্টগুলিতে এটি আবৃত ছিল তবে আমি দেখতে পাচ্ছি যে এটি আরও উন্নত করা যেতে পারে। আমি কীভাবে আরও স্পষ্টভাবে এই পয়েন্টটি তৈরি করব সে সম্পর্কে আমি চিন্তা করব।

— এমকেটি - মনিকা

হ্যাঁ, আমি ইতিমধ্যে এটি কভার করা হয়েছে কিনা তা নিয়ে ভেবেছিলাম। 2 এবং 3 এর সাথে জিনিসটি হ'ল তারা কেন সুনির্দিষ্ট কারণ দেয় যে এটি ঘটতে পারে তবে এটি একটি সাধারণ সমস্যা।

— লুইয়ান

@ লুইয়ান সম্মত, আমি কিছু চিন্তাভাবনা করব।

— এমকেটি - মনিকা

Answer 2

মডেলগুলি কতটা বৃষ্টিপাত এবং জলবায়ু সম্পর্কিত তথ্য থেকে প্রবাহের পূর্বাভাস দেয় তা নির্ধারণ করে যখন এই সমস্যাটি জলবিদ্যার ক্ষেত্রে আমার ক্ষেত্রে আসে। কিছু গবেষক ( চিউ এবং ম্যাকমাহন, 1993 ) 93 টি হাইড্রোলজিস্টকে সমীক্ষা করেছিলেন, (63 জন প্রতিক্রিয়া জানিয়েছিলেন) তারা কীভাবে ডায়াগনস্টিক প্লট ব্যবহার করেছেন এবং ফিটের পরিসংখ্যানগুলির সদৃশতাগুলি সবচেয়ে গুরুত্বপূর্ণ, কোনটি মডেল ফিটের গুণমানকে শ্রেণিবদ্ধ করার জন্য ব্যবহার করা হয়েছিল? । ফলাফলগুলি এখনই তারিখযুক্ত তবে এ পদ্ধতিটি এখনও আগ্রহী হতে পারে। তারা বিভিন্ন গুণাবলীর সাথে মডেল ফিটগুলির ফলাফল উপস্থাপন করে এবং হাইড্রোলজিস্টদের 4 টি বিভাগে শ্রেণিবদ্ধ করার জন্য বলেছিলেন (1) পুরোপুরি গ্রহণযোগ্য ফলাফল; (২) গ্রহণযোগ্য তবে সংরক্ষণের সাথে ব্যবহার; (৩) অগ্রহণযোগ্য, অন্য কোনও বিকল্প না থাকলে কেবল ব্যবহার করুন; এবং (4) কোনও অবস্থাতে কখনও ব্যবহার করবেন না।

সর্বাধিক গুরুত্বপূর্ণ ডায়াগনস্টিক গ্রাফগুলি টাইমসরিজ প্লট এবং ক্রমাঙ্কণের জন্য ব্যবহৃত ডেটা থেকে সিমুলেটেড এবং রেকর্ড করা প্রবাহের স্ক্যাটার প্লট ছিল। আর-স্কোয়ার্ড এবং ন্যাশ-সুতক্লিফ মডেল দক্ষতার সহগ (ই) হ'ল ফিট পরিসংখ্যানগুলির অনুকূল উপকার। উদাহরণস্বরূপ, ফলাফলগুলি = = 0.8 হলে গ্রহণযোগ্য বলে বিবেচিত হত

সাহিত্যের অন্যান্য উদাহরণও রয়েছে। উত্তর সাগরের কোনও বাস্তুতন্ত্রের মডেলটি মূল্যায়ন করার সময়, নীচের শ্রেণিবদ্ধকরণটি E> 0.65 এক্সেলড, 0.5 থেকে 0.65 খুব ভাল, 0.2 থেকে 0.5 ভাল এবং <0.2 দরিদ্র ( অ্যালেন এট আল।, 2007 ) ব্যবহার করা হয়েছিল।

মরিয়াসি এট আল।, (2015) বিভিন্ন ধরণের মডেলের জন্য মেট্রিকের জন্য গ্রহণযোগ্য মানের সারণী সরবরাহ করে।

আমি একটি ব্লগ পোস্টে এই তথ্য এবং রেফারেন্স সংক্ষিপ্ত করেছি ।

অ্যালেন, জে।, পি। সোমারফিল্ড এবং এফ। গিলবার্ট (২০০)), উচ্চ-রেজোলিউশনের সমন্বিত হাইড্রোডাইনামিক ‐ বাস্তুতন্ত্রের মডেলগুলিতে জেন্ডার মার্ট সিস্টেস্ট, (৪ (1–4), 3–14, দোই: 10.1016 /j.jmarsys.2006.02.010।

মরিয়াসি, ডি, গিটাউ, এম পাই, এন এবং দাগগুপতি, পি। (২০১৫) হাইড্রোলজিক এবং জলের গুণমানের মডেলগুলি: এএসএবিএর কর্মক্ষমতা ব্যবস্থা এবং মূল্যায়ন মানদণ্ড লেনদেন (আমেরিকান সোসাইটি অব এগ্রিকালচারাল অ্যান্ড বায়োলজিকাল ইঞ্জিনিয়ার্স) ৫৮ ()): 1763-1785

Answer 3

উপরের দুর্দান্ত উত্তরগুলিতে কেবল যোগ করার জন্য - আমার অভিজ্ঞতা অনুসারে মূল্যায়ন মেট্রিক্স এবং ডায়াগনস্টিক সরঞ্জামগুলি যে ব্যক্তি তাদের ব্যবহার করছে ততই ভাল এবং সৎ। এটি হ'ল যদি আপনি তাদের পিছনে গণিতটি বুঝতে পারেন তবে আপনার মডেলটির প্রকৃত ইউটিলিটিটি না বাড়িয়ে আরও ভাল প্রদর্শিত করতে আপনি সম্ভবত কৃত্রিমভাবে তাদের বাড়িয়ে তুলতে পারেন।

$R^2=0.03 \to R^2 = 0.05$

উপরের ব্যাখ্যাগুলি / রেফারেন্স সরবরাহ করার জন্য একটি দুর্দান্ত কাজ করার পরে আমি এই উত্তরটি সংক্ষিপ্ত রাখব। আমি কেবল on. বিভাগে কিছু দৃষ্টিভঙ্গি যুক্ত করতে চেয়েছিলাম মেট্রিকগুলি আপনাকে এম কেটি এর উত্তর দিয়ে ছবিটির একটি অংশ দেয়।

আশাকরি এটা সাহায্য করবে.