আমার ক্রমাঙ্কন পরিমাপ করার জন্য আমি কীভাবে সেরা মেট্রিক চয়ন করব?


10

আমি পরীক্ষা চালিত উন্নয়ন করি এবং করি। আমি আমার কোড পরিবর্তন করার পরে আমি আমার পরীক্ষাগুলি চালাচ্ছি। কখনও তারা সফল হয় এবং কখনও কখনও তারা ব্যর্থ হয়। আমি পরীক্ষা চালানোর আগে আমার বিশ্বাসযোগ্যতার জন্য 0.01 থেকে 0.99 পর্যন্ত একটি সংখ্যা লিখে রাখি যে পরীক্ষাটি সফল হবে।

আমি জানতে চাই যে আমার পরীক্ষায় সফলতা আসবে বা ব্যর্থ হবে কিনা তা ভবিষ্যদ্বাণীতে আমি উন্নতি করছি কিনা। সোমবারে বা শুক্রবার পরীক্ষাটি সফল হবে কিনা তা ভবিষ্যদ্বাণী করার চেয়ে আমি আরও ভাল কিনা তা যদি আমি জানতে পারি তবে এটিও ভাল লাগবে। আমার পরীক্ষার সাফল্যের পূর্বাভাস দেওয়ার ক্ষমতাটি যদি আমি ট্র্যাক করি এমন অন্য মেট্রিকগুলির সাথে মিলে যায় তবে আমি জানতে চাই।

এটি আমাকে সঠিক মেট্রিক চয়ন করার কাজ করে ফেলেছে। সুপারফোরকাস্টিংয়ে ফিলিপ টেটলক বিশেষজ্ঞরা কতটা ভালভাবে ক্যালিব্রেট হন তা পরিমাপ করার জন্য ব্রায়ার স্কোরটি ব্যবহার করার প্রস্তাব দেয় । সাহিত্যে প্রস্তাবিত আরেকটি মেট্রিক হ'ল লোগারিদমিক স্কোরিং নিয়ম । অন্যান্য সম্ভাব্য প্রার্থীও রয়েছেন।

কোন মেট্রিক ব্যবহার করব তা আমি কীভাবে সিদ্ধান্ত নেব? অন্যের উপর একটি স্কোরিং রুলের পক্ষে দেওয়ার পক্ষে যুক্তি আছে কি?


1
আপনার পূর্বাভাস দক্ষতার পরিবর্তনগুলি পরিমাপে অসুবিধার সম্ভাব্য উত্স হ'ল পূর্বাভাসের সমস্যার অন্তর্নিহিত অসুবিধা পরিবর্তন করতে পারে। আপনার দক্ষতার পরিবর্তনগুলি সমস্যার অসুবিধার পরিবর্তনগুলি থেকে পৃথক হতে পারে।
ম্যাথু গন

উত্তর:


1

আমি ধরে নিই যে আপনি আপনার কোডের জন্য ইউনিট-পরীক্ষা করছেন।

একটি ধারণা যা আমি ভাবতে পারি, যা সম্ভবত আপনি যা চান ঠিক তা করতে পারে না, এটি একটি লিনিয়ার মডেল ব্যবহার করা।

এটি করার সুবিধাটি হ'ল আপনি বিশ্লেষণে অন্তর্ভুক্ত করতে পারেন এমন আরও কিছু ভেরিয়েবল তৈরি করতে পারেন।

ধরা যাক যে আপনার কাছে একটি ভেক্টর রয়েছে যা আপনার পরীক্ষার ফলাফলগুলি অন্তর্ভুক্ত করে এবং অন্য ভেক্টর এক্স এর সাথে আপনার ফলাফলের পূর্বাভাসও অন্তর্ভুক্ত রয়েছে।ওয়াইএক্স

এখন আপনি কেবল লিনিয়ার মডেল ফিট করতে পারেন

Yআমি=একটি+ +এক্সআমি+ +ε

এবং এর মান খুঁজে , উচ্চ মান ইঙ্গিত করে যে আপনার ভবিষ্যৎবাণী ভাল হয়ে উঠছে।

এই পদ্ধতিরটিকে সুন্দর করে তোলে সেই জিনিসটি এখন আপনি আরও ভাল ভেরিয়েবল যুক্ত করতে শুরু করতে পারেন এটি আরও ভাল মডেল তৈরি করে কিনা এবং সেই পরিবর্তনগুলি আরও ভাল ভবিষ্যদ্বাণী করতে সহায়তা করতে পারে। ভেরিয়েবলগুলি সপ্তাহের দিনের জন্য একটি সূচক হতে পারে, উদাহরণস্বরূপ সোমবারের জন্য এটি সর্বদা 1 হবে এবং অন্য সমস্ত দিনের জন্য শূন্য হবে। আপনি যদি সেই পরিবর্তনশীলটিকে মডেলটিতে অন্তর্ভুক্ত করেন তবে আপনি পাবেন:

Yআমি=একটি+ +একটিসোমবার+ +এক্সআমি+ +ε

যদি পরিবর্তনশীল উল্লেখযোগ্য ও ইতিবাচক হয়, তাহলে এটা মানে হতে পারে যে আপনার সোমবার আপনার ভবিষ্যৎবাণী আরও রক্ষণশীল হয়।একটিসোমবার

আপনি যে কার্য সম্পাদন করেছেন তার অসুবিধার মূল্যায়ন করতে আপনি যেখানে একটি স্কোর দেন সেখানে একটি নতুন পরিবর্তনশীলও তৈরি করতে পারেন। যদি আপনার ভার্সন নিয়ন্ত্রণ থাকে, তবে আপনি উদাহরণস্বরূপ কোডের লাইন সংখ্যাটি অসুবিধা হিসাবে ব্যবহার করতে পারেন, আপনি যত বেশি কোড লিখবেন তত বেশি কিছু ভেঙে যাওয়ার সম্ভাবনা রয়েছে।

অন্যান্য ভেরিয়েবলগুলি হতে পারে, সেদিন কফি কাপের সংখ্যা, আসন্ন সময়সীমার জন্য সূচক, যার অর্থ স্টাফগুলি শেষ করার আরও চাপ আছে ইত্যাদি etc.

আপনার পূর্বাভাস আরও ভাল হচ্ছে কিনা তা দেখতে আপনি একটি সময় পরিবর্তনশীলও ব্যবহার করতে পারেন। এছাড়াও, আপনি কতক্ষণ টাস্কে ব্যয় করেছেন, বা আপনি এটিতে কতগুলি সেশন ব্যয় করেছেন, আপনি কোনও দ্রুত সমাধান করছেন কিনা এবং তা ঝিমঝিম ইত্যাদি be

শেষ পর্যন্ত আপনার কাছে একটি পূর্বাভাস মডেল রয়েছে, যেখানে আপনি সাফল্যের সম্ভাবনা পূর্বাভাস দেওয়ার চেষ্টা করতে পারেন। আপনি যদি এটি তৈরি করতে পরিচালনা করেন তবে আপনার নিজের ভবিষ্যদ্বাণীগুলিও তৈরি করতে হবে না, আপনি কেবল সমস্ত ভেরিয়েবল ব্যবহার করতে পারেন এবং জিনিসগুলি কার্যকর হবে কিনা সে সম্পর্কে খুব ভাল অনুমান করতে পারেন।

জিনিসটি হ'ল আপনি কেবল একটি একক সংখ্যা চেয়েছিলেন। সেক্ষেত্রে আপনি শুরুতে উপস্থাপন করা সহজ মডেলটি ব্যবহার করতে পারেন এবং কেবল slাল ব্যবহার করতে পারেন এবং প্রতিটি সময়ের জন্য গণনাগুলি আবারও করতে পারেন, তবে সময়ের সাথে সাথে এই স্কোরের কোনও প্রবণতা আছে কিনা তা আপনি দেখতে পারেন।

আশাকরি এটা সাহায্য করবে.


1
ওয়াইএক্সএকটিএকটি

@ আইডাব্লুএস ইনপুটটির জন্য আপনাকে ধন্যবাদ, আমি আপনার সাথে তার সাথে একমত হই যে আপনি নিজের পারফরম্যান্সটি অনুমান করার জন্য একটি একক মান চান, তারপরে ইন্টারসেপ্ট বাদ দেওয়া ভাল ধারণা। আপনি যদি আরও কোনও উপাত্তকে ব্যাখ্যা করার চেষ্টা করতে চান, (এবং আপনার কাছে এটি যথেষ্ট পরিমাণে রয়েছে), তবে ইন্টারসেপ্ট যুক্ত করা এবং মডেলগুলির তুলনা করা ভাল ধারণা হতে পারে।
গুমেও

1

যদিও এটি কোনও উত্তর এবং একটি রেফারেন্সের থেকে অনেক দূরে, স্টিয়ারবার্গ ই - এপিডেমিওলজি 2012 পরীক্ষা করা ভাল ধারণা হতে পারে ।

এই নিবন্ধে স্টিয়েরবার্গ এবং সহকর্মীরা বাইনারি ফলাফলগুলি (সফলতা বা ব্যর্থতা) সহ মডেলগুলির জন্য পূর্বাভাস মডেল কর্মক্ষমতা চেক করার বিভিন্ন উপায় ব্যাখ্যা করেছেন। ক্রমাঙ্কন এই ব্যবস্থাগুলির মধ্যে একটি মাত্র। আপনি একটি সঠিক সম্ভাবনা , সঠিক শ্রেণিবিন্যাস বা সঠিক পুনঃনির্ধারণ করতে চান কিনা তার উপর নির্ভর করে আপনি মডেল পারফরম্যান্সের বিভিন্ন পদক্ষেপগুলি ব্যবহার করতে চাইতে পারেন। যদিও এই পান্ডুলিপিটি বায়োমেডিকাল গবেষণায় মডেলগুলি ব্যবহার করা নিয়ে উদ্বেগ প্রকাশ করেছে বলে আমি মনে করি তারা অন্যান্য পরিস্থিতিতেও (আপনার) প্রযোজ্য হতে পারে।

আপনার পরিস্থিতির সাথে আরও সুনির্দিষ্ট, ক্রমাঙ্কন মেট্রিকগুলি ব্যাখ্যা করা সত্যিই কঠিন কারণ তারা সম্ভাব্য পূর্বাভাসের পুরো পরিসীমাটির উপরে ক্রমাঙ্কনটি সংক্ষিপ্ত করে (অর্থাত্ গড়)। ফলস্বরূপ, আপনার একটি ভাল ক্রমাঙ্কন সংক্ষিপ্ত স্কোর থাকতে পারে, যখন আপনার পূর্বাভাসগুলি ভবিষ্যদ্বাণী করা সম্ভাবনার একটি গুরুত্বপূর্ণ পরিসরে বন্ধ ছিল (উদাহরণস্বরূপ আপনার কম (= ভাল) বারি স্কোর থাকতে পারে, যখন সাফল্যের পূর্বাভাস একটি নির্দিষ্ট বা উপরে বা নীচে থাকে পূর্বাভাস সম্ভাব্যতা) বা তদ্বিপরীত (একটি খারাপ সংক্ষিপ্ত স্কোর, যখন সমালোচনামূলক অঞ্চলে পূর্বাভাসগুলি ভালভাবে ক্যালিব্রেটেড হয়)। অতএব, ভবিষ্যদ্বাণী করা সাফল্যের সম্ভাব্যতার এই জাতীয় পরিসীমা আপনার ক্ষেত্রে বিদ্যমান কিনা তা নিয়ে আপনাকে ভাবতে পরামর্শ দিন would যদি তা হয় তবে যথাযথ ব্যবস্থা গ্রহণ করুন (যেমন পুনঃনির্মাণ সূচকগুলি)। যদি না হয় (অর্থাত্ আপনি সামগ্রিক ক্রমাঙ্কনের বিষয়ে আগ্রহী), বারি ব্যবহার করুন,

উপসংহারে, ক্রমাঙ্কন সংক্ষিপ্তসারগুলির যে কোনও একটিতে আপনার পূর্বাভাসপ্রাপ্ত সম্ভাব্যতা বনাম পর্যবেক্ষণের সম্ভাব্যতা (উদাহরণস্বরূপ আউটলারের উত্তর দেখুন কীভাবে) প্লট করার জন্য আপনার প্রথম পদক্ষেপের প্রয়োজন। এর পরে, সারাংশের পরিমাপটি গণনা করা যায়, তবে সংক্ষিপ্তসার পরিমাপের পছন্দটি প্রথম স্থানে ব্যর্থতার সাফল্যের পূর্বাভাস দেওয়ার লক্ষ্যকে প্রতিফলিত করে।


0

আমি স্পার্স ডেটা সম্পর্কে পূর্বাভাস মডেলটি করেছি এবং এই ক্ষেত্রে আপনার মডেলটি ক্রমাঙ্কিত করা একটি বড় চ্যালেঞ্জ। আমি আপনাকে যা করব তা বলব, আপনি সেখান থেকে কিছুটা সহায়তা পেতে পারেন।

আমি পূর্বাভাসযুক্ত সম্ভাবনার 20 টি বাইন তৈরি করেছি এবং সাফল্যের গড় পূর্বাভাস এবং আসল সম্ভাবনার প্লট করার চেষ্টা করেছি। গড় পূর্বাভাসের সম্ভাবনার জন্য, আমি বিন পরিসরের গড় নিয়েছি। গড় প্রকৃত সম্ভাব্যতার জন্য, আমি বিনের মধ্যে প্রকৃত সাফল্য এবং ব্যর্থতার গণনা গণনা করেছি, যেখান থেকে আমি বিনটিতে সাফল্যের সম্ভাব্য সম্ভাবনা পেয়েছি। বহিরাগতদের প্রভাব হ্রাস করতে, আমি প্রতিটি বাক্সে প্রকৃত মধ্যমা সম্ভাবনা গ্রহণের আগে উপরের এবং নীচের 5% ডেটা সরিয়েছি।

এইগুলি পেয়ে গেলে আমি সহজেই ডেটা প্লট করতে পারি।


এটি উল্লেখ করা ভাল হবে যে ফিটের পরীক্ষার হোসমার-লেমশো ধার্মিকতা গণনা করার এটি প্রথম পদক্ষেপ।
jwimberley
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.