অযৌক্তিক স্কোরিং নিয়ম ব্যবহার করা কখন উপযুক্ত?

Question

Merkle & Steyvers (2013) লিখুন:

আনুষ্ঠানিকভাবে একটি সঠিক স্কোরিং নিয়ম নির্ধারণ করতে, দিন একটি বের্নুলির বিচারের সম্ভাব্য পূর্বাভাস হতে সত্য সাফল্য সম্ভাব্যতা সঙ্গে । যথাযথ স্কোরিংয়ের নিয়মগুলি এমন মেট্রিক যাগুলির প্রত্যাশিত মানগুলি হলে ন্যূনতম করা হয় ।$f$$d$$p$$f = p$

আমি পেয়েছি যে এটি ভাল কারণ আমরা পূর্বাভাসীদের পূর্বাভাস উত্পন্ন করতে উত্সাহিত করতে চাই যা তাদের সত্য বিশ্বাসকে সত্যই প্রতিফলিত করে, এবং অন্যথায় তাদেরকে বিকৃত উত্সাহ দিতে চাই না।

এমন কোন বাস্তব-জগৎ উদাহরণ রয়েছে যাতে কোনও ভুল স্কোরিং নিয়ম ব্যবহার করা উপযুক্ত?

রেফারেন্স
Merkle, ইসি, এবং স্টাইভার্স, এম। (2013) কঠোরভাবে যথাযথ স্কোরিং নিয়ম নির্বাচন করা। সিদ্ধান্ত বিশ্লেষণ, 10 (4), 292-304

Comments

আমি মনে করি উইঙ্কলার এবং জোসের "স্কোরিং রুলস" (২০১০) এর শেষ পৃষ্ঠার প্রথম কলামটি ম্যার্কলে এবং স্টাইভার্স (২০১৩) একটি উত্তর সরবরাহ করেছে। যথা, যদি ইউটিলিটি স্কোরের এক সুস্পষ্ট রূপান্তর না হয় (যা ঝুঁকি এড়ানো এবং এরূপ দ্বারা ন্যায্য হতে পারে), প্রত্যাশিত ইউটিলিটি সর্বাধিক প্রত্যাশিত স্কোরকে সর্বাধিক বিরোধের সাথে সংঘবদ্ধ হতে পারে

— রিচার্ড হার্ডি

Answer 1

উদ্দেশ্যটি পূর্বাভাস দেওয়ার সময় কোনও অনুচিত স্কোরিং নিয়ম ব্যবহার করা উপযুক্ত, তবে অনুমান নয়। যখন আমি পূর্বাভাসটি করতে যাচ্ছি তখন আমি অন্য একজন পূর্বাভাসকারী প্রতারণা করছে কিনা তা আমি সত্যিই যত্নশীল নই।

যথাযথ স্কোরিংয়ের বিধিগুলি নিশ্চিত করে যে প্রাক্কলন প্রক্রিয়া চলাকালীন মডেলটি সত্য উপাত্ত তৈরির প্রক্রিয়া (ডিজিপি) এর কাছে আসে। এটি আশাব্যঞ্জক বলে মনে হচ্ছে কারণ আমরা সত্য ডিজিপির কাছে যাওয়ার সাথে সাথে কোনও ক্ষতি কর্মের অধীনে পূর্বাভাসের ক্ষেত্রেও আমরা ভাল করব। ক্যাচটি হ'ল বেশিরভাগ সময় (বাস্তবে প্রায় সবসময় বাস্তবে) আমাদের মডেল অনুসন্ধানের জায়গাতে সত্য ডিজিপি থাকে না। আমরা প্রস্তাবিত কিছু কার্যকরী ফর্মের সাথে সত্য ডিজিপিকে আনুমানিকভাবে শেষ করি।

আরও বাস্তবসম্মত বিন্যাসে, সত্যিকারের ডিজিপির সম্পূর্ণ ঘনত্ব নির্ধারণের চেয়ে যদি আমাদের পূর্বাভাসের কাজটি আরও সহজ হয় তবে আমরা সম্ভবত আরও ভাল করতে পারি। এটি শ্রেণিবিন্যাসের জন্য বিশেষভাবে সত্য। উদাহরণস্বরূপ সত্যিকারের ডিজিপি খুব জটিল হতে পারে তবে শ্রেণিবিন্যাসের কাজটি খুব সহজ হতে পারে।

ইয়ারোস্লাভ বুলাটোভ তার ব্লগে নিম্নলিখিত উদাহরণ প্রদান করেছেন:

http://yaroslavvb.blogspot.ro/2007/06/log-loss-or-hinge-loss.html

আপনি নীচে দেখতে পাচ্ছেন সত্য ঘনত্বটি খুব কম। তবে এটি দ্বারা উত্পন্ন ডেটা পৃথক পৃথক করে শ্রেণীবদ্ধকারী তৈরি করা খুব সহজ। কেবলমাত্র আউটপুট ক্লাস 1 এবং যদি আউটপুট শ্রেণি 2 হয়।$x \ge 0$$x < 0$

উপরে সঠিক ঘনত্বের সাথে মিলে না গিয়ে আমরা নীচের অপরিশোধিত মডেলটির প্রস্তাব করি, যা সত্য ডিজিপি থেকে অনেক দূরে। তবে এটি নিখুঁত শ্রেণিবিন্যাস করে। এটি কবজ ক্ষতি ব্যবহার করে পাওয়া যায়, যা সঠিক নয়।

অন্যদিকে আপনি যদি লগ-ক্ষতি সহ সত্য ডিজিপি সন্ধান করার সিদ্ধান্ত নেন (যা যথাযথ) তবে আপনি কিছু কার্যকারিতা ফিট করতে শুরু করেন, কারণ আপনি জানেন না যে সঠিক ফাংশনাল ফর্মটি আপনার কী দরকার prior এটির সাথে মেলে যাবার জন্য আপনি আরও কঠোর এবং কঠোর প্রচেষ্টা করার সাথে সাথে আপনি জিনিসগুলিকে ভুল সংকলন শুরু করেন।

মনে রাখবেন যে উভয় ক্ষেত্রেই আমরা একই কার্যকরী ফর্মগুলি ব্যবহার করেছি। অনুপযুক্ত লোকসানের ক্ষেত্রে এটি একটি পদক্ষেপ ফাংশনে অবনতি ঘটে যা ফলস্বরূপ নিখুঁত শ্রেণিবিন্যাস করে। যথাযথ ক্ষেত্রে এটি ঘনত্বের প্রতিটি অঞ্চলকে সন্তুষ্ট করার চেষ্টা করছে।

মূলত নির্ভুল পূর্বাভাস দেওয়ার জন্য আমাদের সবসময় সত্যিকারের মডেল অর্জন করার প্রয়োজন হয় না। বা কখনও কখনও আমাদের ঘনত্বের পুরো ডোমেনটিতে সত্যিই ভাল করার দরকার পড়ে না তবে কেবলমাত্র এর নির্দিষ্ট কিছু অংশে খুব ভাল হওয়া উচিত।

Comments

এটি একটি চিত্তাকর্ষক উদাহরণ, চিন্তার জন্য সত্যই কিছু খাবার।

— ম্যাথু ড্র্যারি

Answer 2

নির্ভুলতা (অর্থাত্ শতাংশে সঠিকভাবে শ্রেণিবদ্ধ) স্কোরিংকে একটি অযৌক্তিক নিয়ম, তাই কিছুটা অর্থে লোকেরা সর্বদা এটি করে।

আরও সাধারণভাবে, কোনও স্কোরিং নিয়ম যা পূর্বাভাসটিকে প্রাক-সংজ্ঞায়িত বিভাগে আবদ্ধ করে তা অনুচিত হতে চলেছে। শ্রেণিবিন্যাস এটির একটি চরম ঘটনা (একমাত্র অনুমোদিত পূর্বাভাস 0% এবং 100%) তবে আবহাওয়ার পূর্বাভাস সম্ভবত কিছুটা অনুচিতও হয় - আমার স্থানীয় স্টেশনগুলি 10 বা 20% ব্যবধানে বৃষ্টির সম্ভাবনাটি বলে মনে করছে, যদিও আমি 'বাজি অন্তর্নিহিত মডেলটি আরও সুনির্দিষ্ট।

সঠিক স্কোরিং নিয়মগুলিও ধরে নিয়েছে যে পূর্বাভাসক ঝুঁকি নিরপেক্ষ। এটি প্রায়শই প্রকৃত মানব পূর্বাভাসকারীদের ক্ষেত্রে হয় না, যারা সাধারণত ঝুঁকি-প্রতিকূল এবং কিছু অ্যাপ্লিকেশন কোনও স্কোরিং নিয়ম থেকে উপকার পেতে পারে যা এই পক্ষপাতটি পুনরুত্পাদন করে। উদাহরণস্বরূপ, ছাতা বহন করার পরে আপনি পি (বৃষ্টি )কে কিছুটা অতিরিক্ত ওজন দিতে পারেন তবে প্রয়োজন নেই বৃষ্টিপাতের কবলে পড়ার চেয়ে আরও ভাল।

Comments

আমি মনে করি না আমি আপনার তৃতীয় অনুচ্ছেদটি বুঝতে পেরেছি। আমি লাইন বরাবর একটি অনুরূপ উত্তর লিখছিলাম যে আমরা ভবিষ্যদ্বাণীপূর্ণ ঘনত্বের উচ্চ কোয়ান্টাইলগুলি পেতে আরও বেশি মনোনিবেশ করতে চাইতে পারি, তবে আমি দেখছি না যে এই ধরনের ক্ষতির ক্রিয়াটি কীভাবে আমাদেরকে একটি অনুচিত স্কোরিং নিয়ম ব্যবহার করতে উদ্বুদ্ধ করবে। সর্বোপরি আমরা সঠিক ভবিষ্যতের বিতরণ পূর্বাভাস দেওয়ার জন্য সবচেয়ে বেশি অনুপ্রাণিত হতে চাই। আপনি বিস্তারিত বলতে পারেন?

— এস। কোলাসা - মনিকা

যদি পূর্বাভাসকর্তা তার প্রত্যাশিত ইউটিলিটিটি সর্বাধিক করে তোলে (মানের পরিবর্তে) তবে সঠিক স্কোরিং বিধিগুলি যথাযথভাবে যথাযথ নাও হতে পারে (যেমন, যদি ইউটিলিটি স্কোরের লিনিয়ার ফাংশন না হয়)। তবে আপনি যদি ইউটিলিটি ফাংশনটি জানেন বা অনুমান করতে পারেন তবে আমার ধারণা, আপনি এর বিপরীত প্রয়োগের পরিবর্তে একটি বিশেষভাবে উপযুক্ত উপযুক্ত স্কোরিং নিয়মটি নিয়ে আসতে পারেন।

— ম্যাট ক্রাউস

তবে স্কোরিং রুলের যথাযথতা বা না ব্যবহারটি ইউটিলিটির সাথে সম্পর্কিত নয়, কেবল ভবিষ্যদ্বাণী করা এবং আসল ভবিষ্যতের বিতরণের সাথে, সুতরাং আমি এখনও আপনার মন্তব্যের প্রথম বাক্যটি বুঝতে পারি না বা কেন আমরা অন্যায় স্কোরিং নিয়মটি ব্যবহার করতে চাই না । তবে, আপনি জেআরএসএস-বি- তে উপস্থিত হওয়ার জন্য, এহম এট আল- এর একটি কাগজের কথা মনে করিয়ে দিয়েছেন , যা আমি আমার উত্তর বাতিল করার উত্তর লিখেছিলাম , কিন্তু যেখানে আমি বর্তমান প্রশ্নের জন্য দরকারী কিছু পাইনি - কাছাকাছি পড়া আরও সহায়ক হতে পারে।

— এস। কোলাসা - মনিকা

@ স্টেফানকোলাসা, উইঙ্কলার এবং জোসের "স্কোরিং বিধি" (২০১০) এর শেষ পৃষ্ঠার প্রথম কলামটি এটি ব্যাখ্যা করে?

— রিচার্ড হার্ডি

মন্তব্যগুলি বর্ধিত আলোচনার জন্য নয়; এই কথোপকথন চ্যাটে সরানো হয়েছে ।

— গুং - মনিকা পুনরায়