আমরা কীভাবে নাট সিলভারের ভবিষ্যদ্বাণীগুলির যথার্থতা বিচার করতে পারি?

Question

প্রথমত, তিনি ফলাফলের সম্ভাবনা দেন। সুতরাং, উদাহরণস্বরূপ, মার্কিন নির্বাচনের জন্য তার পূর্বাভাস বর্তমানে 82% ক্লিনটন বনাম 18% ট্রাম্প।

এখন, ট্রাম্প জিতলেও, আমি কীভাবে জানব যে তার জয়ের সময়টি কেবল 18% ছিল না?

অন্য সমস্যাটি হ'ল সময়ের সাথে সাথে তার সম্ভাবনাগুলিও বদলে যায়। সুতরাং 31 জুলাই, এটি ট্রাম্প এবং ক্লিনটনের মধ্যে প্রায় 50-50 ছিল।

আমার প্রশ্নটি হ'ল যে একই ফলাফলের সাথে একই ভবিষ্যতের ঘটনার জন্য তার প্রতিদিন একটি পৃথক সম্ভাবনা রয়েছে, আমি কীভাবে পরিমাপ করতে পারি যে সে প্রতিদিনের জন্য কতটা সঠিক ছিল সে তথ্যের উপর ভিত্তি করে ভবিষ্যদ্বাণী করেছিল?

Comments

আমার সন্দেহ হয় আমরা পারিনা। এ জাতীয় মূল্যায়ন করার জন্য আমাদের স্বর্ণ-মানক প্রয়োজন, এবং আমাদের কাছে সেরাটি কেবল পূর্ববর্তী নির্বাচনের পর্যবেক্ষণগুলির সাথে তুলনা করা কঠিন (যেহেতু প্রতিটি নির্বাচনের নমুনা ও ভোটারদের আচরণের বিকল্প পদ্ধতি অন্তর্ভুক্ত থাকবে)। তবে আমি নির্বাচনী সমীক্ষায় কোনও বিশেষজ্ঞ নই, তাই আমি এটিকে একটি মন্তব্য হিসাবে এবং উত্তর হিসাবে ছেড়ে দিচ্ছি না :)

— তাল গালিলি

@ ট্যালগ্যালিলি: আমরা স্কোরিংয়ের নিয়ম ব্যবহার করে কমপক্ষে কিছু বলতে পারি - যেমন, আমরা অব্রাহনযোগ্য পরামিতি সম্পর্কে কিছু বলতে পারি যা আমরা অনুভূতিগুলিতে অনুমান করি।

— এস। কোলাসা - মনিকা

এটি সম্ভবত একটি "স্কোরিং নিয়ম", তবে এন ইভেন্টগুলির জন্য, তার সম্ভাব্যতাগুলি সেই ঘটনার জন্য বহুগুণ বৃদ্ধি করে এবং গড় অনুমানের হারের জন্য নবম মূল গ্রহণ করুন (আমরা ধরে নিই যে তিনি কখনই 0% ভবিষ্যদ্বাণী করেন না)। আপনি প্রতিটি দৈনিক সম্ভাব্যতা পৃথক পূর্বাভাস হিসাবে বিবেচনা করতে পারেন।

— ব্যারিকার্টার

কেন সময়ের সাথে সাথে সম্ভাবনাগুলি পরিবর্তন করা যায় না? কোনও ক্রীড়া ইভেন্টে, যখনই কোনও গোল করা হয় বা হোম রান করা হয় তখন কি প্রতিকূলতাগুলি পরিবর্তন হয় না?

— রদ্রিগো ডি আজেভেদো

সিলভার মডেল কেবল সম্ভাবনার প্রাক্কলনের চেয়ে অনেক বেশি দেয় - এটি একটি আনুমানিক বিজয় মার্জিন দেয়, যা 50 টি রাজ্যের প্রত্যেকটির জন্য বিজয়ের সম্ভাবনা এবং বিজয় মার্জিন থেকে প্রাপ্ত। সুতরাং এটি 50 টি পৃথক পরিমাপের জন্য একটি বিন্দু অনুমান এবং ত্রুটির মার্জিন দিচ্ছে (যদিও তাদের মধ্যে কিছুটা সম্ভবত - উচ্চতর সম্পর্ক) তবে একক বাইনারি ফলাফলের পূর্বাভাস দেয় না।

— মীখা

Answer 1

সম্ভাব্য পূর্বাভাস (বা তারা যেমন পরিচিত, ঘনত্বের পূর্বাভাস )ও স্কোরিং-বিধিগুলি ব্যবহার করে মূল্যায়ন করা যেতে পারে , যা ঘনত্বের পূর্বাভাসকে মানচিত্র করে এবং তথাকথিত স্কোরের জন্য একটি পর্যবেক্ষণের ফলাফলকে মানচিত্র করে, যা ঘনত্বের পূর্বাভাসের ক্ষেত্রে প্রত্যাশায় কমিয়ে দেওয়া হয় ভবিষ্যদ্বাণী করা প্রকৃত ঘনত্ব। যথাযথ স্কোরিং নিয়মগুলি এমন স্কোরিং নিয়ম যা কেবলমাত্র সত্য ভবিষ্যতের ঘনত্ব দ্বারা প্রত্যাশায় হ্রাস করা হয় ।

সম্ভাব্য আবহাওয়ার পূর্বাভাসের প্রসঙ্গে ব্রায়ার (1950, মাসিক আবহাওয়া পর্যালোচনা ) দিয়ে শুরু করে এ জাতীয় যথাযথ স্কোরিং বিধি প্রচুর পরিমাণে উপলব্ধ । কাজাদো এট আল। (২০০৯, বায়োমেট্রিক্স ) বিযুক্ত মামলার জন্য আরও সাম্প্রতিক একটি ওভারভিউ দেয়। জেনিটিং অ্যান্ড ক্যাটজফস (২০১৪, পরিসংখ্যানের বার্ষিক পর্যালোচনা এবং এর প্রয়োগ ) সাধারণভাবে সম্ভাব্য পূর্বাভাসের একটি সংক্ষিপ্তসার দেয় - বিশেষত গনিটিং সঠিক স্কোরিং নিয়মের কারণকে এগিয়ে নিতে খুব সক্রিয় ছিল।

তবে স্কোরিংয়ের নিয়মগুলি ব্যাখ্যা করা কিছুটা শক্ত এবং এগুলি কেবলমাত্র একাধিক সম্ভাব্য পূর্বাভাসের সাথে তুলনা করতে সহায়তা করে - নিম্ন স্কোর সহ একটি আরও ভাল। নমুনা বৈকল্পিকতা অবধি, এটি হ'ল মূল্যায়ন করার জন্য প্রচুর পূর্বাভাস রাখা ভাল , যার স্কোর আমরা গড় করব।

সিলভারের বা অন্যের পূর্বাভাসের "আপডেট করা" কীভাবে অন্তর্ভুক্ত করবেন এটি একটি ভাল প্রশ্ন। আমরা সময়কালের এক পর্যায়ে বিভিন্ন পূর্বাভাসের "স্ন্যাপশটগুলি" তুলনা করতে স্কোরিং বিধিমালা ব্যবহার করতে পারি, বা আমরা সময়ের সাথে সাথে সিলভারের সম্ভাব্য ভবিষ্যদ্বাণীগুলিও দেখতে এবং প্রতিটি পয়েন্টে স্কোর গণনা করতে পারি। কেউ আশা করবে যে স্কোরটি কম এবং নিম্নতর হবে (যেমন, ঘনত্বের পূর্বাভাস আরও ভাল এবং ভাল হবে) আসল ফলাফলটি যত কাছাকাছি হবে।

Comments

এটি বলার আরেকটি উপায়: স্বতন্ত্র ঘটনার স্বতন্ত্র পূর্বাভাসের সম্ভাবনাটি একাই মূল্যায়ন করা যায় না, তবে পূর্বাভাসীদের মূল্যায়ন করা যায় (স্কোর ফাংশন দ্বারা)।

— কেজেটিল বি হালওয়ারসেন

"প্রত্যাশায় ন্যূনতম হয়" এর জন্য, আমি মনে করি মূল বিষয়টি কোনটি মিলবে তার চেয়ে বেশি প্রত্যাশা? আমরা কী ন্যাট সিলভারের সমস্ত ভবিষ্যদ্বাণী গ্রহণ করি? কেবল রাষ্ট্রপতি নির্বাচনের বাইরে? আমি জানি না এখানে একটি উত্তর আছে কিনা। বিভিন্ন পূর্বাভাসীর তুলনা করার জন্য, ইভেন্টগুলির যে কোনও সাধারণ সেট সম্পর্কে ভবিষ্যদ্বাণী যুক্তিসঙ্গত হতে পারে।

— জিওম্যাটট 22

@ জিওম্যাটট২২ - অন্যান্য নির্বাচনের জন্য তাঁর কাছে যুক্তিসঙ্গতভাবে একই পদ্ধতি রয়েছে, সুতরাং নির্বাচনের সমস্ত পূর্বাভাসকে একত্রিত করার পক্ষে এটি বৈধ হতে পারে

— ডিভি কে

Answer 2

নেট সিলভারের বই দ্য সিগন্যাল অ্যান্ড নয়েসে তিনি নিম্নলিখিতটি লিখেছেন, যা আপনার প্রশ্নের জন্য কিছু অন্তর্দৃষ্টি দিতে পারে:

পূর্বাভাসের সবচেয়ে গুরুত্বপূর্ণ পরীক্ষাগুলির মধ্যে একটি - আমি যুক্তি দেব যে এটি একক সবচেয়ে গুরুত্বপূর্ণ - একে ক্যালিগ্রেশন বলে। যতবার আপনি বলেছেন 40% বৃষ্টি হওয়ার সম্ভাবনা রয়েছে, বৃষ্টি আসলে কতবার ঘটে? যদি, দীর্ঘকাল ধরে, সত্যিই প্রায় 40% সময় বৃষ্টি হয়েছিল, এর অর্থ আপনার পূর্বাভাস ভালভাবে ক্যালিব্রেট হয়েছিল। পরিবর্তে যদি মাত্র 20 শতাংশ সময় বা 60 শতাংশ সময়কে বৃষ্টিপাত করে দেয় তবে তা ছিল না।

সুতরাং এটি কয়েক পয়েন্ট উত্থাপন। প্রথমত, আপনি যেমনটি যথাযথভাবে উল্লেখ করেছেন, আপনি যে ঘটনাটি পূর্বাভাস করছেন তার ফলাফলের দ্বারা আপনি একটি একক পূর্বাভাসের গুণমান সম্পর্কে সত্যই অনুমান করতে পারবেন না। আপনার মডেলটি কীভাবে অনেক পূর্বাভাসের সময় পারফর্ম করে তা দেখতে আপনি সবচেয়ে ভাল best

আরেকটি বিষয় যা ভাবতে গুরুত্বপূর্ণ তা হ'ল নাট সিলভার যে ভবিষ্যদ্বাণী করে সেগুলি নিজেই কোনও ইভেন্ট নয়, তবে ইভেন্টটির সম্ভাব্যতা বন্টন। সুতরাং রাষ্ট্রপতি পদে আসার ক্ষেত্রে তিনি ক্লিনটন, ট্রাম্প, বা জনসন এই দৌড়ে বিজয়ী হওয়ার সম্ভাবনা বন্টনের অনুমান করছেন। সুতরাং এক্ষেত্রে তিনি একটি বহুজাতিক বিতরণ অনুমান করছেন।

তবে তিনি আসলে আরও অনেক দানাদার স্তরে রেসটির পূর্বাভাস দিচ্ছেন। তাঁর ভবিষ্যদ্বাণীগুলি অনুমান করে যে প্রতিটি প্রার্থী প্রতিটি রাজ্যে কত শতাংশ ভোট অর্জন করবে তার সম্ভাব্য বন্টন। সুতরাং আমরা যদি 3 জন প্রার্থীকে বিবেচনা করি, তবে এটি 51 * 3 দৈর্ঘ্যের এলোমেলো ভেক্টর দ্বারা চিহ্নিত করা যেতে পারে এবং অন্তর [0, 1] এর মধ্যে মান গ্রহণ করে, একটি রাষ্ট্রের মধ্যে অনুপাতের জন্য অনুপাতের যোগফল 1 এর সীমাবদ্ধতা সাপেক্ষে। ৫১ নম্বরটি হ'ল অন্যান্য 50 টি রাজ্য + ডিসি (এবং বাস্তবে আমি মনে করি এটি আসলে আরও কয়েকটি কারণ কিছু রাজ্য তাদের নির্বাচনী কলেজের ভোটগুলি ভাগ করতে পারে), এবং 3 নম্বর প্রার্থীর সংখ্যার কারণে।

তাঁর ভবিষ্যদ্বাণীগুলি মূল্যায়নের জন্য এখন আপনার কাছে খুব বেশি ডেটা নেই - তিনি কেবলমাত্র সর্বশেষ 3 টি নির্বাচনের পূর্বাভাস দিয়েছেন যা আমি অবগত (আরও কিছু ছিল?)। সুতরাং আমি মনে করি না যে তাঁর মডেলটি হাতে না নিলে এবং সিমুলেটেড ডেটা ব্যবহার করে এটি মূল্যায়ন করতে না পারলে তার মডেলটি মোটামুটি মূল্যায়নের কোনও উপায় আছে। তবে এখনও কিছু আকর্ষণীয় বিষয় রয়েছে যা আপনি দেখতে পারেন। উদাহরণস্বরূপ, আমি মনে করি যে তিনি নির্দিষ্ট সময় পর্বে রাষ্ট্র-দ্বারা-রাষ্ট্রীয় ভোটের অনুপাতের কতটা সঠিকভাবে ভবিষ্যদ্বাণী করেছিলেন, উদাহরণস্বরূপ, নির্বাচন থেকে এক সপ্তাহ আগে এটি দেখার পক্ষে আকর্ষণীয় হবে। আপনি যদি একাধিক সময় পয়েন্টগুলির জন্য এটি পুনরুক্ত করেন, উদাহরণস্বরূপ এক সপ্তাহ বাইরে, এক মাস আউট, 6 মাস আউট এবং এক বছর বাইরে, তবে আপনি তার ভবিষ্যদ্বাণীগুলির জন্য কিছু চমত্কার আকর্ষণীয় বিবরণ সরবরাহ করতে পারেন। একটি গুরুত্বপূর্ণ সতর্কতা: নির্বাচনের মধ্যে ফলাফলগুলি রাজ্যগুলিতে অত্যন্ত সংযুক্ত থাকে সুতরাং আপনি সত্যই বলতে পারবেন না যে আপনার 51 টি রাজ্য * 3 নির্বাচনের স্বতন্ত্র পূর্বাভাসের উদাহরণ রয়েছে (উদাহরণস্বরূপ মডেল যদি একটি রাজ্যে প্রার্থীদের পারফরম্যান্সকে অবমূল্যায়ন করে তবে এটি অন্যান্য রাজ্যেও হ্রাস পাবে না) । তবে আমি এটিকে যাইহোক এইভাবেই ভাবতে পারি যাতে আপনার কাছে অর্থপূর্ণ কিছু করার পর্যাপ্ত ডেটা থাকে।

Answer 3

যে কোনও একক পূর্বাভাসের জন্য আপনি যা করতে পারবেন না, আমরা এটির চেয়ে আরও বেশি কিছু বলতে পারব না যে "এই মুদ্রায় মাথা উঁচুতে আসার 60% সম্ভাবনা রয়েছে" দাবিটি একটি টস থেকে সঠিক সংলগ্ন।

তবে, আপনি অনেকগুলি ভবিষ্যদ্বাণী জুড়ে তার পদ্ধতিটি মূল্যায়ন করতে পারেন - একটি নির্দিষ্ট নির্বাচনের জন্য তিনি কেবলমাত্র রাষ্ট্রপতি পদ নয়, রাষ্ট্রপতির ভোট এবং অন্যান্য অনেক জাতি সম্পর্কিত অনেক পূর্বাভাস (হাউস, সেনেট, আধিপত্যবাদী) এবং তাই) এবং তিনি সময়ের সাথে সাথে একইভাবে একই পদ্ধতি ব্যবহার করেন।

এই মূল্যায়ন করার অনেকগুলি উপায় রয়েছে (কিছুটা মোটামুটি পরিশীলিত) তবে আমরা এর কিছুটা ধারণা পেতে কিছু অপেক্ষাকৃত সহজ উপায়গুলি দেখতে পারি। উদাহরণস্বরূপ, আপনি জয়ের সম্ভাবনার ভবিষ্যদ্বাণীগুলি যেমন ব্যান্ডগুলিতে বিভক্ত করতে পারেন (50-55%, 55-65% এবং এই জাতীয়) এবং তারপরে দেখুন band ব্যান্ডের ভবিষ্যদ্বাণীগুলির অনুপাতটি কী পরিমাণে উঠেছিল; 50-55% পূর্বাভাস যে অনুধাবন করেছে তার অনুপাতটি যেখানে গড় ছিল তার উপর নির্ভর করে 50-55% এর মধ্যে হওয়া উচিত (প্লাস এলোমেলো পরিবর্তনের জন্য একটি মার্জিন *)।

সুতরাং সেই পদ্ধতির (বা অন্যান্য বিভিন্ন পদ্ধতির) মাধ্যমে আপনি দেখতে পারবেন যে ফলাফলের বিতরণ কোনও নির্বাচন জুড়ে বা বেশ কয়েকটি নির্বাচন জুড়ে ভবিষ্যদ্বাণীগুলির সাথে সামঞ্জস্য ছিল কিনা (যদি আমি সঠিক মনে করি তবে আমি মনে করি যে তার ভবিষ্যদ্বাণীগুলি তার আগে হওয়া উচিত ছিল তার চেয়ে প্রায়শই সঠিক ছিল , যা তার স্ট্যান্ডার্ড ত্রুটিগুলি গড়ে কিছুটা বাড়তি সুপারিশ করেছে বলে বোঝায়)।

* আমাদের কীভাবে তা মূল্যায়ন করা যায় সে সম্পর্কে সতর্ক থাকতে হবে, যদিও পূর্বাভাসগুলি স্বতন্ত্র নয় independent