পরিসংখ্যানগত তাত্পর্য উপর বর্তমান বিতর্ক জড়িত

10

বিগত কয়েক বছরে, বিভিন্ন পণ্ডিত বৈজ্ঞানিক অনুমানের পরীক্ষার একটি ক্ষতিকারক সমস্যা উত্থাপন করেছেন, "স্বাধীনতার গবেষক ডিগ্রি" হিসাবে অভিহিত করেছেন, বিজ্ঞানীরা তাদের বিশ্লেষণের সময় পি-ভ্যালু <5% এর সন্ধানের পক্ষপাতদুষ্ট করার অনেকগুলি বিকল্প আছে বলে মন্তব্য করেছেন। এই অস্পষ্ট নির্বাচনগুলি উদাহরণস্বরূপ, কোন কেসটি অন্তর্ভুক্ত করা উচিত, কোন কেস কে আউটলেটর হিসাবে শ্রেণীবদ্ধ করা হয়, কিছু না দেখানো পর্যন্ত অসংখ্য মডেল স্পেসিফিকেশন চালানো হয়, নাল ফলাফল প্রকাশ করবেন না () মনোবিজ্ঞানের এই বিতর্ককে যে কাগজটি দিয়েছিল তা এখানে , একটি জনপ্রিয় স্লেট নিবন্ধটি দেখুন এবং ফলো-আপ বিতর্ক অ্যান্ড্রু Gelman দ্বারা এখানে আর টাইম ম্যাগাজিনের এই বিষয়ে স্পর্শ এখানে ।)

প্রথমত , একটি স্পষ্টকরণ প্রশ্ন:

দ্য টাইম ম্যাগাজিন লিখেছিল,

"০.৮ এর শক্তির অর্থ দশটি সত্য অনুমানের পরীক্ষা করা হয়েছে, কেবলমাত্র দুটি প্রত্যাখাত হবে না কারণ তাদের প্রভাবগুলি ডেটাতে নেওয়া হয়নি;"

আমি নিশ্চিত নই যে আমি পাঠ্যপুস্তকে যে পাওয়ার ফাংশনটি পেয়েছি তার সংজ্ঞায় এটি কীভাবে খাপ খায়, যা প্যারামিটার ফাংশন হিসাবে নালটিকে প্রত্যাখ্যান করার সম্ভাবনা । বিভিন্ন আমাদের আলাদা শক্তি আছে, তাই আমি উপরের উদ্ধৃতিটি বেশ বুঝতে পারি না। $\theta$ $\theta$

দ্বিতীয়ত , কিছু গবেষণার ফলস্বরূপ:

আমার রাষ্ট্রবিজ্ঞান / অর্থনীতির ক্ষেত্রে, পণ্ডিতগণ সহজলভ্য সমস্ত দেশের-বছরের ডেটা ব্যবহার করেন। সুতরাং, আমাদের কি এখানে নমুনা ফিডিংয়ের সাথে উদ্বিগ্ন হওয়া উচিত নয়?
একাধিক পরীক্ষা চালানো কিন্তু কেবলমাত্র একটি মডেলের প্রতিবেদন করার সমস্যাটি কেবল এই বিষয়টির দ্বারা ঠিক করা যেতে পারে যে অনুশাসনে থাকা অন্য কেউ আপনার কাগজটি পুনরায় পরীক্ষা করবে এবং দৃ rob় ফলাফল না পাওয়ার জন্য আপনাকে তাত্ক্ষণিক আঘাত করবে? এটি অনুমান করে, আমার ক্ষেত্রের পণ্ডিতরা একটি robustness checkবিভাগ অন্তর্ভুক্ত করার সম্ভাবনা বেশি রয়েছে , যেখানে তারা দেখায় যে একাধিক মডেলের স্পেসিফিকেশন ফলাফল পরিবর্তন করে না। এটা কি যথেষ্ট?
অ্যান্ড্রু গেলম্যান এবং অন্যরা এই বিষয়টি উত্থাপন করেছেন যে ডেটা যাই হোক না কেন, এমন কিছু "প্যাটার্ন" সন্ধান এবং প্রকাশ করা সর্বদা সম্ভব হবে যা সত্যই সেখানে নেই। তবে এই উদ্বেগের বিষয় হওয়া উচিত নয় যে কোনও অভিজ্ঞতাবাদী "প্যাটার্ন" কোনও তত্ত্ব দ্বারা সমর্থিত হওয়া উচিত এবং একটি শৃঙ্খলার মধ্যে প্রতিদ্বন্দ্বী তত্ত্বগুলি কেবল একটি বিতর্ক / দৌড়ের সাথে জড়িত থাকবে যে শিবির আরও "নিদর্শন" সন্ধান করতে সক্ষম হবে? বিভিন্ন জায়গায়। যদি কোনও নিদর্শন সত্যই উত্সাহিত হয়, তবে অন্যান্য নমুনা / সেটিংসে কোনও অনুরূপ প্যাটার্ন না থাকলে পিছনের তত্ত্বটি দ্রুত নিচে ফেলা হবে। বিজ্ঞান কী এভাবে অগ্রগতি করে না?
ধরে নিচ্ছি যে নাল ফলাফলের জন্য জার্নালের বর্তমান প্রবণতাটি প্রকৃতপক্ষে প্রস্ফুটিত হবে, সমস্ত নাল এবং ইতিবাচক ফলাফলগুলি একত্রে একত্রিত করার জন্য এবং তত্ত্বের প্রতি একটি ধারণা তৈরি করার উপায় রয়েছে যে তারা সকলেই পরীক্ষার চেষ্টা করে?

— হাইজেনবার্গ
সূত্র

আরও দেখুন "মনোবিজ্ঞানের তত্ত্ব-টেস্টিং এবং পদার্থবিজ্ঞান: একটি পদ্ধতিগত প্যারাডক্স" । "নাল অনুমান" আপনার ক্ষেত্রে সর্বদা মিথ্যা always এমনকি যথাযথ গবেষণা অনুশীলন সহ তাত্পর্য পরীক্ষা এবং অনুমান পরীক্ষা সম্ভবত অনুপযুক্ত।

— ফ্লাস্ক

আপনার প্রশ্ন 1 প্রশ্নের সাথে বিরোধ 3? পোলসি / অর্থনীতিতে অন্যান্য নমুনা / সেটিংস পাওয়া যায় কি না?

— ফ্লাস্ক

11

দাবিগুলি মূল্যায়নের জন্য পি-মানগুলি ব্যবহার না করে আমাদের রবার্ট অ্যাবেলসনের পরামর্শ অনুসরণ করা এবং ম্যাজিকের মানদণ্ডটি ব্যবহার করা উচিত:

Magnitude
Articulation
Generality
Interestingness
Credibility

অ্যাবেলসনের আরও তথ্যের জন্য তাঁর বইটি সম্পর্কে আমার পর্যালোচনা দেখুন

এবং আমাদের স্ট্যাটিস্টিকাল আউটপুটে পি-ভ্যালু নয়, প্রভাব আকারগুলিতে মনোনিবেশ করা উচিত (কিছু ধরণের ডেটা মাইনিংয়ের সম্ভাব্য ব্যতিক্রম সহ, যার উপরে আমি মোটেও বিশেষজ্ঞ নই)। এবং প্রভাব আকারগুলি প্রসঙ্গে বিচার করা উচিত:

1 in 1000 pairs of pants gets the wrong size label - not a big deal
1 in 1000 airplanes are defective in a way that leads to crashes - a big deal
1 in 1000 nuclear reactors is defective in a way that leads to meltdown - uh oh

কোনও পরিসংখ্যানবিদ / ডেটা বিশ্লেষক এমন কোনও অদ্ভুত ব্যক্তি হওয়া উচিত নয়, যা একটি কালো বাক্সের মতো ব্যবহৃত হয় যেখানে ডেটা রাখা হয় এবং যার থেকে পি মানগুলি অর্জন করা হয়; বর্তমান তত্ত্বগুলি (বা তাদের অভাব) এবং বর্তমান প্রমাণ (বা এর অভাব) প্রদত্ত কোনও ক্ষেত্রের প্রসঙ্গে ডেটাগুলির কিছু সেটের অর্থ সম্পর্কে যুক্তিসঙ্গত যুক্তি তৈরির জন্য ডিজাইন করা গবেষণায় তাকে সহযোগী হতে হবে।

দুর্ভাগ্যক্রমে, এই পদ্ধতির পক্ষে গবেষকগণ, ডেটা বিশ্লেষক এবং ফলাফলের যে কেউ পর্যালোচনা করেন (যে বিষয়টি বিন্দু চুলের মালিক, একটি গবেষণামূলক কমিটি, জার্নাল সম্পাদক বা যে কেউই হোক) এর পক্ষ থেকে চিন্তাভাবনা প্রয়োজন। অদ্ভুতভাবে, এমনকি শিক্ষাবিদরাও এই ধরণের চিন্তাকে বিরুদ্ধ বলে মনে হয়।

আমার মতামত সম্পর্কে আরও তথ্যের জন্য, আমি এখানে একটি নিবন্ধ লিখেছি যা বিজ্ঞান 360 এ প্রকাশিত হয়েছিল।

— পিটার ফ্লুম
সূত্র

4

+1 যদিও আমি অবশ্যই আপনার সাথে একমত, আমি কল্পনা করতে পারি যে 'আমার দাবিটি ম্যাজিক দ্বারা সমর্থিত' বলা সর্বদা সহায়ক নাও হতে পারে :-)

— মার্ক ক্লেসেন

1

হ্যাঁ, আপনাকে এটি বানান করতে হবে, তবে, আপনি যদি করেন তবে আমার মনে হয় এটি কার্যকর হতে পারে: "এগুলি এমন বড় প্রভাব যা কিছু ব্যতিক্রম রয়েছে, প্রচুর লোককে প্রভাবিত করে, আকর্ষণীয় কারণ XXXX এবং বিশ্বাসযোগ্য কারণ তারা XXXX" কাজ করতেও পারে. আমি চেষ্টা করে দেখিনি। :-)

— পিটার ফ্লুম

1

হ্যাঁ; একটি দাবি "বিশ্বাসযোগ্য" যদি এমন তত্ত্ব থাকে যা বলে যে এটি কীভাবে ঘটতে পারে; যদি এটি প্রতিলিপি করা হয়, এবং ইত্যাদি। শারীরিক বা অন্যান্য তাত্ত্বিক ব্যাখ্যা না থাকলে এটি কম বিশ্বাসযোগ্য। যত কম বিশ্বাসযোগ্য দাবি তার পক্ষে আরও প্রমাণের প্রয়োজন হয়।

— পিটার ফ্লুম

2

@ বিজ্ঞানের অযোগ্য বিশ্বাসযোগ্যতা পরিমাপ করা উচিত তত্ত্বগুলি তত্ত্বটি বিকাশের ক্ষেত্রে কতটা ভাল ব্যবহার করা হয়নি তা পূর্বাভাস দেয়। ভবিষ্যদ্বাণীগুলি ভাল ছিল কিনা তা নির্ধারণের সময়, বিশ্বাসযোগ্যতার জন্য স্বাধীন গবেষকদের দ্বারা প্রতিরূপ প্রয়োজন requires তাত্পর্যপূর্ণ প্রমাণ রয়েছে যে তাত্পর্য পরীক্ষা এবং অনুমানের পরীক্ষা উভয়ই আচরণ দুটো আচরণকে নিরুৎসাহিত করে, পরিবর্তে প্রকাশনা পক্ষপাতমূলক প্রতিরক্ষামূলক কর্মকাণ্ডকে উত্সাহিত করে এবং "পি-হ্যাকিং" কে একটি নির্বিচারে "তাত্পর্য" কেটে দেয়।

— ফ্লাস্ক

1

@ ফ্লাস্ক - আমি বলব যে পি-মানগুলি অগত্যা সমস্যা নয়, আরও বেশি যে দুর্বল হাইপোথিসিস পরীক্ষাগুলি ব্যবহার করা সমস্যা। পদার্থবিজ্ঞান পি-মানগুলি ব্যবহার করে তবে হাইপোথিসিসের সাহায্যে ভবিষ্যদ্বাণীগুলি বাড়ে (যেমন একটি বাস্তব নাল অনুমান)। একটি "পজেটিভ এফেক্ট" সন্ধান করা মূলত তত্ত্ব গঠনের জন্য অকেজো - তত্ত্বটি সঠিকভাবে নিশ্চিত করার জন্য আপনাকে একটি বিন্দু অনুমান করা দরকার need

— সম্ভাব্যতাব্লোগিক

3

পরিসংখ্যান বিজ্ঞানের ক্ষেত্র শুরু থেকেই এই বিষয়গুলিকে সম্বোধন করেছে। আমি বলিতে থাকি যে প্রকার 1 ত্রুটি হার স্থির থাকে তা নিশ্চিত করাই পরিসংখ্যানবিদদের ভূমিকা। এর থেকে বোঝা যায় যে মিথ্যা ইতিবাচক সিদ্ধান্ত নেওয়ার ঝুঁকিটি দূর করা যায় না, তবে এটি নিয়ন্ত্রণ করা যায়। এটি সাধারণ পরিসংখ্যান অনুশীলনের দর্শন এবং নৈতিকতার দিকে না গিয়ে বৈজ্ঞানিক গবেষণার অত্যন্ত বৃহত পরিমাণে আমাদের দৃষ্টি আকর্ষণ করা উচিত। প্রতিটি অবিশ্বাস্য (অবিশ্বাস্য) ফলাফলের জন্য যে মিডিয়াতে (বা সরকারী নীতিতে) পৃষ্ঠপোষকতা হয়েছে তাদের নালাম অনুসন্ধানের জন্য কমপক্ষে 19 অন্যান্য অবিশ্বাস্য ফলাফল নষ্ট হয়ে গেছে।

প্রকৃতপক্ষে, যদি আপনি ক্লিনিকাল স্ট্রিটস.gov যান, আপনি লক্ষ্য করবেন যে এই মুহুর্তে মার্কিন যুক্তরাষ্ট্রে ফার্মাসিউটিক্যাল এজেন্টদের জন্য 1000 টিরও বেশি ক্লিনিকাল ট্রায়াল রয়েছে। এর অর্থ, 0.001 এর ভুয়া ইতিবাচক ত্রুটি হারের সাথে, গড়ে কমপক্ষে 1 টি ওষুধ তাকের উপরে লাগানো হবে যার কোনও প্রভাব নেই। পরিসংখ্যানগত তাত্পর্য জন্য বৈধতাযুক্ত প্রান্তিক হিসাবে 0.05 এর বৈধতা বারবার চ্যালেঞ্জ করা হয়েছে। হাস্যকরভাবে, এটি কেবলমাত্র পরিসংখ্যানবিদরা যারা 1/20 মিথ্যা ইতিবাচক ত্রুটি হার ব্যবহার করে অস্বস্তি বোধ করেন তবে আর্থিক অংশীদাররা (তারা পিআই বা মরক হোন) ইন-ভিট্রোর ফলাফল, তাত্ত্বিক প্রমাণ বা পূর্ব প্রমাণের শক্তি নির্বিশেষে দৃac়ভাবে বিশ্বাসকে অনুসরণ করবেন। সত্যি বলতে, সেই দৃ ten়তা হ'ল বহুসংখ্যক ব্যক্তির একটি সফল এবং প্রশংসনীয় ব্যক্তিগত গুণ যা অ-পরিসংখ্যানমূলক ভূমিকাতে সফল। এগুলি সাধারণত পরিসংখ্যানবিদদের উপরে উপবিষ্ট হয়, তাদের নিজ নিজ টোটেমগুলিতে, যারা সেই তাত্পর্যকে উত্সাহিত করে।

আমার মনে হয় আপনি যে সময় উক্তিটি রেখেছেন তা সম্পূর্ণ ভুল। বাতিল হ'ল নকল অনুমানটি বাতিল হওয়ার সম্ভাবনা হ'ল শক্তি। এটি আরও গুরুত্বপূর্ণভাবে নাল অনুমানটি ঠিক কীভাবে "মিথ্যা" তার উপর নির্ভর করে (যা পরিমাপযোগ্য পরিমাপের আকারের উপর নির্ভর করে)। আমি প্রভাবটির প্রসঙ্গে খুব কমই কথা বলি যা আমরা সনাক্ত করতে "আকর্ষণীয়" বলে মনে করি de (উদাহরণস্বরূপ, চার ধরণের অগ্ন্যাশয়ের ক্যান্সারের কেমোথেরাপিউটিক চিকিত্সার পরে 4 মাস বেঁচে থাকা আকর্ষণীয় নয়, সুতরাং 3 ম পর্যায়ের পরীক্ষার জন্য 5,000 ব্যক্তিকে নিয়োগের কোনও কারণ নেই)।

আপনার জিজ্ঞাসিত প্রশ্নগুলির সমাধান করতে

???
বহুগুণ কঠিন কারণ এটি কীভাবে ডেটা পরিচালনা করতে হবে সে সম্পর্কে কোনও সুস্পষ্ট সিদ্ধান্তের নেতৃত্ব দেয় না। উদাহরণস্বরূপ, ধরুন আমরা গড় পার্থক্যের একটি সাধারণ পরীক্ষায় আগ্রহী। আমার সহকর্মীদের অসীম প্রতিবাদ সত্ত্বেও, ডেটা স্যাম্পলিং বিতরণকে নির্বিশেষে কোনও পার্থক্য সনাক্ত করার জন্য টি-টেস্টটি ভালভাবে ক্যালিবিরেটেড দেখানো সহজ। মনে করুন আমরা পর্যায়ক্রমে তাদের পথ অনুসরণ করেছি। তারা সুপরিচিত বিতরণমূলক পরীক্ষার কিছু বৈকল্পিক (QQplot এর ক্রমাঙ্কন বলুন) ব্যবহার করে স্বাভাবিকতার জন্য পরীক্ষা করে শুরু করবে। যদি ডেটাটি পর্যাপ্ত পরিমাণে স্বাভাবিক হিসাবে দেখা যায় তবে তারা জিজ্ঞাসা করবে যে ডেটাগুলি কোনও সুপরিচিত রূপান্তর অনুসরণ করে কিনা এবং তারপরে একটি বৈদ্যুতিন ট্রান্সফরমেশন (সম্ভবত লোগারিদমিক) যা এন্ট্রপিকে সর্বাধিক করে তোলে তা নির্ধারণ করার জন্য একটি বক্স কক্স রূপান্তর প্রয়োগ করে। যদি একটি সুস্পষ্ট সংখ্যাসূচক মানটি পপ আউট করে, তারা সেই রূপান্তরটি ব্যবহার করবে। যদি তা না হয় তবে তারা "বিতরণ ফ্রি" উইলকক্সন পরীক্ষা ব্যবহার করবে। ইভেন্টগুলির এই অ্যাডহক ক্রমটির জন্য, আমি আশা করতে শুরু করতে পারি না যে কীভাবে সহজ, বোকা টি-টেস্ট সাফল্য পেয়েছে যখন গড় পার্থক্যের একটি সহজ পরীক্ষার জন্য ক্রমাঙ্কন এবং শক্তি গণনা করব। আমি সন্দেহ করি এর মতো বোকা কাজগুলি হজের পর্যাপ্ত অনুমানের সাথে গাণিতিকভাবে সংযুক্ত করা যেতে পারে: আমরা যে সত্য হতে চাই তা নির্দিষ্ট অনুমানের অধীনে উচ্চ বিদ্যুতের অনুমানকারী। যাইহোক, এই প্রক্রিয়া হয় এর পর্যাপ্ত অনুমান: অনুমানকারীরা যা একটি নির্দিষ্ট অনুমানের অধীনে উচ্চ শক্তি হয় আমরা সত্য হতে চাই। যাইহোক, এই প্রক্রিয়া হয় এর পর্যাপ্ত অনুমান: অনুমানকারীরা যা একটি নির্দিষ্ট অনুমানের অধীনে উচ্চ শক্তি হয় আমরা সত্য হতে চাই। যাইহোক, এই প্রক্রিয়া হয়পরিসংখ্যানগত নয় কারণ মিথ্যা ধনাত্মক ত্রুটির হার নিয়ন্ত্রণ করা হয়নি।
যে ধারণাটি প্রবণতাগুলি ভুলভাবে আবিষ্কার করা যেতে পারে কোনও তথ্য এলোমেলোভাবে সেটগুলিতে সম্ভবত "মুন্চেসেন স্ট্যাটিস্টিকাল গ্রিড" নামক মার্টিনের লেখা ভাল নিবন্ধের সন্ধান করতে পারে । এটি একটি খুব আলোকিত পড়া এবং ১৯৮৪ সাল থেকে মেশিন লার্নিংয়ের সোনার বাছুরটি জন্মগ্রহণের আগে আমাদের কাছে বর্তমানে এটি জানা রয়েছে। প্রকৃতপক্ষে, একটি সঠিকভাবে বর্ণিত অনুমানটি মিথ্যা যাচাইযোগ্য, তবে টাইপ 1 ত্রুটিগুলি আমাদের ডেটা চালিত সমাজে আগের চেয়ে অনেক বেশি ব্যয়বহুল হয়ে উঠেছে। উদাহরণস্বরূপ, ভ্যাকসিন বিরোধী গবেষণার মিথ্যা প্রমাণগুলি বিবেচনা করুন যা পের্টুসিসের মৃত্যুর একটি বিশাল ক্রম ঘটায়। ভ্যাকসিনগুলি জনসাধারণের পঞ্চায়েতকে ছড়িয়ে দেওয়া ফলাফলগুলি একটি একক গবেষণার সাথে যুক্ত ছিল(যা ভুল হলেও এটি বাহ্যিক গবেষণার দ্বারা নিশ্চিত করা হয়নি)। ফলাফল পরিচালনা এবং প্রমাণের সৎ-থেকে-সদর্থকতা বলার জন্য একটি নৈতিক গতি আছে। প্রমাণ কত শক্ত? আপনি যে পি-মানটি পেয়েছেন তার সাথে সামান্যই সম্পর্ক রয়েছে, তবে যে-পি-ভ্যালুটি আপনি বলেছিলেন যে আপনি উল্লেখযোগ্য বলবেন call এবং মনে রাখবেন, আপনার ডেটা ফুড করলে পি এর মান পরিবর্তন হয়, এমনকি যখন চূড়ান্ত নিশ্চিতকরণ পরীক্ষার কিছু আলাদা হয় (প্রায়শই অনেক ছোট) reports
হ্যাঁ! কোচরেন রিপোর্টের মতো জার্নালগুলি দ্বারা প্রকাশিত মেটা-বিশ্লেষণগুলিতে আপনি স্পষ্ট দেখতে পাচ্ছেন যে পরীক্ষার ফলাফল বিতরণটি নরমালের চেয়ে বেশি দ্বিখণ্ডিত দেখায়, কেবল ইতিবাচক এবং নেতিবাচক ফলাফলগুলি এটি জার্নালে পরিণত করে। এই প্রমাণটি ক্লিনিকাল অনুশীলনে যে কোনও ব্যক্তির পক্ষে একেবারে kersণ এবং বিভ্রান্তিকর। পরিবর্তে, যদি আমরা নাল ফলাফল প্রকাশ করি (এটি যে পড়াশুনা থেকে আসে যার ফলাফলগুলিতে আমরা আগ্রহী হতাম না কেন তারা আসুক না কেন ), তবে আমরা আশা করতে পারি মেটা-বিশ্লেষণগুলি আসলে অর্থবহ এবং প্রতিনিধিত্বমূলক প্রমাণের প্রতিনিধিত্ব করবে।

— Adamo
সূত্র

1

" কর্মের ভিত্তি হিসাবে সম্ভাবনার উপর" উইলিয়াম ডেমিং "গণনা" এবং "বিশ্লেষণাত্মক" অধ্যয়নের মধ্যে একটি পার্থক্য তৈরি করে। তিনি এই বক্তব্যটি তুলে ধরেছেন যে প্রতিটি পরীক্ষার ফলাফল পরীক্ষার সঠিক পরিবেশের উপর শর্তসাপেক্ষ, সুতরাং পরিসংখ্যানবিদরা "টাইপ আই ত্রুটি হার" নিয়ন্ত্রণের চেষ্টা করেন যখন চিকিত্সা বিভিন্ন পরিস্থিতিতে প্রয়োগ করা হয় তখন অজানা পরিমাণে সর্বদা বন্ধ হয়ে যাবে ।

— ফ্লাস্ক

@ ফ্লাস্ক একইভাবে আন্তর্জাতিক মহাকাশ স্টেশনে কোনও যান্ত্রিক প্রক্রিয়া পুরোপুরি ক্যালিব্রেটেড হয় না, তবে ত্রুটি কমানোর বিষয়ে বিশদ বিবরণ ও হ্রাস সম্পর্কে ইঞ্জিনিয়ারদের মনোযোগ নিশ্চিত করে যে আমরা আমাদের হাতে কোনও স্পেস অদ্ভুততা খুঁজে পাইনি।

— আদম

ইঞ্জিনিয়াররা (আশাকরি) সমস্ত প্রত্যাশিত অবস্থার অধীনে উপাদানগুলি পরীক্ষা করে এবং তারপরে তারা উত্পন্ন মডেলগুলির উপর ভিত্তি করে ত্রুটির অতিরিক্ত মার্জিন যুক্ত করে। এটিই ডেমিংয়ের পক্ষ থেকে প্রাপ্ত আচরণের প্রবণতা এবং কেবলমাত্র একটি গবেষণার নমুনা ত্রুটির মূল্যায়ন থেকে কারণগুলির মধ্যে চিকিত্সা বা সম্পর্কের ভবিষ্যতের পারফরম্যান্স সম্পর্কে সিদ্ধান্ত গ্রহণের চেষ্টা থেকে পৃথক। এটি খুব আকর্ষণীয় একটি পার্থক্য যা আমি অন্য কোথাও উল্লেখ করি নাই।

— ফ্লাস্ক

আমি মনে করি না যে এটি বলা মোটেও সংজ্ঞাযোগ্য নয় যে একটি "প্রক্রিয়াটি পরিসংখ্যানগত নয় কারণ মিথ্যা ধনাত্মক ত্রুটির হার নিয়ন্ত্রণ করা হয়নি।" এর ত্রুটি হার নিয়ন্ত্রণের সাথে ঘনত্বের তুলনায় পরিসংখ্যানের অনেক কিছুই রয়েছে এবং অ-ঘনত্বে বিটগুলি বিজ্ঞানের জন্য আরও দরকারী বিট। আপনি আমার সাম্প্রতিক আর্কাইভ পেপারটি পড়তে পছন্দ করতে পারেন: arxiv.org/abs/1311.0081

— মাইকেল

1

@ অ্যাডামো ঘনত্ববাদী অনুমানের মধ্যে প্রমাণের পরিমাণের অভাবেই বায়েশীয়দের (এবং সম্ভাবনাবিদদের) পক্ষে একটি জনপ্রিয় মতামত, তবে এটি যথাযথভাবে প্রমাণিত এবং এটি প্রথম কাগজে নেইমেন এবং পিয়ারসনের স্পষ্টভাবে প্রকাশিত মতামত যেখানে তারা ঘন ঘনবাদী পদ্ধতিগুলি তৈরি করেছিলেন! আপনার খালি মনে মনে আমার কাগজটি পড়া উচিত। তথ্য সব আছে।

— মাইকেল লু

3

প্রথমত, আমি কোনও পরিসংখ্যানবিদ নই, কেবল একজন গবেষক যিনি আমার চারপাশে যে পদ্ধতিগুলি ব্যবহার করছেন তা আমি কেন অনুমান করছি এবং কেন "কীসের মতো বুনিয়াদি ধারণা সম্পর্কে এত বিভ্রান্তি রয়েছে তা নির্ধারণ করার জন্য গত কয়েক বছর ধরে এটি পর্যবেক্ষণ করেছেন who একটি পি মান হয়? " আমি আমার দৃষ্টিকোণ দেব।

প্রথমত, একটি স্পষ্টকরণ প্রশ্ন:

দ্য টাইম ম্যাগাজিন লিখেছিল,
"A power of 0.8 means that of ten true hypotheses tested, only two will be ruled out > because their effects are not picked up in the
তথ্য; "

আমি নিশ্চিত নই যে আমি পাঠ্যপুস্তকে যে পাওয়ার ফাংশনটি পেয়েছি তার সংজ্ঞাতে এটি কীভাবে খাপ খায়, যা প্যারামিটার function এর ফাংশন হিসাবে নালটিকে প্রত্যাখ্যান করার সম্ভাবনা θ বিভিন্ন সহ θ আমাদের আলাদা শক্তি আছে, তাই আমি উপরের উদ্ধৃতিটি বেশ বুঝতে পারি না।

শক্তি θ, বৈকল্পিক এবং নমুনা আকারের একটি ক্রিয়া। আমি বিভ্রান্তি কী তা নিশ্চিত নই। এছাড়াও অনেক ক্ষেত্রে তাত্পর্য পরীক্ষা করার জন্য গড় 1 = গড় 2 এর নাল অনুমানটি ব্যবহার করা সর্বদা মিথ্যা। এই ক্ষেত্রে তাত্পর্য মাত্র নমুনা আকারের একটি ফাংশন। অনুগ্রহ করে পল মিহলের "সাইকোলজি অ্যান্ড ফিজিক্স ইন থিওরি-টেস্টিং: একটি মেথডোলজিকাল প্যারাডক্স" পড়ুন এটি আমার পক্ষে অনেক কিছুই স্পষ্ট করে এবং আমি কখনও পর্যাপ্ত প্রতিক্রিয়া দেখিনি। পল মেহেলের আরও কয়েকটি কাগজপত্র রয়েছে যা আপনি তাঁর নাম অনুসন্ধান করে খুঁজে পেতে পারেন।

আমার রাষ্ট্রবিজ্ঞান / অর্থনীতির ক্ষেত্রে, পণ্ডিতগণ সহজলভ্য সমস্ত দেশের-বছরের ডেটা ব্যবহার করেন। সুতরাং, আমাদের কি এখানে নমুনা ফিডিংয়ের সাথে উদ্বিগ্ন হওয়া উচিত নয়?

আপনি যদি সিমন্স ২০১১ এর কাগজটি পড়েন তবে এটি কেবলমাত্র "পি-হ্যাকিং" কৌশলগুলির মধ্যে একটি। যদি এটি সত্য হয় যে কেবলমাত্র একটি ডেটা সেট রয়েছে এবং কেউ এ থেকে চূড়ান্ত নমুনা বের করে না তবে আমি অনুমান করি যে নমুনার আকার বাড়ানোর কোনও জায়গা নেই।

একাধিক পরীক্ষা চালানো কিন্তু কেবলমাত্র একটি মডেলের প্রতিবেদন করার সমস্যাটি কেবল এই বিষয়টির দ্বারা ঠিক করা যেতে পারে যে অনুশাসনে থাকা অন্য কেউ আপনার কাগজটি পুনরায় পরীক্ষা করবে এবং দৃ rob় ফলাফল না পাওয়ার জন্য আপনাকে তাত্ক্ষণিক আঘাত করবে? এটি অনুমান করে, আমার ক্ষেত্রের পণ্ডিতরা দৃ rob়তা চেক বিভাগে অন্তর্ভুক্ত হওয়ার সম্ভাবনা বেশি রয়েছে, যেখানে তারা দেখায় যে একাধিক মডেলের স্পেসিফিকেশন ফলাফল পরিবর্তন করে না। এটা কি যথেষ্ট?

প্রতিলিপি প্রকাশের পক্ষপাত ছাড়াই যদি ঘটে থাকে তবে "নাল ফলাফলের জার্নালগুলির" প্রয়োজন হবে না। আমি বলব দৃ the়তা চেক বিভাগটি থাকা ভাল তবে গবেষকরা যে নালীর ফলাফল বিবেচনা করে তা প্রকাশ করতে ব্যর্থ গবেষকদের উপস্থিতিতে যথেষ্ট নয়। এছাড়াও আমি একই ফলাফলের একাধিক বিশ্লেষণ কৌশলগুলি একই উপসংহারে আসার কারণে একটি ফলাফল শক্তিশালী হিসাবে বিবেচনা করব না। একটি দৃ result় ফলাফল হ'ল নতুন ডেটাতে প্রভাব / পারস্পরিক সম্পর্ক / ইত্যাদি সম্পর্কিত সঠিক ভবিষ্যদ্বাণী করে ।

একটি প্রতিলিপি দুবার পি <0.05 পাচ্ছে না। তত্ত্বটি যদি প্রথম গবেষণার চেয়ে পৃথক প্রভাব / পারস্পরিক সম্পর্ক / ইত্যাদি পূর্বাভাস দেয় তবে তাকে আরও দৃust় বিবেচনা করা উচিত। আমি কোনও প্রভাব বা পারস্পরিক সম্পর্কের উপস্থিতি উল্লেখ করি না, তবে সম্ভাব্য মানের মানগুলির তুলনায় যথাযথ মান বা মানের একটি ছোট পরিসর range নাল অনুমানটি মিথ্যা হওয়ার ক্ষেত্রে বর্ধিত / হ্রাসপ্রাপ্ত প্রভাব বা ধনাত্মক / নেতিবাচক সম্পর্কের উপস্থিতি 100% সত্য হওয়ার সম্ভাবনা রয়েছে। মেহল পড়ুন।

অ্যান্ড্রু গেলম্যান এবং অন্যরা এই বিষয়টি উত্থাপন করেছেন যে ডেটা যাই হোক না কেন, এমন কিছু "প্যাটার্ন" সন্ধান এবং প্রকাশ করা সর্বদা সম্ভব হবে যা সত্যই সেখানে নেই। তবে এই উদ্বেগের বিষয় হওয়া উচিত নয় যে কোনও অভিজ্ঞতাবাদী "প্যাটার্ন" কোনও তত্ত্ব দ্বারা সমর্থিত হওয়া উচিত এবং একটি শৃঙ্খলার মধ্যে প্রতিদ্বন্দ্বী তত্ত্বগুলি কেবল একটি বিতর্ক / দৌড়ের সাথে জড়িত থাকবে যে শিবির আরও "নিদর্শন" সন্ধান করতে সক্ষম হবে? বিভিন্ন জায়গায়। যদি কোনও নিদর্শন সত্যই উত্সাহিত হয়, তবে অন্যান্য নমুনা / সেটিংসে কোনও অনুরূপ প্যাটার্ন না থাকলে পিছনের তত্ত্বটি দ্রুত নিচে নামবে। বিজ্ঞান কী এভাবে অগ্রগতি করে না?

গবেষকরা নাল ফলাফল প্রকাশ করতে ব্যর্থ হলে বিজ্ঞান সঠিকভাবে কাজ করতে পারে না। দ্বিতীয় নমুনা / সেটিংয়ে প্যাটার্নটি আবিষ্কার করা যায় নি কেবল এর অর্থ এই নয় যে এটি প্রাথমিক অধ্যয়নের শর্তে বিদ্যমান নেই।

ধরে নিচ্ছি যে নাল ফলাফলের জন্য জার্নালের বর্তমান প্রবণতাটি প্রকৃতপক্ষে প্রস্ফুটিত হবে, সমস্ত নাল এবং ইতিবাচক ফলাফলগুলি একত্রে একত্রিত করার জন্য এবং তত্ত্বের প্রতি একটি ধারণা তৈরি করার উপায় রয়েছে যে তারা সকলেই পরীক্ষার চেষ্টা করে?

এটি মেটা-বিশ্লেষণ হবে । এক্ষেত্রে নাল ফলাফল সম্পর্কে বিশেষ কিছুই নেই, গবেষকরা এগুলি প্রকাশ করেন না কারণ পি-মানগুলি স্বেচ্ছাসেদী দোরগোড়ার উপরে ছিল। প্রকাশনার পক্ষপাতিত্বের উপস্থিতিতে মেটা-বিশ্লেষণ অবিশ্বাস্য যেমন প্রকাশনা পক্ষপাতদুষ্টে ভুগছে পুরো সাহিত্যিক। যদিও এটি কার্যকর হতে পারে তবুও তত্ত্বটি পরীক্ষা করার পরে একটি নির্দিষ্ট ভবিষ্যদ্বাণী তৈরি করার চেয়ে কোনও তত্ত্বের মূল্যায়ন করার জন্য মেটাল বিশ্লেষণ অনেক নিকৃষ্ট। নতুন পূর্বানুমানগুলি যতক্ষণ বেরিয়ে আসে এবং স্বতন্ত্র গ্রুপগুলি দ্বারা প্রতিলিপি করা হয় ততক্ষণ প্রকাশনা পক্ষপাতিত্ব ততটা গুরুত্বপূর্ণ নয়।

— ফ্লাস্ক
সূত্র

সময় উদ্ধৃতি সম্পর্কে আমার বিভ্রান্তি হ'ল উদ্ধৃতিটি বোঝার সাথে সাথে নাল সত্য হওয়াতে পাওয়ার ফাংশন সীমাবদ্ধ করা উচিত নয়। যদি আমার ভুল না হয় তবে পাওয়ার ফাংশনের ডোমেনটি পুরো প্যারামিটার স্পেস। এবং তাই, কোনও নির্দিষ্ট "পাওয়ার 0.8" নেই যা পরীক্ষার জন্য নির্ধারিত করতে পারে।

— হাইজেনবার্গ

একটি তত্ত্ব নতুন ডেটাতে পরীক্ষা করা প্রয়োজন যে বিন্দুতে আমি আপনার সাথে পুরোপুরি একমত। কিন্তু রাষ্ট্রবিজ্ঞান বা ম্যাক্রো অর্থনীতির ক্ষেত্রে, যেখানে আমাদের কেবল এতগুলি দেশ এবং এত বছর রয়েছে, সেই প্রচেষ্টা কি তখনই ব্যর্থ হয়?

— হাইজেনবার্গ

@ সহ প্রতি সেকেন্ডে নতুন ডেটা যুক্ত করার সুযোগ রয়েছে। তত্ত্বটি ভবিষ্যতের ভবিষ্যদ্বাণী করা উচিত। জ্যোতির্বিদ্যায় উদাহরণস্বরূপ ধূমকেতুগুলির অবস্থান সম্পর্কে ভবিষ্যদ্বাণী করা হয়েছিল। এছাড়াও আপনি একটি প্রত্যাশিত প্যারামিটার মান জন্য শক্তি গণনা। সুতরাং উদ্ধৃতিটির ক্ষেত্রে, তারা এমন একটি তত্ত্ব পরীক্ষা করার ক্ষমতার কথা উল্লেখ করবে যা কমপক্ষে r = .5 এর একটি সম্পর্ককে পূর্বাভাস করেছিল।

— ফ্লাস্ক

R = 0.5 কে স্পষ্ট করা কোনও তত্ত্ব দ্বারা পূর্বাভাসের একটি পারস্পরিক সম্পর্কের উদাহরণ হতে পারে।

— ফ্লাস্ক

2

আমি এটিকে সহজভাবেই বলব কারণ নাল অনুমানের পরীক্ষাটি কেবল নাল অনুমানের বিষয়ে is এবং সাধারণত, নাল হাইপোথিসিসটি সাধারণত আগ্রহের বিষয় নয়, এমনকি "স্থিতাবস্থা "ও হতে পারে না - বিশেষত অনুমানের ধরণের অনুমানের পরীক্ষায়। সামাজিক বিজ্ঞানে প্রায়শই কোনও স্থিতাবস্থা থাকে না, সুতরাং নাল অনুমানটি বেশ স্বেচ্ছাসেবী হতে পারে। এটি বিশ্লেষণে একটি বিশাল পার্থক্য তৈরি করে, যেহেতু প্রারম্ভিক বিন্দুটি সংজ্ঞায়িত, তাই বিভিন্ন গবেষণাগুলি বিভিন্ন নাল হাইপোথিসিস দিয়ে শুরু করা হচ্ছে, সম্ভবত তারা যা কিছু তথ্য উপলব্ধ রয়েছে তার উপর ভিত্তি করে। এটিকে নিউটনের গতির নিয়মের মতো কিছুটির সাথে তুলনা করুন - এটি নাল অনুমান হিসাবে এটি বোধগম্য হয় এবং এই প্রারম্ভিক বিন্দু থেকে আরও ভাল তত্ত্বগুলি অনুসন্ধান করার চেষ্টা করে।

অতিরিক্তভাবে, পি-মানগুলি সঠিক সম্ভাবনা গণনা করে না - লেজ সম্ভাবনার বিষয়ে আমরা জানতে চাই না, যদি না আপনি লেজগুলিতে আরও সরানোর কারণে বিকল্প অনুমানের সম্ভাবনা বেশি থাকে। আপনি যা চান তা তত্ত্বটি বাস্তবে যা দেখেছে তা কতটা ভালভাবে ভবিষ্যদ্বাণী করেছে। উদাহরণস্বরূপ, ধরুন আমি ভবিষ্যদ্বাণী করি যে "হালকা ঝরনা" হওয়ার 50% সম্ভাবনা রয়েছে এবং আমার প্রতিযোগী ভবিষ্যদ্বাণী করে যে সেখানে 75% সুযোগ রয়েছে। এটি সঠিক হতে দেখা যায় এবং আমরা হালকা ঝরনা পর্যবেক্ষণ করি। এখন কোন আবহাওয়া-ব্যক্তি সঠিক তা নির্ধারণ করার সময়, আপনার "বজ্রপাত" হওয়ার 40% সুযোগ দেওয়ার জন্য আমার ভবিষ্যদ্বাণীটি অতিরিক্ত ক্রেডিট দেওয়া উচিত নয় বা "বজ্রপাত" কে 0% সুযোগ দেওয়ার জন্য আমার প্রতিযোগীর কাছ থেকে ক্রেডিট নেওয়া উচিত নয়।

$I$ $D$ $H$

বি এফ = \frac{পি (ডি | এইচ আমি)}{পি (ডি | \bar{এইচ} আমি)}

$BF=\frac{P(D|HI)}{P(D|\overline{H}I)}$

$H$ $BF=\infty$ $H$ $0.001$

একটা সুপরিচিত এবং সহজে ভুল বুঝে ভাবেন এই হল যেখানে একটি মুদ্রা ক্ষতিগ্রস্থ হয় গবেষণামূলক উদাহরণ কাল ও মাথা সংখ্যা সামান্য অর্ধেক বন্ধ -। নাল মডেল একটি প্রান্তিক মডেল জন্য $104,490,000$ $52,263,471$ $y\sim Bin(n,0.5)$ $y|\theta\sim Bin(n,\theta)$ $\theta\sim U(0,1)$ $y\sim BetaBin(n,1,1)\sim DU(0,\dots,n)$ $p=0.00015$

বি এফ = \frac{(\binom{এন}{Y}) 2^{- এন}}{\frac{1}{এন + + 1}} = \frac{(এন + + 1)!}{2^{এন} Y! (এন - Y)!} = 11,90

$BF=\frac{{n\choose y}2^{-n}}{\frac{1}{n+1}}=\frac{(n+1)!}{2^ny!(n-y)!}=11.90$

এটা কিভাবে হতে পারে? বেইস ফ্যাক্টর ছোট পি-মান সত্ত্বেও নাল অনুমানকে সমর্থন করে? ঠিক আছে, বিকল্পটি দেখুন - এটি পর্যবেক্ষণকৃত মানটির সম্ভাব্যতা দিয়েছে $\frac{1}{n+1}=0.0000000096$ $0.00000011$

গেলম্যান সমালোচনা করেছেন এমন উদাহরণের জন্য এটি বিশেষভাবে সত্য - সেখানে কেবলমাত্র একটি হাইপোথিসিস পরীক্ষা করা হয়েছিল, এবং তেমন চিন্তা করা যায়নি ক) বিকল্পগুলির ব্যাখ্যাগুলি কী (বিশেষত বিভ্রান্তিকর এবং প্রভাবগুলি নিয়ন্ত্রণ করা হয় না), খ) কতগুলি পূর্ববর্তী গবেষণার দ্বারা সমর্থিত বিকল্পগুলি, এবং সর্বাগ্রে গুরুত্বপূর্ণ, গ) তারা কোন পূর্বাভাস (যদি থাকে) নাল থেকে যথেষ্ট পৃথক?

$\overline{H}$ $H_1,\dots,H_K$ $H_k$ $0.01$ $0.1$

$K$

{এইচ}_{কে + + 1} = অন্য কিছু এখনও ভাবেনি

$H_{K+1}=\text{Something else not yet thought of}$

H_{K + 1}

$H_{K+1}$

H_{1}, \dots, H_{K}

$H_1,\dots,H_K$

H_{0}

$H_0$

H_{A}

$H_A$

H_{1}, \dots, H_{K}

$H_1,\dots,H_K$

— probabilityislogic
সূত্র