অনেক পি-মানগুলির অভিন্ন বিতরণ কী এইচ 0 সত্য বলে পরিসংখ্যানগত প্রমাণ দেয়?

Question

একটি একক পরিসংখ্যান পরীক্ষা নাল অনুমান (এইচ 0) মিথ্যা এবং সেইজন্য বিকল্প অনুমান (এইচ 1) সত্য যে প্রমাণ দিতে পারে। তবে এটি ব্যবহার করে এইচ 0 টি সত্য নয় কারণ এইচ 0 প্রত্যাখ্যান করতে ব্যর্থ হওয়ার অর্থ এই নয় যে এইচ 0 সত্য।

তবে ধরে নেওয়া যাক আপনার কাছে অনেকবার স্ট্যাটিস্টিকাল টেস্ট করার সম্ভাবনা রয়েছে কারণ আপনার অনেকগুলি ডেটাসেট রয়েছে, একে অপরের থেকে আলাদা। সমস্ত ডেটাসেট একই প্রক্রিয়ার ফলাফল এবং আপনি নিজেই প্রক্রিয়াটির উপরে কিছু বিবৃতি (H0 / H1) দিতে চান এবং প্রতিটি একক পরীক্ষার ফলাফলের প্রতি আগ্রহী নন। তারপরে আপনি সমস্ত ফলিত পি-মান সংগ্রহ করেন এবং হিস্টোগ্রাম প্লটের মাধ্যমে দেখতে পান যে পি-মানগুলি স্পষ্টভাবে অভিন্নভাবে বিতরণ করা হয়েছে।

এখন আমার যুক্তি হ'ল এইচটি যদি সত্য হয় তবেই ঘটতে পারে - অন্যথায় পি-মানগুলি আলাদাভাবে বিতরণ করা হবে। এইচ এইচ 0 সত্য যে উপসংহারে এটি যথেষ্ট প্রমাণ? বা আমি কি এখানে কিছু অপরিহার্য বিষয় মিস করছি, কারণ "এইচ 0 সত্য বলে" লেখার জন্য আমাকে অনেক ইচ্ছাশক্তি লেগেছিল যা কেবল আমার মাথায় ভয়াবহভাবে ভুল বলে মনে হচ্ছে।

Comments

আপনি হয়ত একটি পৃথক প্রশ্নের stats.stackexchange.com/questions/171742/… এর উত্তর সম্পর্কে আগ্রহী হতে পারেন যার এখানে অনুমান সম্পর্কে কিছু মন্তব্য রয়েছে।

— mdewey

H0 এর সংজ্ঞা দ্বারা মিথ্যা।

— জোশুয়া

একদিকে নোটে, কেন আমার এতগুলি পরীক্ষা করা হয়েছে (এবং কেবলমাত্র একটি একক মধ্যে সমস্ত তথ্য একত্রিত হয়নি) তা হ'ল আমার ডেটা স্থানগতভাবে বিশ্বজুড়ে বিতরণ করা হয়েছে এবং আমি দেখতে চেয়েছিলাম যে সেখানে স্থানিক নিদর্শন রয়েছে কিনা? পি-মানগুলি নেই (তবে তা যদি না থাকে তবে তার অর্থ হ'ল হয় স্বাধীনতা লঙ্ঘিত হয়েছে বা পৃথিবীর বিভিন্ন অংশে এইচ 0 / এইচ 1 সত্য)। আমি এটিকে প্রশ্ন লেখায় অন্তর্ভুক্ত করি নি কারণ আমি এটিকে সাধারণ রাখতে চেয়েছিলাম।

— লিয়েন্ডার মোসিংগার

Answer 1

আমি আপনার প্রশ্নটি পছন্দ করি, তবে দুর্ভাগ্যক্রমে আমার উত্তরটি হ্যাঁ, এটি $H_0$ প্রমাণ করে না । কারণ খুব সহজ। আপনি কীভাবে জানবেন যে পি-মানগুলির বিতরণ অভিন্ন? আপনাকে সম্ভবত অভিন্নতার জন্য একটি পরীক্ষা চালাতে হবে যা আপনাকে তার নিজস্ব পি-মান ফিরিয়ে দেবে, এবং আপনি একই ধরণের অনুমানের প্রশ্নটি শেষ করবেন যা আপনি এড়াতে চাইছিলেন, কেবল আরও এক ধাপ এগিয়ে। আসল $H_0$ এর পি-মানটি দেখার পরিবর্তে , আপনি মূল পি-মানগুলির বন্টনের অভিন্নতার বিষয়ে অন্য একটি $H'_0$ এর পি-মানটি দেখুন ।

হালনাগাদ

এখানে বিক্ষোভ। আমি গাউসিয়ান এবং পোইসন বিতরণ থেকে 100 টি পর্যবেক্ষণের 100 টি নমুনা তৈরি করি, তারপরে প্রতিটি নমুনার স্বাভাবিকতা পরীক্ষার জন্য 100 পি-মানগুলি পাই। সুতরাং, প্রশ্নের ভিত্তি হ'ল যদি পি-মানগুলি অভিন্ন বন্টন থেকে হয়, তবে এটি প্রমাণ করে যে নাল অনুমানটি সঠিক, যা পরিসংখ্যানিক অনুমানের ক্ষেত্রে "অস্বীকার করতে ব্যর্থ" এর চেয়ে শক্তিশালী বক্তব্য। সমস্যাটি হ'ল "পি-মানগুলি ইউনিফর্ম থেকে আসে" এটি একটি অনুমান নিজেই, যা আপনাকে কোনওভাবে পরীক্ষা করতে হবে।

নীচের ছবিতে (প্রথম সারিতে) আমি গুসিয়ান এবং পোইসন নমুনার জন্য স্বাভাবিকতা পরীক্ষা থেকে পি-মানগুলির হিস্টোগ্রামগুলি দেখছি এবং আপনি দেখতে পাচ্ছেন যে একটির তুলনায় অন্যটি একরকম কিনা তা বলা শক্ত। এটা আমার মূল বিষয় ছিল।

দ্বিতীয় সারিতে প্রতিটি বিতরণ থেকে একটি নমুনা দেখায়। নমুনাগুলি তুলনামূলকভাবে ছোট, সুতরাং আপনার সত্যিই খুব বেশি বিনা থাকতে পারে না। আসলে, এই বিশেষ গাউসীয় নমুনা হিস্টোগ্রামে তেমন গাউসিয়ানকে দেখায় না।

তৃতীয় সারিতে আমি হিস্টোগ্রামে প্রতিটি বিতরণের জন্য 10,000 টি পর্যবেক্ষণের সম্মিলিত নমুনাগুলি দেখছি। এখানে, আপনি আরও বিনা রাখতে পারেন, এবং আকারগুলি আরও সুস্পষ্ট।

অবশেষে, আমি একই স্বাভাবিকতা পরীক্ষা চালাই এবং সম্মিলিত নমুনার জন্য পি-মান পাই এবং এটি পয়সনের পক্ষে স্বাভাবিকতা প্রত্যাখ্যান করে, যখন গাউসির পক্ষে প্রত্যাখ্যান করতে ব্যর্থ হয়। পি-মানগুলি হ'ল: [0.45348631] [0.]

এটি অবশ্যই প্রমাণ নয়, তবে সাবমেল থেকে পি-ভ্যালুগুলির বিতরণ বিশ্লেষণ করার পরিবর্তে সম্মিলিত নমুনায় আপনি একই পরীক্ষাটি আরও ভালভাবে চালাবেন এমন ধারণার প্রদর্শন।

পাইথন কোডটি এখানে:

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

Comments

@ লিন্ডারমোনসিংগার আপনি আপনার সমস্ত পরীক্ষা একের মধ্যে সংগ্রহ করে একটি শক্তিশালী পয়েন্ট বানাতে চলেছেন। মনে করুন, আপনার কাছে 100 টি পর্যবেক্ষণ সহ একটি নমুনা রয়েছে, এবং পি-মান পাবেন; তারপরে 99 অতিরিক্ত নমুনা পান এবং 100 পি-মান সহ শেষ হন। পরিবর্তে, আপনি মাত্র 10,000 টি পর্যবেক্ষণের নমুনা চালাতে এবং পি-মান পেতে পারেন, তবে এটি আরও দৃinc়প্রত্যয়ী হবে।

— আকসকল

@ লিন্ডারমোসিঞ্জার, এটি সম্ভবত ছোট না হওয়ার সম্ভাবনা রয়েছে

— আকসকল

আপনার উত্তর প্রশ্ন করে না, তিনি প্রমাণ সম্পর্কে কিন্তু সম্পর্কে জিজ্ঞাসা করা হয়নি প্রমাণ ।

— কার্লোস সিনেলি

@ কার্লোস সিনেল্লি, তার কাছে পি-ভ্যালুগুলির একটি গুচ্ছ থাকবে, যা তিনি দাবি করবেন যে এটি অভিন্ন। মান প্রমাণের অভিন্ন না হওয়া পর্যন্ত কীভাবে প্রমাণ হবে? আমি এটার কথাই বলছি.

— আকসকল

@ আকসাল এটি গণিত সম্পর্কিত, একটি পর্যবেক্ষণ হওয়া ইভেন্ট (পি-ভ্যালুগুলির ক্রম) কোনও কিছুর প্রমাণ তৈরি করতে পারে না, তবে কারণটি যুক্তিযুক্তভাবে আপনার যুক্তি থেকে অনুসরণ করে না।

— কার্লোস সিনেল্লি

Answer 2

$\sqrt{n}$

$H_0$$H_0$

ডেভিড হিউম এবং প্রবর্তনের সমস্যা

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• কয়েক শতাব্দী ধরে, ইউরোপীয়রা প্রত্যক্ষিত প্রতিটি রাজহাঁস সাদা ছিল। তারপরে ইউরোপীয়রা অস্ট্রেলিয়া আবিষ্কার করেছিল এবং কালো রাজহাঁস দেখেছিল।

• কয়েক শতাব্দী ধরে, নিউটনের মহাকর্ষ আইনটি পর্যবেক্ষণের সাথে একমত হয়েছিল এবং এটি সঠিক বলে মনে করা হয়েছিল। আইনস্টাইনের সাধারণ আপেক্ষিকতত্ত্ব তত্ত্বের দ্বারা এটি উল্টে যায়।

$H_0$

এগিয়ে যাওয়ার উপায়গুলির একটি (অসম্পূর্ণ) তালিকা:

কার্ল পপার এবং মিথ্যাবাদিতা

ইন কার্ল পপার এর দৃশ্য, কোন বৈজ্ঞানিক আইন কি কখনো সত্য প্রমাণিত হয়। আমাদের কাছে কেবল বৈজ্ঞানিক আইন এখনও মিথ্যা প্রমাণিত হয়নি।

পপার যুক্তি দিয়েছিল যে বিজ্ঞান অনুমানগুলি অনুমান করে এবং তাদের কঠোর তদন্তের অধীনে এগিয়ে যায়। এটি ছাড়ের মাধ্যমে অগ্রণী হয় (তত্ত্বগুলি মিথ্যা প্রমাণিত পর্যবেক্ষণ), অন্তর্ভুক্তি নয় (তত্ত্বগুলি সত্য প্রমাণিত করার জন্য বারবার পর্যবেক্ষণ)। এই দর্শনের সাথে সামঞ্জস্য রেখে বেশিরভাগ ঘনত্ববাদী পরিসংখ্যান নির্মিত হয়েছিল।

পপারের দৃষ্টিভঙ্গি অত্যন্ত প্রভাবশালী হয়েছে, তবে কুহান এবং অন্যরা যেমন যুক্তি দিয়েছেন, এটি সফল বিজ্ঞানের অভিজ্ঞতাগতভাবে পর্যবেক্ষণের সাথে সামঞ্জস্য নয়।

বায়েসিয়ান, বিষয়গত সম্ভাবনা

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$। আপনি বিভিন্ন পরিস্থিতিতে কীভাবে আচরণ করেন তার এই বিষয়গত সম্ভাবনার সাথে কিছুটা চিঠিপত্র রয়েছে।

এটি আপনার নিজের ব্যক্তিগত বিশ্বাসকে মডেল করার একটি যৌক্তিক উপায়, তবে বাস্তবতার সাথে চিঠিপত্রের ক্ষেত্রে সত্য যে সম্ভাবনাগুলি তৈরি করা এটি কোনও যাদু পদ্ধতি নয়। যে কোনও বায়েশিয়ান ব্যাখ্যার জন্য একটি জটিল প্রশ্নটি প্রিয়াররা কোথা থেকে আসে? এছাড়াও, যদি মডেলটি ভুল বানান করা হয়?

জর্জ পি বক্স

জর্জি ইপি বক্সের একটি বিখ্যাত অ্যাফোরিজম হ'ল "সমস্ত মডেল মিথ্যা, তবে কিছু কার্যকর।"

নিউটনের আইন সঠিক নাও হতে পারে তবে এটি এখনও অনেক সমস্যার জন্য কার্যকর। আধুনিক বিগ ডাটা প্রসঙ্গে বাক্সের দৃষ্টিভঙ্গি বেশ গুরুত্বপূর্ণ যেখানে অধ্যয়নগুলি এতটাই শক্তিমান যে আপনি মূলত কোনও অর্থবহ প্রস্তাবকে প্রত্যাখ্যান করতে পারেন। কঠোরভাবে সত্য বনাম মিথ্যা একটি খারাপ প্রশ্ন: কোনও মডেল আপনাকে ডেটা বুঝতে সহায়তা করে কিনা সেটির জন্য গুরুত্বপূর্ণ।

অতিরিক্ত মন্তব্যগুলি

$\theta \approx 0$

সম্ভবত আগ্রহের বিষয়, পরিসংখ্যানগতভাবে একাধিক গবেষণার ফলাফল বিশ্লেষণকে মেটা-বিশ্লেষণ বলা হয় ।

সংকীর্ণ পরিসংখ্যানগত ব্যাখ্যাগুলির বাইরে আপনি কতদূর যেতে পারবেন তা একটি কঠিন প্রশ্ন।

Comments

এটি একটি আকর্ষণীয় পড়া হয়েছে এবং এটি সম্পর্কে ভাবার কিছু সুন্দর জিনিস দেওয়া হয়েছে! আমি আশা করি আমি একাধিক উত্তর গ্রহণ করতে পারি।

— লিয়েন্ডার মোসিংগার

বেশ ব্যাখ্যা। আমার প্রফেসর একবার পপারের চেতনায় কুহনের সংক্ষিপ্তসার করেছিলেন: 'বিজ্ঞান জানাজা থেকে শেষকৃত্যে অগ্রসর হয়'

— স্ক্রবার

কুহান ইত্যাদি পপ্পারের ভুলভাবে ব্যাখ্যা করে যখন তার পর্যবেক্ষণ দাবি করে যে বিজ্ঞান কীভাবে করা হয় তার সাথে মেলে না। এটি নেটিভ মিথ্যাবাদীবাদ হিসাবে পরিচিত, এবং পপার (পরে) সামনে রেখেছিল তা নয় । এটি খড়ের মানুষ।

— কনরাড রুডল্ফ

এর উত্তরগুলির মতো এটি আমি স্ট্যাক এক্সচেঞ্জ সাইটগুলিতে ভিজিট করতে থাকি।

— ট্রেলারিয়ান

Answer 3

একটি অর্থে আপনি কিছু ছোট ক্যাভ্যাট সহ সঠিক (পি-কার্ভ দেখুন):

1. $p \leq \alpha$$\alpha$$H_0$
2. $H_0$$H_0$

বাস্তবসম্মত অ্যাপ্লিকেশন সহ, আপনি অতিরিক্ত সমস্যা পেতে ঝোঁক। এগুলি বেশিরভাগই উত্থাপিত হয়, কারণ কোনও ব্যক্তি / ল্যাব / স্টাডি গ্রুপ সাধারণত সমস্ত প্রয়োজনীয় পড়াশোনা করতে পারে না। ফলস্বরূপ এক ব্যক্তি প্রচুর দল থেকে পড়াশোনার দিকে ঝুঁকছেন, যার পর্যায়ে আপনি উদ্বেগকে বৃদ্ধি করেছেন (যেমন আপনি যদি সমস্ত প্রাসঙ্গিক পরীক্ষা নিজেই করেন, কমপক্ষে আপনি জানতে পারতেন), তাত্পর্যপূর্ণ / অবাক করা তথ্যের বাছাইয়ের রিপোর্টিং, পি-হ্যাকিং, একাধিক টেস্টিং / একাধিক পরীক্ষার সংশোধন ইত্যাদি।

Comments

(+1) পাওয়ার পয়েন্টটি অত্যন্ত গুরুত্বপূর্ণ! বিভিন্ন তত্ত্বগুলি পর্যবেক্ষণের তুলনায় সমতুল্য ডেটা তৈরি করতে পারে এবং পরীক্ষামূলক নকশার একটি গুরুত্বপূর্ণ অংশটি এমন ডেটা উত্পাদন এবং / বা সংগ্রহ করা যা আপনাকে আলাদা করতে দেয়।

— ম্যাথু গন

Answer 4

নাল হাইপোথিসিস (এইচ 0): মাধ্যাকর্ষণ মহাবিশ্বের সমস্ত কিছুকে পৃথিবীর পৃষ্ঠের দিকে নিয়ে যায়।

বিকল্প অনুমান (এইচ 1): কিছুই কখনও পড়ে না।

$p < 0.01$

Comments

আপনি কি মনে করেন গ্যালিলিও এক মিলিয়ন ট্রায়াল করেছিল? শারীরিক বিজ্ঞানের ক্ষেত্রে এই জিনিসগুলির কোনওটিরই প্রয়োজন নেই। বৈজ্ঞানিক পদ্ধতি প্রয়োগ করে প্রকৃতির আইন প্রতিষ্ঠা করা পরিসংখ্যানগত অনুক্রমের মধ্যে হ্রাস পায় না।

— আকসকল

-1 এটি বৈজ্ঞানিকভাবে, পরিসংখ্যানগতভাবে এবং historতিহাসিকভাবে ভুল। গ্রীকরা একসময় বিশ্বাস করত যে এটিই এমন একাত্মতা যা পৃথিবীতে বস্তুগুলিকে আকৃষ্ট করে। খারাপ নয়, তবে 3+ বডি সিস্টেমের সমস্যাগুলি ভালভাবে ব্যাখ্যা করে না। অনুমানের পরিপূরক হওয়া উচিত। শেষ অবধি H_0 হিসাবে একটি সম্ভবত পরিচিত পক্ষপাত উল্লেখ করা এবং পরীক্ষাগুলি দেখানো একই ভুল উপসংহারে নেতৃত্ব অব্যাহত রাখার ফলে উপসংহারটি সঠিক হয় না। উদাহরণস্বরূপ, মহিলারা পুরুষদের চেয়ে কম উপার্জন করেন / বি তারা কম চালিত হয়, সমস্ত মহিলাদের বেতনের নমুনা করুন, এইচটি 100 সত্য!

— অ্যাডমো

@ অ্যাডামো এটিই আমার বক্তব্য।

— usul

@ অ্যাডামো, পাশ্চাত্য দেশগুলিতে মহিলারা নিজের পছন্দ, বিভিন্ন ধরণের বিতর্ক এবং কিছু জায়গায় প্রতিকূল কাজের পরিবেশ সহ বিভিন্ন কারণে কম কাজ করলে কম আয় করেন। যখন তারা একই কাজ করে, তখন তারা প্রায় একই আয় করে, যেমন মেডিকেয়ার নার্স বেতনগুলি যেখানে মহিলাগুলি সর্বাধিক সংখ্যা: মেডস্কেপ . com / স্লাইডশো/ … দেখুন… প্রতি ঘণ্টায় কাজ করার সময় তারা সকলেই একই $ 37 ডলার উপার্জন করে। পুরোপুরি অফ টপিক অবশ্যই।

— আকসকল

যদি আপনার নাল অনুমানটি Gravity causes everything in the universe to fall toward Earth's surfaceবিকল্প অনুমান না হয় There is at least one thing in the universe that does not fall toward the Earth's surfaceএবং না Nothing ever falls?

— এফ