সীমাবদ্ধ বৈকল্পের জন্য পরীক্ষা?

29

একটি নমুনা দেওয়া কি এলোমেলো পরিবর্তনশীলের প্রকরণের সূক্ষ্মতা (বা অস্তিত্ব) জন্য পরীক্ষা করা সম্ভব? নাল হিসাবে, হয় {বৈকল্পিকতা বিদ্যমান এবং সীমাবদ্ধ। বা {বৈকল্পের অস্তিত্ব নেই / অসীম is গ্রহণযোগ্য হবে। দার্শনিকভাবে (এবং গণনামূলকভাবে), এটি খুব বিস্ময়কর বলে মনে হচ্ছে কারণ সীমাবদ্ধ বৈকল্পিকতা ছাড়া একটি জনগোষ্ঠীর মধ্যে কোনও পার্থক্য থাকা উচিত নয় এবং বলুন যে খুব বড় বৈকল্পিক ( > ), তাই আমি আশাবাদী না যে এই সমস্যাটি হতে পারে সমাধান। $10^{400}$

আমার কাছে একটি পন্থা প্রস্তাব করা হয়েছিল যা কেন্দ্রীয় সীমাবদ্ধ উপপাদ্যটির মাধ্যমে ছিল: অনুমান করে যে নমুনাগুলি iid, এবং জনসংখ্যার সীমাবদ্ধ অর্থ আছে, কেউ পরীক্ষা করতে পারে, কোনওভাবে, নমুনাটির বর্ধনের সাথে নমুনার আকারের সঠিক মান ত্রুটি আছে কি না। যদিও আমি নিশ্চিত যে এই পদ্ধতিটি কার্যকর হবে বলে আমি বিশ্বাস করি। (বিশেষত, কীভাবে এটি সঠিক পরীক্ষায় পরিণত করা যায় তা আমি দেখতে পাই না))

hypothesis-testing variance central-limit-theorem

— shabbychef
সূত্র

1

প্রাসঙ্গিক: stats.stackexchange.com/questions/94402/… সামান্যতম সম্ভাবনা যদি বৈকল্পিকের অস্তিত্ব না থাকে, আপনি সীমাবদ্ধ বৈকল্পিকতা ধরে না এমন একটি মডেল ব্যবহার করা ভাল। এমনকি এটি পরীক্ষা করার বিষয়ে ভাবেন না।

— কেজেটিল বি হালওয়ারসন

13

না, এটি সম্ভব নয়, কারণ আকার এর একটি সীমাবদ্ধ নমুনা নির্ভরযোগ্যভাবে পার্থক্য করতে পারে না, বলুন, একটি সাধারণ জনগোষ্ঠী এবং একটি সাধারণ জনগোষ্ঠী যেখানে কাঁচি বিতরণের পরিমাণে দূষিত হয় যেখানে >> । (অবশ্যই পূর্বের সীমাবদ্ধ বৈকল্পিকতা রয়েছে এবং শেষেরটির অসীম বৈকল্পিকতা রয়েছে।) সুতরাং কোনও সম্পূর্ণ ননপ্রেমেট্রিক পরীক্ষায় এ জাতীয় বিকল্পের বিরুদ্ধে নির্বিচারে কম শক্তি থাকবে। $n$ $1/N$ $N$ $n$

— whuber
সূত্র

4

এটি একটি খুব ভাল দিক. তবে, বেশিরভাগ অনুমানের পরীক্ষাগুলিতে কোনও বিকল্পের বিরুদ্ধে নির্বিচারে শক্তি কম থাকে না? উদাহরণস্বরূপ শূন্য মানের জন্য একটি পরীক্ষার খুব কম শক্তি থাকবে যখন জন্য গড় সহ একটি জনসংখ্যার থেকে একটি নমুনা দেওয়া হবে when ছোট। আমি এখনও ভাবছি যে এই জাতীয় পরীক্ষাটি বুদ্ধিমানভাবে নির্মান করা যায় কিনা, এর কিছু ক্ষেত্রে এর শক্তি কম কিনা তাও কম।

ϵ

$\epsilon$

0 < | ϵ |

$0 \lt |\epsilon|$

— shabbychef

2

এছাড়াও, 'দূষিত' বিতরণগুলি যেমন আপনি উদ্ধৃত করেছেন তা সর্বদা আমার কাছে 'অভিন্ন বিতরণ' হওয়ার ধারণার সাথে মতবিরোধ বলে মনে হয়েছিল। সম্ভবত আপনি সম্মত হবে। দেখে মনে হয় যে বিতরণকে উল্লেখ না করেই কিছু বিতরণ থেকে নমুনা টানা হয় (ভাল, আইডির 'স্বাধীনভাবে' অংশটি অর্থবহ)।

— shabbychef

2

(1) আপনি নিম্ন শক্তি সম্পর্কে ঠিক বলেছেন, তবে সমস্যাটি এখানে (এটি আমার কাছে মনে হয়) এটি হচ্ছে "সীমাবদ্ধ" থেকে "অসীম" পর্যন্ত কোনও ধীরে ধীরে পদক্ষেপ নেই: সমস্যাটি আমাদের বলার মতো প্রাকৃতিক স্কেল বলে মনে হচ্ছে না একটি "বৃহত" প্রস্থানের তুলনায় নাল থেকে "ছোট" প্রস্থানকে কী বলে? (২) বিতরণ ফর্ম আইডির বিবেচনার তুলনায় স্বতন্ত্র। আমি এর অর্থ এই বলছি না যে, 1% ডেটা একটি কচির কাছ থেকে এবং 99% একটি সাধারণ থেকে আসবে। আমার অর্থ 100% ডেটা এমন একটি বিতরণ থেকে আসে যা প্রায় স্বাভাবিক তবে কচির লেজ থাকে। এই অর্থে ডেটা দূষিত বিতরণের জন্য আইআইডি করা যেতে পারে।

— হোবার

2

কেউ কি এই কাগজ পড়েছেন? বিজ্ঞান ডিরেক্টরি

— ক্রিস্টোফ

3

@ শ্যাববিচেফ যদি প্রতিটি পর্যবেক্ষণ সঠিক একই মিশ্রণ প্রক্রিয়া থেকে উত্থাপিত হয় তবে তারা যথাযথভাবে বিতরণ করা হবে, প্রতিটি মিশ্রণ বিতরণের অঙ্ক হিসাবে। যদি কিছু পর্যবেক্ষণ অপরিহার্যভাবে একটি প্রক্রিয়া থেকে হয় এবং অন্যগুলি অগত্যা পৃথক প্রক্রিয়া থেকে থাকে (পর্যবেক্ষণ 1 থেকে 990 স্বাভাবিক এবং পর্যবেক্ষণগুলি 991 থেকে 1000 কচী হয়), তবে সেগুলি অভিন্নরূপে বিতরণ করা হয়নি (যদিও সম্মিলিত নমুনা পৃথক পৃথক হতে পারে) একটি 99% -1% মিশ্রণ থেকে)। এটি মূলত আপনি যে প্রক্রিয়াটি ব্যবহার করছেন তার মডেলটিতে আসবে।

— গ্লেন_বি -রিনস্টেট মনিকা

16

বিতরণ না জেনে আপনি নিশ্চিত হতে পারবেন না। তবে কিছু কিছু কাজ আপনি করতে পারেন যেমন "আংশিক বৈকল্পিক" কী বলা যেতে পারে তা দেখে যেমন আপনার আকার নমুনা থাকে তবে আপনি প্রথম শর্তাবলীর সাথে থেকে 2 থেকে শুরু করে আনুমানিক বৈচিত্রটি আঁকেন । $N$ $n$ $n$ $N$

সীমাবদ্ধ জনসংখ্যার বৈচিত্র সহ, আপনি আশা করেন যে আংশিক বৈচিত্রটি শীঘ্রই জনসংখ্যার বৈকল্পের কাছাকাছি স্থিত হয়ে যায়।

অসীম জনসংখ্যার বৈসাদৃশ্য সহ, আপনি নমুনায় পরবর্তী খুব বড় মান উপস্থিত না হওয়া অবধি ধীরে ধীরে হ্রাসের পরে আংশিক বৈকল্পিকের মধ্যে ঝাঁপিয়ে পড়তে দেখবেন।

এটি সাধারণ এবং কচির এলোমেলো ভেরিয়েবল (এবং একটি লগ স্কেল) সহ একটি চিত্র আংশিক বৈচিত্র

এটি যদি আপনার বিতরণের আকারটি এমন না হয় তবে পর্যাপ্ত আত্মবিশ্বাসের সাথে এটি সনাক্ত করার জন্য আপনার চেয়ে অনেক বড় একটি নমুনার আকার প্রয়োজন, যেখানে সীমাবদ্ধ বৈকল্পিকতার সাথে বিতরণের জন্য খুব বড় মানগুলি মোটামুটি (তবে চূড়ান্ত নয়), বা অসীম বৈকল্পিকতার সাথে বিতরণের জন্য অত্যন্ত বিরল। প্রদত্ত বিতরণের জন্য এখানে নমুনা আকার থাকবে যা এর প্রকৃতি প্রকাশ না করার চেয়ে বেশি সম্ভাবনা রয়েছে; বিপরীতভাবে, একটি নির্দিষ্ট নমুনা আকারের জন্য, এমন বিতরণ রয়েছে যা নমুনার আকারের জন্য তাদের স্বভাবগুলি ছদ্মবেশে না দেখানোর চেয়ে বেশি সম্ভাবনা রয়েছে।

— হেনরি
সূত্র

4

+1 আমি এটি পছন্দ করি কারণ (ক) একটি গ্রাফিক সাধারণত পরীক্ষার চেয়ে অনেক বেশি প্রকাশ করে এবং (খ) এটি ব্যবহারিক। আমি কিছুটা উদ্বিগ্ন যে এটির একটি স্বেচ্ছাচারী দিক রয়েছে: এর উপস্থিতি ডেটা দেওয়া হয় তার উপর (দৃ strongly়ভাবে, সম্ভবত) নির্ভর করবে। "আংশিক বৈকল্পিক" যখন এক বা দুটি চূড়ান্ত মানগুলির কারণে হয় এবং তারা শুরুতে আসে তখন এই গ্রাফিকটি বিভ্রান্তিকর হতে পারে। আমি ভাবছি যে এই সমস্যার কোনও ভাল সমাধান আছে কিনা।

— হোবার

1

দুর্দান্ত গ্রাফিকের জন্য +1। কাচি বিতরণে "কোনও বৈকল্পিকতা" ধারণাটি সত্যই শক্তিশালী করে। @ হুইবার: সমস্ত সম্ভাব্য ক্রমে ডেটা বাছাই করা, প্রত্যেকের জন্য পরীক্ষা চালানো, এবং একরকম গড়পড়তাভাবে নেওয়া? খুব কম কম্পিউটেশনাল দক্ষ নয়, আমি আপনাকে মঞ্জুরি দেব :) তবে সম্ভবত আপনি কেবল কয়েক মুঠো এলোমেলো অনুমতি বেছে নিতে পারেন?

— nnot101

2

@ naught101 সমস্ত ক্রিয়াকলাপের ওভারেজিং আপনাকে কিছু বলবে না, কারণ আপনি পুরোপুরি অনুভূমিক লাইন পাবেন get আপনারা কি বোঝাতে চেয়েছেন?

— হোবার

1

@ হুইবার: আমি আসলে বোঝাতে চেয়েছিলাম গড়নের জন্য একরকম পরীক্ষার গড় পরীক্ষা নেওয়া, গ্রাফ নিজেই নয়। তবে আমি এটি একটি খুব অস্পষ্ট ধারণা দেব, এবং এটি মূলত কারণ আমি কী সম্পর্কে কথা বলছি তা সম্পর্কে আমার কোনও ধারণা নেই :)

— naught101

7

এখানে আরও একটি উত্তর। মনে করুন আপনি সমস্যাটিকে প্যারামিট্রাইজ করতে পারছেন, এরকম কিছু:

H_{0} : X \sim t (d f = 3) v e r s u s H_{1} : X \sim t (d f = 1) .

$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$

তারপরে আপনি বনাম একটি সাধারণ নেইমন-পিয়ারসন সম্ভাবনা অনুপাতের পরীক্ষা করতে পারেন । নোট করুন যে হ'ল কাচি (অসীম বৈকল্পিক) এবং হল 3 ডিগ্রি সহ স্বাধীন শিক্ষার্থীর (সীমাবদ্ধ বৈকল্পিক) যার পিডিএফ রয়েছে: $H_{0}$ $H_{1}$ $H_{1}$ $H_{0}$ $t$

চ (এক্স | ν) = \frac{Γ (\frac{ν + + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + + \frac{{এক্স}^{2}}{ν})}^{- \frac{ν + + 1}{2}},

$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$

জন্য । প্রদত্ত সহজ র্যান্ডম নমুনা তথ্য , সম্ভাবনা অনুপাত পরীক্ষা প্রত্যাখ্যান যখন $-\infty < x < \infty$ $x_{1},x_{2},\ldots,x_{n}$ $H_{0}$ যেখানেবেছে নেওয়া হয়েছে যে

Λ (x) = \frac{\prod_{i = 1}^{n} f (x_{i} | ν = 1)}{\prod_{i = 1}^{n} f (x_{i} | ν = 3)} > k,

$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$

k \geq 0

$k \geq 0$

P (Λ (X) > k | ν = 3) = α .

$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$

সরল করে কিছুটা বীজগণিত bit

Λ (x) = {(\frac{\sqrt{3}}{2})}^{n} \prod_{i = 1}^{n} \frac{{(1 + x_{i}^{2} / 3)}^{2}}{1 + x_{i}^{2}} .

$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$

$\Lambda(\mathbf{x})$ $H_{0}$ $\Lambda(\mathbf{x})$ $\alpha = 0.05$ $n = 13$

$H_{0}$ $\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

$\approx 12.8842$ $(\sqrt{3}/2)^{13}$ $k \approx 1.9859$

$H_{0}$ $H_{1}$ $\alpha$

অস্বীকৃতি: এটি খেলনার উদাহরণ। আমার এমন কোন বাস্তব-জগতের পরিস্থিতি নেই যাতে আমি জানতে আগ্রহী ছিলাম যে আমার ডেটা কচির কাছ থেকে 3 ডিএফ স্টুডেন্টের টিয়ের বিপরীতে এসেছিল কিনা। এবং মূল প্রশ্নটি প্যারামিট্রাইজড সমস্যা সম্পর্কে কিছু বলেনি, মনে হয়েছিল এটি আরও একটি অপ্রচলিত পদ্ধতির সন্ধান করেছে, যা আমি মনে করি অন্যরা ভালভাবে সম্বোধন করেছিল। এই উত্তরের উদ্দেশ্য ভবিষ্যতের পাঠকদের জন্য যারা প্রশ্নের শিরোনাম জুড়ে হোঁচট খায় এবং শাস্ত্রীয় ধূলোবস্তী পাঠ্যপুস্তক পদ্ধতির সন্ধান করছেন।

$H_{1}:\nu \leq 1$

2

α

$\alpha$

1

H_{1} : ν \leq 2

$H_1:\nu\leq 2$

ν > 2

$\nu>2$

2

α

$\alpha$

1

α

$\alpha$

α = 2

$\alpha = 2$

6

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

$H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
$H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

একটি অনুমানের সীমাবদ্ধ বৈকল্পিকতা রয়েছে, একটিতে অসীম বৈকল্পিকতা রয়েছে। প্রতিক্রিয়াগুলি কেবল গণনা করুন:

\frac{P (H_{0} | D, I)}{P (H_{A} | D, I)} = \frac{P (H_{0} | I)}{P (H_{A} | I)} \frac{\int P (D, μ, σ | H_{0}, I) d μ d σ}{\int P (D, ν, τ | H_{A}, I) d ν d τ}

$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

P (D, μ, σ | H_{0}, I) = P (μ, σ | H_{0}, I) P (D | μ, σ, H_{0}, I)

$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$

P (D, ν, τ | H_{A}, I) = P (ν, τ | H_{A}, I) P (D | ν, τ, H_{A}, I)

$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$

$L_{1}<\mu,\tau<U_{1}$ $L_{2}<\sigma,\tau<U_{2}$

\frac{{(2 π)}^{- \frac{N}{2}}}{(U_{1} - L_{1}) l o g (\frac{U_{2}}{L_{2}})} \int_{L_{2}}^{U_{2}} σ^{- (N + 1)} \int_{L_{1}}^{U_{1}} e x p (- \frac{N [s^{2} - (\bar{Y} - μ)^{2}]}{2 σ^{2}}) d μ d σ

$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$ $\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

\frac{π^{- N}}{(U_{1} - L_{1}) l o g (\frac{U_{2}}{L_{2}})} \int_{L_{2}}^{U_{2}} τ^{- (N + 1)} \int_{L_{1}}^{U_{1}} \prod_{i = 1}^{N} {(1 + {[\frac{Y_{i} - ν}{τ}]}^{2})}^{- 1} d ν d τ

$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$

এবং এখন অনুপাত গ্রহণ করে আমরা দেখতে পেলাম যে স্বাভাবিককরণের ধ্রুবকের গুরুত্বপূর্ণ অংশগুলি বাতিল হয়ে যায় এবং আমরা পাই:

\frac{P (D | H_{0}, I)}{P (D | H_{A}, I)} = {(\frac{π}{2})}^{\frac{N}{2}} \frac{\int_{L_{2}}^{U_{2}} σ^{- (N + 1)} \int_{L_{1}}^{U_{1}} e x p (- \frac{N [s^{2} - (\bar{Y} - μ)^{2}]}{2 σ^{2}}) d μ d σ}{\int_{L_{2}}^{U_{2}} τ^{- (N + 1)} \int_{L_{1}}^{U_{1}} \prod_{i = 1}^{N} {(1 + {[\frac{Y_{i} - ν}{τ}]}^{2})}^{- 1} d ν d τ}

$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$

এবং সমস্ত ইন্টিগ্রালস এখনও সীমাতে যথাযথ তাই আমরা পেতে পারি:

\frac{P (D | H_{0}, I)}{P (D | H_{A}, I)} = {(\frac{2}{π})}^{- \frac{N}{2}} \frac{\int_{0}^{\infty} σ^{- (N + 1)} \int_{- \infty}^{\infty} e x p (- \frac{N [s^{2} - (\bar{Y} - μ)^{2}]}{2 σ^{2}}) d μ d σ}{\int_{0}^{\infty} τ^{- (N + 1)} \int_{- \infty}^{\infty} \prod_{i = 1}^{N} {(1 + {[\frac{Y_{i} - ν}{τ}]}^{2})}^{- 1} d ν d τ}

$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$

\int_{0}^{\infty} σ^{- (N + 1)} \int_{- \infty}^{\infty} e x p (- \frac{N [s^{2} - (\bar{Y} - μ)^{2}]}{2 σ^{2}}) d μ d σ = \sqrt{2 N π} \int_{0}^{\infty} σ^{- N} e x p (- \frac{N s^{2}}{2 σ^{2}}) d σ

$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$

$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

- \sqrt{2 N π} \int_{\infty}^{0} λ^{\frac{N - 1}{2} - 1} e x p (- λ \frac{N s^{2}}{2}) d λ = \sqrt{2 N π} {(\frac{2}{N s^{2}})}^{\frac{N - 1}{2}} Γ (\frac{N - 1}{2})

$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$

And we get as a final analytic form for the odds for numerical work:

\frac{P (H_{0} | D, I)}{P (H_{A} | D, I)} = \frac{P (H_{0} | I)}{P (H_{A} | I)} \times \frac{π^{\frac{N + 1}{2}} N^{- \frac{N}{2}} s^{- (N - 1)} Γ (\frac{N - 1}{2})}{\int_{0}^{\infty} τ^{- (N + 1)} \int_{- \infty}^{\infty} \prod_{i = 1}^{N} {(1 + {[\frac{Y_{i} - ν}{τ}]}^{2})}^{- 1} d ν d τ}

$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$

So this can be thought of as a specific test of finite versus infinite variance. We could also do a T distribution into this framework to get another test (test the hypothesis that the degrees of freedom is greater than 2).

— probabilityislogic
সূত্র

1

When you started to integrate, you introduced a term

s^{2}

$s^2$ . It persists through the final answer. What is it?

— whuber

2

@whuber -

s

$s$ is the standard deviation MLE,

s^{2} = N^{- 1} \sum_{i = 1}^{N} (Y_{i} - \bar{Y})^{2}

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$ . I thought it was the usual notation for standard deviation, just as

\bar{Y}

$\overline{Y}$ is usual for average - which I have incorrectly written as

\bar{x}

$\overline{x}$ , will edit accordingly

— probabilityislogic

5

The counterexample is not relevant to the question asked. You want to test the null hypothesis that a sample of i.i.d. random variables is drawn from a distribution having finite variance, at a given significance level. I recommend a good reference text like "Statistical Inference" by Casella to understand the use and the limit of hypothesis testing. Regarding h.t. on finite variance, I don't have a reference handy, but the following paper addresses a similar, but stronger, version of the problem, i.e., if the distribution tails follow a power law.

POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA SIAM Review 51 (2009): 661--703.

— gappy
সূত্র

1

One approach that had been suggested to me was via the Central Limit Theorem.

This is a old question, but I want to propose a way to use the CLT to test for large tails.

Let $X = \{X_1,\ldots,X_n\}$ be our sample. If the sample is a i.i.d. realization from a light tail distribution, then the CLT theorem holds. It follows that if $Y = \{Y_1,\ldots,Y_n\}$ is a bootstrap resample from $X$ then the distribution of:

Z = \sqrt{n} \times \frac{m e a n (Y) - m e a n (X)}{s d (Y)},

$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$

is also close to the N(0,1) distribution function.

Now all we have to do is perform a large number of bootstraps and compare the empirical distribution function of the observed Z's with the e.d.f. of a N(0,1). A natural way to make this comparison is the Kolmogorov–Smirnov test.

The following pictures illustrate the main idea. In both pictures each colored line is constructed from a i.i.d. realization of 1000 observations from the particular distribution, followed by a 200 bootstrap resamples of size 500 for the approximation of the Z ecdf. The black continuous line is the N(0,1) cdf.

— Mur1lo
সূত্র

2

No amount of bootstrapping will get you anywhere against the problem I raised in my answer. That's because the vast majority of samples will not supply any evidence of a heavy tail--and bootstrapping, by definition, uses only the data from the sample itself.

— whuber

1

@whuber If the X values are taken from a symmetrical power law, then the generalized CLT applies and KS test will detect the difference. I believe that your observation do not correctly characterize what you say is a "gradual step from "finite" to "infinite""

— Mur1lo

1

The CLT never "applies" to any finite sample. It's a theorem about a limit.

— whuber

1

When I say that it "applies" I'm only saying that it provides a good approximation if we have a large sample.

— Mur1lo

1

The vagueness of "good approximation" and "large" unfortunately fail to capture the logic of hypothesis tests. Implicit in your statement is the possibility of collecting an ever larger sample until you are able to detect the heavy-tailedness: but that's not how hypotheses tests usually work. In the standard setting you have a given sample and your task is to test whether it is from a distribution in the null hypothesis. In this case, bootstrapping won't do that any better than any more straightforward test.

— whuber