বৈকল্পিকের জন্য আত্মবিশ্বাসের ব্যবধানে একটি পর্যবেক্ষণ দেওয়া হয়েছে

এটি "প্রব্যাবিলিটি থিওরিতে সপ্তম কোলমোগোরভ স্টুডেন্ট অলিম্পিয়াড" থেকে একটি সমস্যা:

উভয় প্যারামিটারের বিতরণ থেকে একটি পর্যবেক্ষণ দেওয়া হয়েছে, কমপক্ষে 99% এর আত্মবিশ্বাসের স্তরের সাথে জন্য একটি আত্মবিশ্বাসের ব্যবধান দিন । $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

আমার কাছে মনে হচ্ছে এটি অসম্ভব হওয়া উচিত। আমার কাছে সমাধান আছে তবে এটি এখনও পড়েনি। কোন চিন্তা?

আমি কয়েকদিনের মধ্যে সমাধান পোস্ট করব।

[ফলো-আপ সম্পাদনা: অফিসিয়াল সমাধান নীচে পোস্ট করা। কার্ডিনালের সমাধান দীর্ঘতর তবে এটি একটি আরও ভাল আত্মবিশ্বাসের ব্যবধান দেয়। তাদের ইনপুট দেওয়ার জন্য ম্যাক্স এবং গ্লেন_ বিকেও ধন্যবাদ]

— জোনাথন ক্রিস্টেনসেন
সূত্র

আমার কাছেও অসম্ভব বলে মনে হচ্ছে; আমি উত্তরের অপেক্ষায়

— রয়েছি

পরীক্ষা করে দেখুন এই সাইটের ।

— স্বাভাবিক

এখানে আরও ভাল ফর্ম্যাটিং সহ একটি কাগজ রয়েছে: কাগজ ।

— স্বাভাবিক

হেহ। আমার মনে আছে বহু বছর আগে এই স্টাফের (একটি পর্যবেক্ষণের ব্যবধান) এ একটি কাগজ পড়া। এই এক হতে পারে ।

— গ্লেন_বি

@ ম্যাক্স, লিঙ্কটির জন্য ধন্যবাদ! এখনও এটি ঘনিষ্ঠভাবে দেখার সময় আমার হাতে নেই, তবে আমি করব। আমি নীচে "অফিসিয়াল" উত্তর পোস্ট করেছি।

— জোনাথন ক্রিস্টেনসেন

উত্তর:

একাধিক পর্যবেক্ষণের ক্ষেত্রে সম্ভাব্যতা বৈষম্য এবং সংযোগের লেন্সের মাধ্যমে দেখা, এই ফলাফলটি এতটা অসম্ভব বলে মনে হচ্ছে না, বা কমপক্ষে, এটি আরও প্রশংসনীয় বলে মনে হতে পারে।

যাক সঙ্গে এবং অজানা। আমরা জন্য লিখতে পারি । $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

প্রধান দাবি : একটি আস্থা জন্য বিরতি যেখানে হয় পর্যায়ের এক ডিগ্রী সঙ্গে একটি চি-স্কোয়ারড বিতরণের সমাংশক স্বাধীনতা। তদতিরিক্ত, যেহেতু এই ব্যবধানটির ঠিক কভারেজ রয়েছে যখন , এটি কিছু র ক্ষেত্রে ফর্মের সংকীর্ণ সম্ভাব্য বিরতি । $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

আশাবাদী হওয়ার কারণ

রিকল যে মামলা, সঙ্গে , টিপিক্যাল আস্থা জন্য বিরতি হয় যেখানে হয় একটি চি-ছক সঙ্গে পর্যায়ের সমাংশক স্বাধীন ডিগ্রীগুলির। এই, অবশ্যই, কোন ঝুলিতে । যদিও এটি সর্বাধিক জনপ্রিয় বিরতি ( স্পষ্ট কারণে সমান-লেজ অন্তর বলা হয় ), এটি একমাত্র নয় এমনকি ক্ষুদ্রতম প্রস্থের একও নয়! যেমনটি স্পষ্ট হওয়া উচিত, অন্য একটি বৈধ নির্বাচন $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{টি}{{কুই}_{এন - 1, (1 - α) / 2}}, \frac{টি}{{কুই}_{এন - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{টি}{{কুই}_{এন - 1, α}}) ।

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

যেহেতু, , তারপরে এর কমপক্ষে কভারেজও রয়েছে । $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{Σ_{আমি = 1}^{এন} {এক্স}_{আমি}^{2}}{{কুই}_{এন - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

এই আলোতে দেখা হয়েছে, আমরা তখন আশাবাদী হতে পারি যে মূল দাবির অন্তর জন্য সত্য । মূল পার্থক্যটি হ'ল একক পর্যবেক্ষণের ক্ষেত্রে স্বাধীনতার চি-স্কোয়ার ডিস্ট্রিবিউশন নেই, সুতরাং আমাদের অবশ্যই আশা করতে হবে যে এক-ডিগ্রি অব-ফ্রিডম কোয়ান্টাইল ব্যবহার কাজ করবে। $n = 1$

আমাদের গন্তব্যের দিকে দেড় ধাপ ( ডান লেজের অন্বেষণ )

মূল দাবির প্রুফিতে ডুব দেওয়ার আগে আসুন প্রথমে প্রাথমিক দাবিটি দেখি যা পরিসংখ্যানগত দিক থেকে প্রায় ততটা দৃ strong় বা সন্তুষ্ট নয়, তবে সম্ভবত যা চলছে তাতে কিছুটা অতিরিক্ত অন্তর্দৃষ্টি দেয়। আপনি বেশি (যদি থাকে) ক্ষতি না করে নীচের মূল দাবির প্রমাণটি এড়িয়ে যেতে পারেন। এই বিভাগে এবং তার পরেরগুলিতে, প্রমাণগুলি - যদিও কিছুটা সূক্ষ্ম only কেবলমাত্র প্রাথমিক তথ্যের উপর ভিত্তি করে: সম্ভাবনার একঘেয়েমি, এবং সাধারণ বিতরণের প্রতিসাম্য এবং অদম্যতা।

অক্জিলিয়ারী দাবি : একটি হল আস্থা জন্য বিরতি দীর্ঘ হিসাবে হিসাবে । এখানে হয় পর্যায়ের একটি প্রমিত স্বাভাবিক সমাংশক। $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

প্রুফ । এবংপ্রতিসাম্য দ্বারা, সুতরাং এর পরে কীভাবে আমরা সাধারণতার ক্ষতি ছাড়াই loss নিতে পারি । এখন, এবং , এবং তাই , আমরা দেখতে পাচ্ছি যে এটি কেবল জন্য কাজ করে , যেহেতু জন্য প্রয়োজন । $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

এটি সহায়ক দাবি প্রমাণ করে। যদিও অর্থবোধক, এটি একটি পরিসংখ্যানগত দৃষ্টিভঙ্গি থেকে unsatifying যেহেতু এটি একটি অদ্ভূত বৃহৎ প্রয়োজন হয় কাজ। $\alpha$

মূল দাবী প্রমাণ করছে

উপরোক্ত যুক্তির পরিমার্জন এমন ফলাফলের দিকে নিয়ে যায় যা একটি স্বেচ্ছাচারী আস্থা স্তরের পক্ষে কাজ করবে। প্রথমে লক্ষ করুন যে সেট এবং । তারপরে, আমরা দেখাতে পারি যে সঠিক দিকে বাড়ে যে সংশোধন করা হয়েছে জন্য , তাহলে আমরা একটি অনুরূপ যুক্তি পূর্ববর্তী যুক্তি হিসেবে চাকরী করতে পারেন। এটি কমপক্ষে প্রশংসনীয়, যেহেতু আমরা বিশ্বাস করতে চাই যে যদি গড়টি বৃদ্ধি পায় তবে এটি আরও সম্ভাবনাময় হয়ে উঠবে যে আমরা একটি মডুলাসের সাথে একটি মান দেখি যা ছাড়িয়ে যায়

পি (| এক্স | > θ) = পি (| জেড + + μ / σ | > θ / σ) ।

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

পি (| জেড + + একটি | > খ) = Φ (একটি - খ) + + Φ (- একটি - খ) ।

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ । (তবে, বাম লেজের মধ্যে ভর কত দ্রুত হ্রাস পাচ্ছে তার জন্য আমাদের নজর রাখতে হবে!)

সেট । তারপরে লক্ষ্য করুন এবং ইতিবাচক জন্য , মধ্যে কমছে । এখন, , এটি সহজে দেখা যায় যে । এই তথ্যগুলি একত্রিত হয়ে সহজেই বোঝা যায় যে সমস্ত এবং যে কোনও স্থির । $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

চ_{খ}^{'} (একটি) = φ (একটি - খ) - φ (- একটি - খ) = φ (একটি - খ) - φ (একটি + + খ) ।

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

চ_{খ}^{'} (একটি) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

সুতরাং, আমরা দেখিয়েছি যে এবং , $a \geq 0$ $b \geq 0$

পি (| জেড + + একটি | > খ) \geq পি (| জেড | > খ) = 2 Φ (- খ) ।

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

এই সমস্ত , আমরা যদি করি তবে আমরা যা মূল দাবিটি প্রতিষ্ঠা করে। $\theta = \sqrt{q_\alpha} \sigma$

পি ({এক্স}^{2} > {কুই}_{α} σ^{2}) \geq পি ({জেড}^{2} > {কুই}_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

সমাপ্তি মন্তব্য : উপরোক্ত যুক্তিটি একটি যত্ন সহকারে পাঠ্য দেখায় যে এটি কেবলমাত্র সাধারণ বিতরণের প্রতিসাম্য এবং ইউনিমোডাল বৈশিষ্ট্য ব্যবহার করে। সুতরাং, দৃষ্টিভঙ্গি কোনও প্রতিসাম্য ইউনিমোডাল অবস্থান-স্কেল পরিবার, যেমন, কাউচি বা ল্যাপ্লেস বিতরণ থেকে একক পর্যবেক্ষণ থেকে আত্মবিশ্বাসের অন্তরগুলি অর্জনের জন্য একত্রে কাজ করে।

— অঙ্কবাচক
সূত্র

কি দারুন! এবং শিক্ষার্থীরা কোনও অলিম্পিয়াড পরীক্ষার স্বল্প সময়ের মধ্যে এই জাতীয় যুক্তি নিয়ে আসবে বলে আশা করা হচ্ছে?

— দিলীপ সরোতে

@ দিলিপ: আমার কোনও ধারণা নেই! আমি এই অলিম্পিয়াডের ফর্ম্যাট বা সমাধানের ক্ষেত্রে কী প্রত্যাশিত তা সম্পর্কে অপরিচিত। আক্ষরিক পাঠ থেকে, আমি ভেবেছিলাম স্কর্টচির উত্তর গ্রহণযোগ্য হবে। "অ-তুচ্ছ" সমাধানের মাধ্যমে কেউ কতদূর যেতে পারে তা জানার চেষ্টা করতে আমি আরও আগ্রহী ছিলাম। আমার নিজের (মোটামুটি ন্যূনতম) অন্বেষণে উত্তরে বর্ণিত একই চিন্তার ট্রেনটি অনুসরণ করা হয়েছিল (এক পথ দিয়ে) এটি সম্ভবত আরও ভাল সমাধান আছে সম্ভবত। :-)

— কার্ডিনাল

এটি "অফিসিয়াল" সমাধানের তুলনায় যথেষ্ট দীর্ঘ, তবে এটি ভিন্নতার উপর আরও ভাল আবদ্ধ দেয়, সুতরাং আমি এটিকে "সঠিক" উত্তর হিসাবে চিহ্নিত করছি। আমি নীচে "অফিসিয়াল" উত্তর পোস্ট করেছি, পাশাপাশি কিছু সিমুলেশন ফলাফল এবং আলোচনা করেছি। ধন্যবাদ, @ কার্ডিনাল!

— জোনাথন ক্রিস্টেনসেন

@ জনাথন: ধন্যবাদ হ্যাঁ, আমি প্রমাণটি কিছুটা আরও বিস্মৃত করতে পারতাম। এখানে অংশগ্রহণকারীদের বিস্তৃত পটভূমির কারণে, আমি প্রায়শই অতিরিক্ত (বা, সম্ভবত, অত্যধিক) বিবরণে প্রবৃত্ত হই। :-)

— কার্ডিনাল

সময় অনুসরণ করার! আমাকে যে সমাধানটি দেওয়া হয়েছিল তা এখানে:

আমরা ফর্মের একটি আত্মবিশ্বাসের ব্যবধান তৈরি করব , যেখানে কিছু পরিসংখ্যান। সংজ্ঞায়িতভাবে এটি আত্মবিশ্বাসের স্তরের কমপক্ষে 99% এর সাথে একটি আত্মবিশ্বাসের ব্যবধান হবে যদি আমরা যে ঘনত্ব নোট বন্টন করে না অতিক্রম । অতএব, প্রতি । এটি অনুসরণ করে যে প্লাগ ইন করা $[0,T(X))$ $T(\cdot)$
$(\forall μ \in আর) (\forall σ > 0) {পি}_{μ, σ_{2}} (σ^{2} > টি (এক্স)) < 0.01।$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $টি \geq পি (| এক্স | / σ \leq টি) = পি ({এক্স}^{2} \leq {টি}^{2} σ^{2}) = পি (σ^{2} \geq {এক্স}^{2} / {টি}^{2}) ।$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ আমরা পেয়েছি যে উপযুক্ত পরিসংখ্যানটি $T(X) = 10000X^2.$

আত্মবিশ্বাসের ব্যবধান (যা খুব প্রশস্ত) সিমুলেশনে সামান্য রক্ষণশীল, কোনও পরীক্ষামূলক কভারেজ (100,000 সিমুলেশনগুলিতে) 99.15% এর চেয়ে কম নয়, কারণ আমি বহু পরিমাণে আদেশের চেয়ে সিভি বিবিধ করেছি।

তুলনার জন্য, আমি কার্ডিনালের আত্মবিশ্বাসের অন্তরও সিমুলেটেড করেছিলাম। আমার মনে রাখা উচিত যে কার্ডিনালের ব্যবধানটি বেশ খানিকটা সংকীর্ণ - 99% ক্ষেত্রে তার প্রদত্ত সমাধানের এর বিপরীতে প্রায় শেষ হয় । সিভি-র জন্য বহু পরিমাণের আদেশের পরেও নামমাত্র পর্যায়ে ইমেরিকাল কভারেজটি ঠিক। সুতরাং তার অন্তর অবশ্যই জয়ী। $6300X^2$ $10000X^2$

আমার ম্যাক্স পোস্ট করা কাগজটি মনোযোগ সহকারে দেখার সময় হয়নি, তবে আমি সেটিকে দেখার পরিকল্পনা করি এবং পরে এটি সম্পর্কে কিছু মন্তব্য যুক্ত করতে পারি (অর্থাত্, এক সপ্তাহের বেশি আগে নয়) no এই কাগজটি এর 99% আত্মবিশ্বাসের ব্যবধান দাবি করে , যা আমার সংক্ষিপ্ত সিমুলেশনে বড় সিভিগুলির জন্য নামমাত্র কভারেজের তুলনায় সাম্রাজ্যিক কভারেজটি কিছুটা কম (প্রায় 98.85%) থাকে। $(0,4900X^2)$

— জোনাথন ক্রিস্টেনসেন
সূত্র

(+1) এটি একটি দুর্দান্ত সমাধান। ডিসপ্লে সমীকরণে পরিবর্তে আপনার কি ?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

— কার্ডিনাল

আরও কয়েকটি বিষয়: আপনার সমাধানটি যুক্তির কোনও পরিবর্তন ছাড়াই আমার খুব কাছাকাছি হতে পারে। নোট করুন যে আপনি দাবি করতে পারেন যে । তারপর বিরতি হয়ে কোন । ব্যবহার উৎপাদনের বনাম আমার উত্তর হবে। আত্মবিশ্বাসের স্তরটি যত বেশি হবে (অর্থাত্ smaller যত কম ) আপনার পদ্ধতিটি আমার সাথে তত বেশি ঘনিষ্ঠ হয় (যদিও আপনার অন্তর সর্বদা প্রশস্ত হবে)।

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

— কার্ডিনাল

দ্বিতীয়ত, আমি সেই কাগজটির দিকে নজর , তবে আমার strong সন্দেহ আছে যে একটি বৈধ 99% আস্থা অন্তর হতে পারে। নিশ্চয় বিবেচনা সব ফর্ম আস্থা অন্তর কিছু । তারপরে, যখন , তখন আমাদের কাছে সেই হ'ল এক ডিগ্রি স্বাধীনতার সাথে চি-স্কোয়ার হয় এবং তাই এই দৃষ্টিতে আমরা যে ছোট্ট নির্বাচন করতে পারি তা হল । অন্য কথায়, আমার উত্তরে প্রদত্ত ব্যবধানটি বর্ণিত ফর্মের সংক্ষিপ্ততম সম্ভব।

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

— কার্ডিনাল

আমি (সন্দেহযুক্ত) টাইপো সংশোধন করেছি। এছাড়াও, pchisq(1/4900,1,lower.tail=F)মধ্যে Rআয় 0.9886, বেশ জন্য আপনার সিমুলেশন ফলাফল পাসে ব্যবধান।

(0, 4900 X^{2})

$(0,4900X^2)$

— কার্ডিনাল

সমস্ত মতামত জন্য ধন্যবাদ, কার্ডিনাল। আমি মনে করি আপনার পরিবর্তনটি সঠিক, যদিও আমি এটি টাইপ করেছিলাম মূল সমাধানগুলিতে যেমনটি হয়েছিল - সেখানে টাইপো, আমি অনুমান করি।

— জোনাথন ক্রিস্টেনসেন

সিআই এর সম্ভবত। $(0,\infty)$

— স্কর্চচি - মনিকা পুনরায় স্থাপন করুন
সূত্র

আমি মনে করি যে আপনি কেন সসীম দৈর্ঘ্যের আত্মবিশ্বাসের অন্তর পেতে পারেন না তা বলা আপনার পক্ষে সহায়ক হবে।

— স্বাভাবিক

@ ম্যাক্স আমি যথেষ্ট স্মার্ট নই - তবে প্রশ্নটির জন্য একটিও জিজ্ঞাসা করা হয়নি।

— স্কোর্টচি - মনিকা পুনরায় ইনস্টল করুন

এই জন্য +1। প্রশ্নটি ন্যূনতম কভারেজ সহ একটি সিআই বলেনি, এবং প্রকৃতপক্ষে বোঝায় যে এটি তার কৌতূহলী শব্দটির মাধ্যমে গ্রহণযোগ্য হতে পারে, " কমপক্ষে 99% এর আত্মবিশ্বাসের স্তরের একটি আত্মবিশ্বাসের ব্যবধান "।

— এরি বি ফ্রেডম্যান