গুরুত্বের নমুনা কী?

আমি রিইনফোর্সমেন্ট লার্নিং শেখার চেষ্টা করছি এবং এই বিষয়টি আমার কাছে সত্যিই বিভ্রান্তিকর। আমি পরিসংখ্যানগুলির একটি ভূমিকা নিয়েছি, তবে আমি কেবল এই বিষয়টি স্বজ্ঞাতভাবে বুঝতে পারি নি।

— তিয়ানাহ নুগায়েন
সূত্র

উত্তর:

সুদের বন্টন থেকে প্যারামিটারের আরও ভাল অনুমান আরও সহজেই অর্জন করতে আগ্রহের বন্টন থেকে আলাদা কোনও বিতরণ থেকে গুরুত্বপূর্ণ নমুনা স্যাম্পলিং । সাধারণত এটি একই নমুনা আকারের সাথে মূল বিতরণ থেকে সরাসরি নমুনা সংগ্রহের চেয়ে কম বৈকল্পিকের সাথে পরামিতির অনুমান সরবরাহ করবে।

এটি বিভিন্ন প্রসঙ্গে প্রয়োগ করা হয়। বিভিন্ন বিতরণ থেকে সাধারণ নমুনা প্রয়োগের মাধ্যমে আবেদন (গুরুত্বপূর্ণ অঞ্চল) দ্বারা নির্ধারিত সুদের বিতরণের অংশে আরও নমুনা নেওয়ার অনুমতি দেয় ।

একটি উদাহরণ হতে পারে যে আপনার আগ্রহের বন্টন থেকে বিশুদ্ধ এলোমেলো নমুনা সরবরাহের চেয়ে বিতরণের লেজগুলি থেকে আরও নমুনা রয়েছে এমন একটি নমুনা থাকতে চান।

Wikipedia নিবন্ধটি যে আমি এই বিষয় উপর দেখেছি খুব বিমূর্ত হয়। এটি বিভিন্ন নির্দিষ্ট উদাহরণ তাকান ভাল। তবে এটিতে বায়েসিয়ান নেটওয়ার্কগুলির মতো আকর্ষণীয় অ্যাপ্লিকেশনগুলির লিঙ্ক অন্তর্ভুক্ত নয় ।

1940 এবং 1950 এর দশকে গুরুত্বের নমুনার একটি উদাহরণ হ'ল একটি বৈচিত্র্য হ্রাস কৌশল (মন্টে কার্লো পদ্ধতির একটি রূপ)। উদাহরণস্বরূপ , হ্যামারসেলি এবং হ্যান্ডসকম্বের মন্টে কার্লো মেথডস বইটি 1964 সালে একটি মথুয়েন মনোগ্রাফ / চ্যাপম্যান এবং হল হিসাবে প্রকাশিত এবং 1966 সালে এবং পরে অন্যান্য প্রকাশকদের দ্বারা পুনরায় মুদ্রিত হয় দেখুন। বইয়ের 5.4 অনুচ্ছেদে গুরুত্বপূর্ণ স্যাম্পলিং অন্তর্ভুক্ত।

— মাইকেল আর চেরনিক
সূত্র

এটি যুক্ত করতে: আরএল-তে আপনি নীতিতে সাধারণত স্যাম্পলিংয়ের উপর গুরুত্ব আরোপ করেন: যেমন প্রকৃত নীতি যে আপনি প্রকৃতপক্ষে নমুনা করতে চান তার পরিবর্তে এক্সপ্লোরেশন পলিসি থেকে ক্রিয়াগুলির নমুনা তৈরি করুন

— ড্যাভিঞ্চি

এই উত্তর ব্যাখ্যাতে গুরুত্ব স্যাম্পলিং দ্বারা ভাল শুরু করে, কিন্তু আমি এটা আসলে কি গুরুত্ব স্যাম্পলিং এর প্রশ্নের উত্তর কখনো এটি হতাশ হয়েছিলেন হয় : এটা কিভাবে কাজ করে?

— whuber

@ শুভ আমার এখানে লক্ষ্যটি ছিল একটি বিভ্রান্ত ওপিকে ধারণাটি ব্যাখ্যা করা এবং তাকে কিছু সাহিত্যের দিকে নির্দেশ করা। এটি একটি বড় বিষয় এবং আপাতদৃষ্টিতে বিভিন্ন অ্যাপ্লিকেশনগুলিতে ব্যবহৃত হয়। অন্যরা আমার চেয়ে আরও সহজ শর্তে বিশদটি ব্যাখ্যা করতে সক্ষম হতে পারেন। আমি জানি যে আপনি যখন কোনও প্রশ্নের উত্তর দেওয়ার সিদ্ধান্ত নেবেন আপনি পুরো দড়ি এবং চমৎকার গ্রাফ সরবরাহ করেন, সরল ভাষা ব্যবহার করে প্রযুক্তিগত বিশদটি দেখুন। এই পোস্টগুলি প্রায় সর্বদা সম্প্রদায়কে তার স্বচ্ছতা এবং সম্পূর্ণতার সাথে সন্তুষ্ট করে এবং আমি সাহস করে বলতে পারি যে কমপক্ষে কিছুটা হলেও ওপিকে সন্তুষ্ট করে। আপনার পরামর্শ অনুসারে সমীকরণের সাথে কয়েকটি বাক্যই যথেষ্ট।

— মাইকেল আর চেরনিক

কেবল অন্য উত্সগুলিতে ইঙ্গিত করা বা লিঙ্ক সরবরাহ করার চেয়ে সম্প্রদায়ের পক্ষে প্রশ্নের উত্তরের মধ্যে রাখা আরও ভাল। আমি কেবল অনুভব করেছি যে আমি যা করেছি তা পর্যাপ্ত ছিল এবং যে ওপি একটি পরিসংখ্যান নবী হিসাবে স্বীকার করেছেন তাদের প্রথমে কিছুটা চেষ্টা করা উচিত।

— মাইকেল আর চেরনিক

তোমার একটা কথা আছে আমি অবাক হই, যদিও আরও একটি বা দুটি বাক্যে এটি সম্ভব হতে পারে - কোনও গণিত, কোনও গ্রাফ, খুব কমই কোনও অতিরিক্ত কাজ - জিজ্ঞাসিত প্রশ্নের উত্তর সরবরাহ করতে। এই ক্ষেত্রে বর্ণনাকে জোর দিতে হবে যে একজন প্রত্যাশাটি অনুমান করে চলেছে (কেবল কোনও "প্যারামিটার" নয়), তবে সম্ভবত এটি উল্লেখ করুন যে প্রত্যাশা যেহেতু মান এবং সম্ভাবনার একটি গুণফলের সমষ্টি, তাই সম্ভাব্যতা পরিবর্তন করে একজন একই ফলাফল লাভ করে ( এমন কোনও বিতরণ যা থেকে নমুনা করা সহজ) এবং এর জন্য ক্ষতিপূরণ মানগুলি সামঞ্জস্য করে।

— whuber

ইম্পরিয়েন্স স্যাম্পলিং হ'ল একটি সিমুলেশন বা মন্টে কার্লো পদ্ধতি যা সংহতগুলি আনুমানিক করার উদ্দেশ্যে। "স্যাম্পলিং" শব্দটি কিছুটা বিভ্রান্তিকর কারণ এটি কোনও প্রদত্ত বিতরণ থেকে নমুনা সরবরাহ করার ইচ্ছা করে না।

গুরুত্বের নমুনা দেওয়ার পিছনে স্বজ্ঞাততা হ'ল a মতো একটি সু-সংজ্ঞায়িত ইন্টিগ্রাল বিস্তৃত পরিসরের প্রত্যাশা হিসাবে প্রকাশ করা যেতে পারে সম্ভাব্যতা ডিস্ট্রিবিউশন: যেখানে ঘনত্ব উল্লেখ করে একটি সম্ভাব্যতা বিতরণের ও দ্বারা নির্ধারিত হয় এবং । (দ্রষ্টব্য যে সাধারণত থেকে পৃথক থাকে ) প্রকৃতপক্ষে, the পছন্দটি দিকে নিয়ে যায় এবং

I = \int_{X} h (x) d x

$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$

I = E_{f} [H (X)] = \int_{X} H (x) f (x) d x

$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$

f

$f$

H

$H$

h

$h$

f

$f$ $H(\cdot)$ $h(\cdot)$

H (x) = \frac{h (x)}{f (x)}

$H(x)=\dfrac{h(x)}{f(x)}$

H (x) f (x) = h (x)

$H(x)f(x)=h(x)$

I = E_{f} [H (X)]

$\mathfrak{I}=\mathbb{E}_f[H(X)]$

-

$-$ এর সাপোর্টে কিছু সীমাবদ্ধতা অধীনে , যার অর্থ যখন । সুতরাং, ডাব্লু। হুবার তাঁর মন্তব্যে যেমন উল্লেখ করেছেন, প্রত্যাশা হিসাবে অখণ্ডতার উপস্থাপনে কোনও মিল নেই তবে এর বিপরীতে এ জাতীয় উপস্থাপনাগুলির অসীম বিন্যাস রয়েছে, যার মধ্যে কয়েকটি অন্যের চেয়ে তুলনামূলকভাবে একবার মানদণ্ডের চেয়ে ভাল তাদের গ্রহণ করা হয়। উদাহরণস্বরূপ, মাইকেল চেরনিক অনুমানকারীটির বৈচিত্র্য হ্রাস করার জন্য নির্বাচনের উল্লেখ করেছেন ।

f

$f$

f (x) > 0

$f(x)>0$

h (x) \neq 0

$h(x)\ne 0$

-

$-$

f

$f$

এই প্রাথমিক সম্পত্তিটি বোঝার পরে, ধারণাটির বাস্তবায়নটি হ'ল অন্যান্য মন্টি কার্লো পদ্ধতির মতো বড় সংখ্যাগুলির আইনের উপর নির্ভর করা, অর্থাৎ [একটি ছদ্ম-এলোমেলো জেনারেটরের মাধ্যমে] একটি আইআইডি নমুনা অনুকরণ করা থেকে বিতরণ করা এবং পড়তা ব্যবহার করতে যা $(x_1,\ldots,x_n)$ $f$

\hat{I} = \frac{1}{n} \sum_{i = 1}^{n} H (x_{i})

$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$

of এর নিরপেক্ষ অনুমানক $\mathfrak{I}$
প্রায় অবশ্যই to তে রূপান্তরিত হয় $\mathfrak{I}$

বিতরণের পছন্দ উপর নির্ভর করে , উপরোক্ত মূল্নির্ধারক বা সসীম ভ্যারিয়েন্স নাও থাকতে পারে পারে। যাইহোক, সবসময় পছন্দ অস্তিত্ব করে একটি সসীম ভ্যারিয়েন্স এবং এমনকি একটি ইচ্ছামত ছোট ভ্যারিয়েন্স (সেই পছন্দগুলি যদিও বাস্তবে অনুপলব্ধ হতে পারে) জন্য অনুমতি দেয়। আর এছাড়াও পছন্দ অস্তিত্ব যে গুরুত্ব স্যাম্পলিং মূল্নির্ধারক করতে একটি অত্যন্ত দরিদ্র পড়তা। চ্যাটার্জি এবং ডায়াকনিসের সাম্প্রতিক একটি গবেষণাপত্রটি কীভাবে অসীম বৈকল্পিকতার সাথে গুরুত্বপূর্ণ নমুনাগুলির তুলনা করতে পারে তা অধ্যয়ন করলেও এর মধ্যে সমস্ত বিকল্প অন্তর্ভুক্ত রয়েছে the নীচের ছবি থেকে নেওয়া হয়েছে $f$ $\hat{\mathfrak{I}}$ $f$ $f$ $\hat{\mathfrak{I}}$ ${\mathfrak{I}}$ আমার কাগজ সম্পর্কে ব্লগ আলোচনা এবং অসীম বৈকল্পিক অনুমানের দুর্বল রূপান্তর চিত্রিত করে।

গুরুত্ব বিতরণের সাথে গুরুত্বের নমুনা একটি এক্সপ্রেস (1) বিতরণ লক্ষ্য বিতরণ একটি এক্সপ (1/10) বিতরণ, এবং ফাংশন । ইন্টিগ্রালের আসল মান । $h(x)=x$ $10$

[নীচে আমাদের বই মন্টি কার্লো স্ট্যাটিস্টিকাল পদ্ধতিগুলি থেকে পুনরুত্পাদন করা হয়েছে ]]

আইনজীবীরা Ripley (1987) শো থেকে নিম্নলিখিত উদাহরণে কেন এটা আসলে (মূল) চেয়ে বন্টন অপরের থেকে উৎপন্ন যে বছরের বাবদ বিতরণ অবিচ্ছেদ্য প্রদর্শনে আগ্রহের interest বা অন্য কথায় প্রদত্ত ঘনত্বের বিরুদ্ধে প্রত্যাশা হিসাবে অখণ্ডের প্রতিনিধিত্ব সংশোধন করা। $f$

\int_{X} h (x) f (x) d x

$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$

উদাহরণ (কচির লেজের সম্ভাব্যতা) ধরুন যে আগ্রহের পরিমাণটি সম্ভাবনা, , যে একটি ভেরিয়েবল চেয়ে বড় , অর্থাৎ, যখন মূল্যায়ন করা হয় অভিজ্ঞতাগত গড় নমুনা , এই অনুমানের বৈকল্পিক হল ( থেকে সমান )। $p$ ${\mathcal{C}}(0,1)$ $2$

p = \int_{2}^{+ \infty} \frac{1}{π (1 + x^{2})} d x .

$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$

p

$p$

{\hat{p}}_{1} = \frac{1}{m} \sum_{j = 1}^{m} I_{X_{j} > 2}

${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$

X_{1}, \dots, X_{m}

$X_1,\ldots,X_m$

\sim

$\sim$

C (0, 1)

$\; \mathcal{C}(0,1)$

p (1 - p) / m

$p(1-p)/m$

0.127 / m

$0.127/m$

p = 0.15

$p=0.15$

গড় থেকে যেহেতু, এর প্রতিসম প্রকৃতি বিবেচনা করে এই প্রকরণটি হ্রাস করা যেতে পারে এর ভেরিয়েন্স সমান । ${\mathcal{C}}(0,1)$

{\hat{p}}_{2} = \frac{1}{2 m} \sum_{j = 1}^{m} I_{| X_{j} | > 2}

${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$

p (1 - 2 p) / 2 m

$p(1-2p)/2m$

0.052 / m

$0.052/m$

এই পদ্ধতির (আপেক্ষিক) অদক্ষতা আগ্রহের ডোমেনের বাইরে মান উত্পন্নকরণের কারণে, , যা কিছুটা অর্থে সান্নিধ্যের জন্য অপ্রাসঙ্গিক । [এটি মাইকেল চেরনিকের সাথে লেজ অঞ্চল অনুমানের উল্লেখ করেছে]] যদি লেখা থাকে , উপরের অবিচ্ছেদ্য এর প্রত্যাশা হিসাবে বিবেচনা করা যেতে পারে , যেখানে । জন্য মূল্যায়নের একটি বিকল্প পদ্ধতি তাই for এর জন্য $[2,+\infty)$ $p$ $p$

p = \frac{1}{2} - \int_{0}^{2} \frac{1}{π (1 + x^{2})} d x,

$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$

h (X) = 2 / π (1 + X^{2})

$h(X) = 2/\pi(1 + X^2)$

X \sim U_{[0, 2]}

$X \sim {\mathcal{U}}_{[0, 2]}$

p

$p$

{\hat{p}}_{3} = \frac{1}{2} - \frac{1}{m} \sum_{j = 1}^{m} h (U_{j})

${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$

U_{j} \sim U_{[0, 2]}

$U_j \sim {\mathcal{U}}_{[0,2]}$ । ভ্যারিয়েন্স হয় এবং যন্ত্রাংশ শো দ্বারা একটি ইন্টিগ্রেশন এটি সমান । অধিকন্তু, যেহেতু হিসাবে লেখা যেতে পারে এই অবিচ্ছেদ্যটিকে বেশি of এর প্রত্যাশা হিসাবে দেখা যেতে পারে উপর অভিন্ন বিতরণের বিরুদ্ধে এবং আরেকটি মূল্যায়ন হয় যখন । অংশগুলির দ্বারা একই একীকরণ দেখায় যে of এর বৈকল্পিক

{\hat{p}}_{3}

${\hat{p}}_3$

(E [h^{2}] - E [h]^{2}) / m

$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$

0.0285 / m

$0.0285/m$

p

$p$

p = \int_{0}^{1 / 2} \frac{y^{- 2}}{π (1 + y^{- 2})} d y,

$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$

\frac{1}{4} h (Y) = 1 / 2 π (1 + Y^{2})

${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$

[0, 1 / 2]

$[0,1/2]$

p

$p$

{\hat{p}}_{4} = \frac{1}{4 m} \sum_{j = 1}^{m} h (Y_{j})

${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$

Y_{j} \sim U_{[0, 1 / 2]}

$Y_j \sim {\mathcal{U}}_{[0,1/2]}$

{\hat{p}}_{4}

${\hat{p}}_{4}$ তারপরে ।

0.95 10^{- 4} / m

$0.95 \; 10^{-4}/m$

সাথে তুলনা করে, দ্বারা আনা বৈকল্পিক হ্রাস order , যা বিশেষত বোঝায় যে এই মূল্যায়নের জন্য প্রয়োজন একই নির্ভুলতা অর্জনের জন্য চেয়ে গুণ কম সিমুলেশন । ${\hat{p}}_1$ ${\hat p}_4$ $10^{-3}$ $\sqrt{1000} \approx 32$ $\hat p_1$ $\blacktriangleright$

— সিয়ান
সূত্র

সবাইকে প্রশংসা করতে পারে এমনভাবে গুরুত্বের নমুনা তুলে ধরে সমস্যায় যাওয়ার জন্য @ শি'ই ধন্যবাদ, বিল হুবারের অনুরোধটিকে সন্তুষ্ট করার চেয়ে আমি আরও বেশি মনে করি। +1

— মাইকেল আর চেরনিক 4'17

আমি লক্ষ করতে চাই যে প্রাথমিকভাবে এই পোস্টটি ধরে রাখা হয়েছিল এবং বেশ কয়েকটি লোকের অবদানের জন্য ধন্যবাদ ছিল। আমরা একটি তথ্যমূলক থ্রেড নিয়ে এসেছি।

— মাইকেল আর চেরনিক

খ্রিস্টান, আমি আমার ধন্যবাদ বাড়াতে এবং বিশেষাধিকারের অনুভূতি প্রকাশ করতে চাই যে আপনি আমাদের সাথে এই জাতীয় চমৎকার উপাদান সক্রিয়ভাবে ভাগ করে নিচ্ছেন।

— whuber

আমি কেবল শীয়ানকে আপনাকে ধন্যবাদ জানাতে চাই যিনি আমার উত্তরটি উন্নত করতে কিছু সম্পাদনা করতে পেরেছিলেন যদিও সে তার নিজের একটি উত্তর দিয়েছিল।

— মাইকেল আর চেরনিক

এটি স্ট্যাটাসস্টেক্সেক্সচেঞ্জের সেরা পোস্টগুলির মধ্যে একটি হতে হবে। ভাগ করে নেওয়ার জন্য ধন্যবাদ!

— দোহমতেব