আমি কি নমুনা আকার এবং নূন্যতম এবং সর্বাধিক মান থেকে একটি সাধারণ বিতরণ পুনর্গঠন করতে পারি? আমি মাঝারি পয়েন্টটি প্রক্সি করতে ব্যবহার করতে পারি

আমি জানি এটি পরিসংখ্যানগতভাবে কিছুটা দড়ি হতে পারে তবে এটি আমার সমস্যা।

আমার কাছে প্রচুর পরিসীমা তথ্য রয়েছে, এটি একটি ভেরিয়েবলের ন্যূনতম, সর্বাধিক এবং নমুনার আকার বলতে say এই ডেটা কিছু জন্য আমি একটি গড় আছে, কিন্তু অনেক না। প্রতিটি পরিসরের পরিবর্তনের পরিমাণ নির্ধারণের জন্য এবং উপায়গুলির সাথে তুলনা করতে আমি এই ব্যাপ্তিকে একে অপরের সাথে তুলনা করতে চাই। এই ধারণাটি গ্রহণের আমার কাছে যুক্তিসঙ্গত কারণ রয়েছে যে বিতরণটি মাঝারিদিকে প্রায় প্রতিসম হয় এবং ডেটাতে গাউসীয় বিতরণ হবে। এই কারণে আমি ভাবছি আমি বিতরণের মধ্য-পয়েন্টটি প্রকৃতপক্ষে প্রক্সি হিসাবে যখন এটি অনুপস্থিত থাকে তখন ব্যবহার করে ন্যায়সঙ্গত করতে পারি।

আমি যা করতে চাই তা হ'ল প্রতিটি পরিসরের জন্য একটি বিতরণ পুনর্গঠন করা, এবং তারপরে সেই বিতরণের জন্য একটি প্রমিত বিচ্যুতি বা মান ত্রুটি সরবরাহ করতে এটি ব্যবহার করুন। আমার কাছে কেবলমাত্র তথ্যটি হ'ল একটি নমুনা থেকে সর্বাধিক এবং ন্যূনতম পর্যবেক্ষণ করা হয়, এবং এর জন্য প্রক্সি হিসাবে মিড-পয়েন্ট।

এইভাবে আমি আশা করি যে প্রতিটি গ্রুপের জন্য ওজনযুক্ত মাধ্যমগুলি গণনা করতে সক্ষম হব এবং প্রতিটি গ্রুপের জন্য তারতম্যের সহগের পাশাপাশি আমার কাছে থাকা পরিসীমা ডেটা এবং আমার অনুমানগুলি (একটি প্রতিসম ও স্বাভাবিক বিতরণ) এর উপর ভিত্তি করে কাজ করতে পারব।

আমি আর এটি করার জন্য আর ব্যবহার করার পরিকল্পনা করছি, তাই কোনও কোড সহায়তাও প্রশংসা করবে।

— green_thinlake
সূত্র

আমি ভাবছিলাম যে আপনি কেন ন্যূনতম ও সর্বাধিক ও সর্বাধিক মানগুলির জন্য ডেটা রেখেছেন বলে আমি ভাবছি; তারপরে আপনার কাছে কেবল প্রত্যাশিত ন্যূনতম এবং সর্বাধিক সর্বাধিক তথ্য রয়েছে। এটি কোনটি পর্যবেক্ষণ বা প্রত্যাশিত?

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

দুঃখিত, এটি আমার ভুল। সর্বাধিক এবং সর্বনিম্ন ডেটা পর্যবেক্ষণ করা হয় (বাস্তব জীবনের বস্তু থেকে পরিমাপ করা হয়)। পোস্টটি সংশোধন করেছি।

— সবুজ_থিনলকে

উত্তর:

ন্যূনতম যৌথ ক্রমবর্ধমান বণ্টনের ফাংশনের ও সর্বোচ্চ একটি নমুনা জন্য গড় সঙ্গে একটি গসিয়ান বন্টন থেকে & স্ট্যানডার্ড ডেভিয়েশন হয় $x_{(1)}$ $x_{(n)}$ $n$ $\mu$ $\sigma$

F (x_{(1)}, x_{(n)}; μ, σ) = Pr (X_{(1)} < x_{(1)}, X_{(n)} < x_{(n)}) = Pr (X_{(n)} < x_{(n)}) - Pr (X_{(1)} > x_{(1)}, X_{(n)} < x_{(n)} = Φ {(\frac{x_{(n)} - μ}{σ})}^{n} - {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n}

$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$

যেখানে হ'ল মানক গাউসিয়ান সিডিএফ। থেকে সম্মান সঙ্গে পার্থক্য ও যৌথ সম্ভাব্যতা ঘনত্ব ফাংশন দেয় $\Phi(\cdot)$ $x_{(1)}$ $x_{(n)}$

চ ({এক্স}_{(1)}, {এক্স}_{(এন)}; μ, σ) = এন (এন - 1) {[Φ (\frac{{এক্স}_{(এন)} - μ}{σ}) - Φ (\frac{{এক্স}_{(1)} - μ}{σ})]}^{এন - 2} \cdot φ (\frac{{এক্স}_{(এন)} - μ}{σ}) \cdot φ (\frac{{এক্স}_{(1)} - μ}{σ}) \cdot \frac{1}{σ^{2}}

$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$

যেখানে হ'ল মানক গাউসিয়ান পিডিএফ। পরামিতিগুলি নেই এমন লগ এবং ড্রপিং পদগুলি নেওয়া লগ-সম্ভাবনা ফাংশন দেয় $\phi(\cdot)$

ℓ (μ, σ; x_{(1)}, x_{(n)}) = (n - 2) \log [Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})] + \log ϕ (\frac{x_{(n)} - μ}{σ}) + \log ϕ (\frac{x_{(1)} - μ}{σ}) - 2 \log σ

$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$

এটি খুবই নম্র দেখাচ্ছে না কিন্তু এটি দেখতে এটি বড় হচ্ছে সহজ যাই হোক না কেন এর মান দ্বারা সেটিং $\sigma$ , অর্থাত্ মিডপয়েন্ট term প্রথম সিডিএফের যুক্তি যখন অন্যটির যুক্তির নেতিবাচক হয় তখন প্রথম শব্দটি সর্বাধিক হয়; দ্বিতীয় এবং তৃতীয় পদ দুটি স্বতন্ত্র স্বাভাবিক পরিবর্তনের যৌথ সম্ভাবনা উপস্থাপন করে। $\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

বদলে লগ-সম্ভাবনা মধ্যে & লেখা দেয় $\hat\mu$ $r=x_{(n)}-x_{(1)}$

ℓ (σ; x_{(1)}, x_{(n)}, \hat{μ}) = (n - 2) \log [1 - 2 Φ (\frac{- r}{2 σ})] - \frac{r^{2}}{4 σ^{2}} - 2 \log σ

$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$

এই অভিব্যক্তি (সঙ্গে যেমন সংখ্যাসূচকভাবে বড় করা হয়েছে optimizeআর এর থেকে statপ্যাকেজ) এটি । (এটা দেখা যাচ্ছে যে , যেখানে শুধুমাত্র উপর নির্ভর করে একটি ধ্রুবক -perhaps কেউ আরো গাণিতিকভাবে নিপুণ চেয়ে আমি কেন দেখাতে পারে।) $\hat\sigma$ $\hat\sigma=k(n)\cdot r$ $k$ $n$

নির্ভুলতার সহিত পরিমাপ ব্যতীত অনুমানগুলি কোনও ব্যবহার হয় না। পর্যবেক্ষিত ফিশার তথ্যগুলি সংখ্যাগতভাবে মূল্যায়ন করা যেতে পারে (যেমন hessianআর এর numDerivপ্যাকেজ থেকে প্রাপ্ত) এবং আনুমানিক স্ট্যান্ডার্ড ত্রুটিগুলি গণনা করতে ব্যবহৃত হয়:

I (μ) = - {\frac{\partial^{2} ℓ (μ; \hat{σ})}{(\partial μ)^{2}} |}_{μ = \hat{μ}}

$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$

I (σ) = - {\frac{\partial^{2} ℓ (σ; \hat{μ})}{(\partial σ)^{2}} |}_{σ = \hat{σ}}

$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$

এটা তোলে সম্ভাবনা & জন্য পদ্ধতি অফ মুহূর্ত অনুমান তুলনা আকর্ষণীয় হবে পক্ষপাত নিরিখে ভ্যারিয়েন্স, & গড়-বর্গক্ষেত্র ত্রুটি (MLE সামঞ্জস্যপূর্ণ?) হয়। সেই গ্রুপগুলির জন্য অনুমানের বিষয়টিও রয়েছে যেখানে ন্যূনতম ও সর্বাধিক ছাড়াও স্যাম্পল গড়টি জানা যায়। $\sigma$

— স্কর্চচি - মনিকা পুনরায় স্থাপন করুন
সূত্র

+1 টি। লগ-সম্ভাবনার সাথে ধ্রুবক

করা এটির সর্বাধিক অবস্থান পরিবর্তন করবে না, তবে এটি

এবং

এর

রূপান্তর করবে , যেখানে

এর মান যেহেতু এটি সর্বাধিক করে তোলে কিছু ফাংশন

।

হিসাবে আপনি দাবি করুন। অন্য কথায়, কাজ করার জন্য প্রাসঙ্গিক পরিমাণ হ'ল (পরিলক্ষিত) পরিসরের মান বিচ্যুতির অনুপাত বা সমানভাবে এর পরস্পর সম্পর্কিত - যা ঘনিষ্ঠভাবে সম্পর্কিত

2 \log (r)

$2\log(r)$

σ / r

$\sigma/r$

n

$n$

σ / r

$\sigma/r$

n \to k (n)

$n\to k(n)$

\hat{σ} = k (n) r

$\hat\sigma=k(n)r$ অধ্যয়ন পরিসীমা ।

— whuber

@ শুভ: ধন্যবাদ! অন্ধত্বের সাথে সুস্পষ্ট বলে মনে হচ্ছে। আমি এটি উত্তরে অন্তর্ভুক্ত করব।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

$\mu$ $\sigma$ $R=x_{(n)} - x_{(1)}$ $99.7$

μ + 3 σ \approx x_{(n)}

$\mu + 3\sigma \approx x_{(n)}$

μ - 3 σ \approx x_{(1)}

$\mu - 3\sigma \approx x_{(1)}$

আমরা প্রাপ্ত প্রথমটি থেকে দ্বিতীয়টি বিয়োগ করা

6 σ \approx {এক্স}_{(এন)} - {এক্স}_{(1)} = আর

$6\sigma \approx x_{(n)} - x_{(1)}= R$ (এটি, শিল্পের ক্ষেত্রে "ছয় সিগমা" মানের আশ্বাসের পদ্ধতিটি কোথা থেকে আসে)। তারপরে আপনি স্ট্যান্ডার্ড বিচ্যুতির জন্য একটি অনুমান পেতে পারেন

\hat{σ} = \frac{1}{6} ({\bar{এক্স}}_{(এন)} - {\bar{এক্স}}_{(1)})

$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$ যেখানে বারটি গড়কে বোঝায়। আপনি যখন ধরে নেন যে সমস্ত উপ-নমুনা একই বিতরণ থেকে আসে (আপনি প্রত্যাশিত ব্যাপ্তি সম্পর্কে লিখেছিলেন )। যদি প্রতিটি নমুনা আলাদা গড় এবং ভিন্নতার সাথে আলাদা হয় তবে আপনি প্রতিটি নমুনার সূত্রটি ব্যবহার করতে পারেন তবে স্ট্যান্ডার্ড বিচ্যুতির আনুমানিক মানের অনিশ্চয়তা / সম্ভাব্য অসম্পূর্ণতা আরও বড় হবে।

গড় এবং মানক বিচ্যুতির জন্য একটি মান থাকা সম্পূর্ণরূপে সাধারণ বন্টনকে চিহ্নিত করে।

— আলেকোস পাপাদোপল্লোস
সূত্র

এটি ক্ষুদ্রের নিকটবর্তীও নয়

n

$n$ বা বৃহত্তর জন্য একটি asympotic ফলাফল

n

$n$ ।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

@ স্টোর্তচি ওয়েল, আমি এটি বলিনি যে এটি একটি ভাল অনুমান - তবে আমি বিশ্বাস করি যে সমস্যার সমাধানের পাশাপাশি আরও কয়েকটি সমস্যা সমাধানের জন্য খুব সহজেই সমাধানগুলি কার্যকরভাবে প্রয়োগ করা ভাল is পরিশীলিত এবং দক্ষ পদ্ধতির যেমন উদাহরণস্বরূপ এই প্রশ্নের অন্য উত্তরে বর্ণিত একটি।

— অ্যালেকোস পাপাদোপল্লোস

আমি কার্প করতাম না "স্যাম্পল রেঞ্জের প্রত্যাশা মানগুলির মানগুলির থেকে প্রায় 6 গুণ স্ট্যান্ডার্ড বিচ্যুতিতে পরিণত হয়

n

$n$ 1000 200 থেকে "কিন্তু আমি তোমার শিক্ষাদীক্ষা কিছু সূক্ষ্ম অনুপস্থিত, অথবা এটি ঠিক যেমন ভাল কোন সংখ্যা দ্বারা পরিসর বিভাজক ন্যায্যতা কাজ করবে না করছি।?

— Scortchi - পুনর্বহাল মনিকা

@ স্কোর্টচি আচ্ছা, পদ্ধতির মনোভাবটি "যদি আমরা আশা করি যে প্রায় সমস্ত উপলব্ধি 6 টি সিগমাসের মধ্যে নেমে আসে, তবে চূড়ান্ত উপলব্ধি সীমান্তের কাছাকাছি হবে" এমনটাই প্রত্যাশা করা যুক্তিযুক্ত যে এটি সত্যই আছে। সম্ভবত আমি অত্যন্ত অসম্পূর্ণ তথ্যের অধীনে অপারেশন করতে ব্যবহৃত হয়েছি এবং এটি সম্পর্কে পরিমাণগত কিছু বলতে বাধ্য ... :)

— অ্যালেকোস পাপাদোপল্লো

আমি উত্তর দিতে পারি যে আরও বেশি পর্যবেক্ষণের মধ্যে পড়বে

10 σ

$10 \sigma$ গড়, আরও ভাল অনুমান দেওয়া

\hat{σ} = \frac{R}{10}

$\hat\sigma=\frac{R}{10}$ । আমি বাজে কথা বলছি না কারণ এটা বোকা। যে কোনও সংখ্যা শেষ

1.13

$1.13$ এর কিছু মূল্যের জন্য মোটামুটি অনুমান হবে

n

$n$ ।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

সর্বোচ্চ বিতরণের সর্বাধিক বিতরণ কার্যকারিতা পাওয়া সহজ (কোডে "P.max.norm" দেখুন)। এটি থেকে (কিছু ক্যালকুলাস সহ) আপনি কোয়ান্টাইল ফাংশনটি পেতে পারেন (দেখুন "Q.max.norm"))

"Q.max.norm" এবং "Q.min.norm" ব্যবহার করে আপনি এন এর সাথে সম্পর্কিত পরিসীমাটির মধ্যস্থতা পেতে পারেন অ্যালেকোস পাপাদোপ্লোস (পূর্ববর্তী উত্তরে) উপস্থাপিত ধারণাটি ব্যবহার করে আপনি এসডি গণনা করতে পারেন।

এটা চেষ্টা কর:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593

— Vyga
সূত্র

এই পদ্ধতির ধারাবাহিকতা,

E (R) = σ \int_{- \infty}^{\infty} 1 - (1 - Φ (x))^{n} - Φ (x)^{n} d x = σ d_{2} (n)

$\operatorname{E} (R) = \sigma \int_{-\infty}^{\infty} 1-(1-\Phi(x))^n -\Phi(x)^n\, \mathrm{d} x = \sigma d_2(n)$ , কোথায়

R

$R$ পরিসীমা এবং

Φ (\cdot)

$\Phi(\cdot)$ স্ট্যান্ডার্ড সাধারণ ক্রম বিতরণ ফাংশন। এর ট্যাবুলেটেড মানগুলি খুঁজে পেতে পারেন

d_{2}

$d_2$ ছোট জন্য

n

$n$ পরিসংখ্যান প্রক্রিয়া নিয়ন্ত্রণ সাহিত্যে, সংখ্যার সাথে অবিচ্ছেদ্য মূল্যায়ন করুন বা আপনার জন্য অনুকরণ করুন

n

$n$ ।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন