সাধারণ বনাম লগনরমাল বিতরণ থেকে ডেটা নমুনাযুক্ত তুলনামূলক সম্ভাবনা গণনা করতে অ্যালগরিদম প্রয়োজন

আসুন ধরা যাক আপনার মানগুলির একটি সেট রয়েছে এবং আপনি জানতে চান যে এগুলি সম্ভবত গাউসীয় (সাধারণ) বিতরণ থেকে নমুনা দেওয়া হয়েছিল বা লগনরমাল বিতরণ থেকে নমুনা প্রাপ্ত হয়েছিল কিনা?

অবশ্যই, আদর্শভাবে আপনি জনসংখ্যা সম্পর্কে বা পরীক্ষামূলক ত্রুটির উত্স সম্পর্কে কিছু জানতেন, সুতরাং প্রশ্নের উত্তর দেওয়ার জন্য দরকারী অতিরিক্ত তথ্য থাকতে পারে। তবে এখানে, ধরে নিন আমাদের কাছে কেবল সংখ্যার সেট রয়েছে এবং অন্য কোনও তথ্য নেই। কোনটি বেশি সম্ভবত: গাউসিয়ান থেকে নমুনা নেওয়া বা লগনরমাল বিতরণ থেকে নমুনা নেওয়া? আর কত সম্ভাবনা আছে? আমি যা প্রত্যাশা করছি তা হল দুটি মডেলের মধ্যে নির্বাচন করার জন্য একটি অ্যালগরিদম, এবং আশা করি প্রত্যেকটির আপেক্ষিক সম্ভাবনা পরিমাণে নির্ধারণ করুন।

normal-distribution lognormal

— হার্ভি মোটুলস্কি
সূত্র

প্রকৃতি / প্রকাশিত সাহিত্যে বিতরণের উপর বিতরণকে চেষ্টা এবং বৈশিষ্ট্যযুক্ত করার জন্য এটি একটি মজাদার অনুশীলন হতে পারে। তারপরে আবার- এটি মজাদার অনুশীলনের চেয়ে বেশি কখনই হবে না। একটি গুরুতর চিকিত্সার জন্য, আপনি হয় নিজের পছন্দকে ন্যায্য প্রমাণ হিসাবে একটি তত্ত্বের সন্ধান করতে পারেন, বা পর্যাপ্ত তথ্য-ভিজ্যুয়ালাইজ করতে এবং প্রতিটি পরীক্ষার্থীর বিতরণের উপযুক্ততার সদ্ব্যবহার পরীক্ষা করতে পারেন।

— জনরোস

যদি অভিজ্ঞতা থেকে সাধারণীকরণের বিষয়টি আমি বলব যে ইতিবাচকভাবে স্কিউড বিতরণগুলি সর্বাধিক সাধারণ ধরণের, বিশেষত প্রতিক্রিয়াশীল ভেরিয়েবলগুলির জন্য যা কেন্দ্রীয় আগ্রহের বিষয়, এবং লগমনালগুলি স্বাভাবিকের চেয়ে বেশি সাধারণ। একটি 1962 খণ্ড বিজ্ঞানী বিজ্ঞানী অনুমান করেন যে বিখ্যাত পরিসংখ্যানবিদ আইজে গুড সম্পাদিত একটি বেনাম টুকরো "ব্লগগিন্সের কার্যবিধির বিধি" অন্তর্ভুক্ত ছিল, "লগের স্বাভাবিক বিতরণ স্বাভাবিকের চেয়ে স্বাভাবিক" containing (অন্যান্য নিয়মের বেশ কয়েকটি দৃ strongly়ভাবে পরিসংখ্যানগত))

— নিক কক্স

আমি আপনার প্রশ্নটি জনরস এবং অ্যানোসেটেভেজের থেকে আলাদাভাবে ব্যাখ্যা করেছি বলে মনে হচ্ছে। আমার কাছে আপনার প্রশ্নটি প্লেইন মডেল নির্বাচনের মতো মনে হচ্ছে , এটি হ'ল

ক্ষেত্রে , যেখানে

হয় স্বাভাবিক বা লগ-স্বাভাবিক বিতরণ এবং

হ'ল আপনার ডেটা। যদি মডেল নির্বাচন আপনার পরে না হয় তবে আপনি কি স্পষ্ট করে বলতে পারেন?

P (M ∣ D)

$P(M \mid D)$

M

$M$

D

$D$

— লুকাস

@ লুকাশ আমার ধারণা আপনার ব্যাখ্যা আমার থেকে এতটা আলাদা নয়। উভয় ক্ষেত্রেই আপনাকে এপ্রিওরি অনুমান করা দরকার।

— অচিনেস্টেভেজ

কেন কেবল সাধারণ সম্ভাবনা অনুপাত গণনা করা এবং লগ-স্বাভাবিকের পক্ষে যখন ব্যবহারকারীকে সতর্ক করে না?

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

উত্তর:

আপনি প্রতিটি বন্টন (স্বাভাবিক বা লগনরমাল) সর্বাধিক সম্ভাবনার দ্বারা ডেটাতে ফিটিং করে বিতরণ টাইপের একটি সেরা অনুমান নিতে পারেন, তারপরে প্রতিটি মডেলের অধীনে লগ-সম্ভাবনার তুলনা করুন - সর্বাধিক লগ-সম্ভাবনা সহ মডেলটি সবচেয়ে উপযুক্ত। উদাহরণস্বরূপ, আর এ:

# log likelihood of the data given the parameters (par) for 
# a normal or lognormal distribution
logl <- function(par, x, lognorm=F) {
    if(par[2]<0) { return(-Inf) }
    ifelse(lognorm,
    sum(dlnorm(x,par[1],par[2],log=T)),
    sum(dnorm(x,par[1],par[2],log=T))
    )
}

# estimate parameters of distribution of x by ML 
ml <- function(par, x, ...) {
    optim(par, logl, control=list(fnscale=-1), x=x, ...)
}

# best guess for distribution-type
# use mean,sd of x for starting parameters in ML fit of normal
# use mean,sd of log(x) for starting parameters in ML fit of lognormal
# return name of distribution type with highest log ML
best <- function(x) {
    logl_norm <- ml(c(mean(x), sd(x)), x)$value
        logl_lognorm <- ml(c(mean(log(x)), sd(log(x))), x, lognorm=T)$value
    c("Normal","Lognormal")[which.max(c(logl_norm, logl_lognorm))]
}

এখন একটি সাধারণ বিতরণ থেকে সংখ্যা উত্পন্ন করুন এবং এমএল দ্বারা একটি সাধারণ বিতরণ ফিট করুন:

set.seed(1)
x = rnorm(100, 10, 2)
ml(c(10,2), x)

উত্পাদন:

$par
[1] 10.218083  1.787379

$value
[1] -199.9697
...

সাধারণ এবং লগনরমাল বিতরণের এমএল ফিটের জন্য লগ-সম্ভাবনার তুলনা করুন:

ml(c(10,2), x)$value # -199.9697
    ml(c(2,0.2), x, lognorm=T)$value # -203.1891
best(x) # Normal

লগনরমাল বিতরণ দিয়ে চেষ্টা করুন:

best(rlnorm(100, 2.6, 0.2)) # lognormal

এন, গড় এবং এসডির উপর নির্ভর করে নিয়োগটি নিখুঁত হবে না:

> table(replicate(1000, best(rnorm(500, 10, 2))))

Lognormal    Normal 
        6       994 
> table(replicate(1000, best(rlnorm(500, 2.6, 0.2))))

Lognormal    Normal 
      999         1

— waferthin
সূত্র

সাধারণ বা লগ-সাধারণ উভয়ের জন্য আপনাকে সংখ্যার দিক থেকে সর্বাধিক সম্ভাবনার প্যারামিটারের সন্ধানের প্রয়োজন হবে না (যদিও এটি দেখায় যে আপনি অন্যান্য বিতরণের তুলনায় ধারণাটি কীভাবে সাধারণীকরণ করবেন)। তা ছাড়াও খুব বুদ্ধিমান পন্থা।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

আমি সবেমাত্র আর বা সর্বাধিক সম্ভাবনার ধারণাটি ব্যবহার করেছি, সুতরাং এখানে একটি মৌলিক প্রশ্ন। আমি জানি যে আমরা এআইসি (বা বিআইসি) এর সাথে ডেটাতে বনাম বনাম কোনও সাধারণ বিতরণ ফিট করে তুলনা করতে পারি না বা উপাত্তের লগগুলির সাথে তুলনা করতে পারি না, কারণ এআইসি বা বিআইসি তুলনাযোগ্য হবে না। একটিকে এক সেট ডেটারে দুটি মডেলের ফিট করতে হবে (কোনও রূপান্তর নয়; কোনও বহিরাগত ছাড় নেই ইত্যাদি), এবং ডেটা ট্রান্সফর্ম করার সাথে তুলনা বোগাস নির্বিশেষে এআইসি বা বিআইসির পরিবর্তন হবে। এমএল কী হবে? এই তুলনা বৈধ?

— হার্ভে মোটুলস্কি

আমরা উপাত্তগুলিতে সর্বোত্তম ফিটিংয়ের স্বাভাবিক এবং লগমনরমাল বিতরণ খুঁজে পাই, তারপরে ডেটাগুলি পর্যবেক্ষণের সম্ভাবনাটি গণনা করে তারা ধরে নিবে যে সেগুলি বিতরণ (সম্ভাবনা বা p(X|\theta)) থেকে। আমরা ডেটা রুপান্তর করছি না। আমরা সেই বিতরণটি মুদ্রণ করি যার জন্য ডেটা পর্যবেক্ষণের সম্ভাবনা সর্বাধিক। এই পদ্ধতির বৈধতা রয়েছে তবে এর অসুবিধেও রয়েছে যে আমরা তথ্য প্রদত্ত মডেলের সম্ভাব্যতা অনুমান করি না p(M|X), অর্থাৎ সম্ভাব্যতা যে ডেটা একটি সাধারণ বনাম লগনরমাল বিতরণ (যেমন পি (সাধারণ) = 0.1, পি (লগনরমাল) = 0.9) বায়েশিয়ান পদ্ধতির বিপরীতে।

— ওয়েফারথিন

@ হার্ভে যথেষ্ট সত্য, তবে অপ্রাসঙ্গিক - আপনি একই তথ্যতে সাধারণ বনাম লগ-সাধারণ বিতরণ ফিট করার বিষয়ে জিজ্ঞাসা করেছিলেন , এবং এটিই উত্তর দিচ্ছে han উভয় মডেলের জন্য ফ্রি প্যারামিটারের সংখ্যা একই কারণ, এআইসি বা বিআইসির তুলনা লগ-সম্ভাবনার তুলনা কমিয়ে দেয়।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

@ অ্যানিমাহূতস এই প্রসঙ্গে বায়েশিয়ান পদ্ধতির কোনও যুক্তিসঙ্গত পূর্ব - কোনও সফ্টওয়্যার ব্যবহারকারী স্বাভাবিক বা লগ-স্বাভাবিক ডেটা ফিট করার চেষ্টা করছে এমন তুলনামূলক সম্ভাবনার অনুমানের উপর নির্ভর করে - এতটাই অবজ্ঞাপূর্ণ হতে চলেছে যে এটি একটি পদ্ধতির সাথে একই রকম ফলাফল দেবে শুধু সম্ভাবনার উপর ভিত্তি করে।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

$M \in \{ \text{Normal}, \text{Log-normal} \}$ $X = \{ x_1, ..., x_N \}$

P (M ∣ X) \propto P (X ∣ M) P (M) .

$P(M \mid X) \propto P(X \mid M) P(M).$

কঠিন অংশটি প্রান্তিক সম্ভাবনা পাচ্ছে ,

P (X ∣ M) = \int P (X ∣ θ, M) P (θ ∣ M) d θ .

$P(X \mid M) = \int P(X \mid \theta, M) P(\theta \mid M) \, d\theta.$

$p(\theta \mid M)$ $X$ $Y = \{ \log x_1, ..., \log x_N$ $Y$ $X$ ,

P (X ∣ M = Log-Normal) = P (Y ∣ M = Normal) \cdot \prod_{i} | \frac{1}{x_{i}} | .

$P(X \mid M = \text{Log-Normal}) = P(Y \mid M=\text{Normal}) \cdot \prod_i \left| \frac{1}{x_i} \right|.$

$P(\theta \mid M)$ $P(\sigma^2, \mu \mid M=\text{Normal})$ $P(M)$

উদাহরণ:

$P(\mu, \sigma^2 \mid M = \text{Normal})$ $m_0 = 0, v_0 = 20, a_0 = 1, b_0 = 100$

এখানে চিত্র বর্ণনা লিখুন

মারফি (2007) (সমীকরণ 203) এর মতে , সাধারণ বিতরণের প্রান্তিক সম্ভাবনা তখন দেওয়া হয়

P (X ∣ M = Normal) = \frac{| v_{N} |^{\frac{1}{2}}}{| v_{0} |^{\frac{1}{2}}} \frac{b_{0}^{a_{0}}}{b_{n}^{a_{N}}} \frac{Γ (a_{N})}{Γ (a_{0})} \frac{1}{π^{N / 2} 2^{N}}

$P(X \mid M = \text{Normal}) = \frac{|v_N|^\frac{1}{2}}{|v_0|^\frac{1}{2}} \frac{b_0^{a_0}}{b_n^{a_N}} \frac{\Gamma(a_N)}{\Gamma(a_0)} \frac{1}{\pi^{N/2}2^N}$

$a_N, b_N,$ $v_N$ $P(\mu, \sigma^2 \mid X, M = \text{Normal})$

\begin{aligned} v_{N} & = 1 / (v_{0}^{- 1} + N), \\ m_{N} & = (v_{0}^{- 1} m_{0} + \sum_{i} x_{i}) / v_{N}, \\ a_{N} & = a_{0} + \frac{N}{2}, \\ b_{N} & = b_{0} + \frac{1}{2} (v_{0}^{- 1} m_{0}^{2} - v_{N}^{- 1} m_{N}^{2} + \sum_{i} x_{i}^{2}) . \end{aligned}

$\begin{align} v_N &= 1 / (v_0^{-1} + N), \\ m_N &= \left( v_0^{-1}m_0 + \sum_i x_i \right) / v_N, \\ a_N &= a_0 + \frac{N}{2}, \\ b_N &= b_0 + \frac{1}{2} \left( v_0^{-1}m_0^2 - v_N^{-1}m_N^2 + \sum_i x_i^2 \right). \end{align}$

লগ-স্বাভাবিক বিতরণের জন্য আমি একই হাইপারপ্যারামিটার ব্যবহার করি,

P (X ∣ M = Log-normal) = P ({\log x_{1}, . . ., \log x_{N}} ∣ M = Normal) \cdot \prod_{i} | \frac{1}{x_{i}} | .

$P(X \mid M = \text{Log-normal}) = P(\{\log x_1, ..., \log x_N \} \mid M = \text{Normal}) \cdot \prod_i \left|\frac{1}{x_i}\right|.$

$0.1$ $P(M = \text{Log-normal}) = 0.1$

এখানে চিত্র বর্ণনা লিখুন

উত্তরোত্তর এইরকম আচরণ করে:

এখানে চিত্র বর্ণনা লিখুন

$N$

সমীকরণগুলি প্রয়োগ করার সময়, ঘনত্বগুলির পরিবর্তে লগ-ডেনসিটিগুলির সাথে কাজ করা ভাল ধারণা হবে। তবে অন্যথায় এটি বেশ সোজা এগিয়ে হওয়া উচিত। প্লট উত্পন্ন করার জন্য আমি এখানে কোডটি ব্যবহার করেছি:

https://gist.github.com/lucastheis/6094631

— লুকাস
সূত্র

দেখে মনে হচ্ছে আপনি বিশ্লেষকদের যারা সম্ভবত পেশাদার পরিসংখ্যানবিদ নন এবং তাদের কিউ কিউ প্লট, ঘনত্বের প্লট ইত্যাদির মতো স্ট্যান্ডার্ড অনুসন্ধানের কৌশলগুলি হওয়া উচিত যা করার জন্য প্রম্পট করার জন্য কিছু প্র্যাকমেটিকের সন্ধান করছেন sounds

যে ক্ষেত্রে আসল তথ্যগুলিতে কেবলমাত্র একটি স্বাভাবিকতা পরীক্ষা (শাপিরো-উইলক বা যাই হোক না কেন), এবং লগের রূপান্তরিত ডেটার উপর একটি, এবং যদি দ্বিতীয় পি মান উচ্চতর হয় তবে বিশ্লেষকের জন্য একটি লগ রূপান্তর ব্যবহার করে বিবেচনা করার জন্য পতাকা উত্তোলন করা উচিত ? বোনাস হিসাবে, কাঁচা এবং রূপান্তরিত ডেটার ঘনত্ব লাইন প্লট এবং কিউকিউনর্ম প্লটটির একটি 2 এক্স 2 গ্রাফিকটি থুতু দিন।

এটি আপেক্ষিক সম্ভাবনা সম্পর্কে আপনার প্রশ্নের প্রযুক্তিগতভাবে উত্তর দেবে না তবে আমি ভাবছি যে এটি আপনার প্রয়োজনীয় সমস্ত কি না।

— পিটার এলিস
সূত্র

চালাক। হতে পারে এটি যথেষ্ট, এবং সম্ভাবনার গণনাগুলি ব্যাখ্যা করার প্রয়োজনটিকে এড়িয়ে চলে .... ধন্যবাদ।

— হার্ভে মোটুলস্কি