আত্মবিশ্বাসের ব্যবধান কখন "বুদ্ধিমান" হয় তবে সংশ্লিষ্ট বিশ্বাসযোগ্য ব্যবধানটি কখন তা করে না?


14

এটি প্রায়শই ক্ষেত্রে ঘটে যে 95% কভারেজ সহ একটি আস্থার ব্যবধান একটি বিশ্বাসযোগ্য ব্যবধানের সাথে খুব সামঞ্জস্যপূর্ণ যা 95% উত্তরীয় ঘনত্ব ধারণ করে। পূর্ববর্তী ক্ষেত্রে ইউনিফর্ম বা ইউনিফর্মের নিকটবর্তী হলে এটি ঘটে। সুতরাং একটি আত্মবিশ্বাসের ব্যবধান প্রায়শই একটি বিশ্বাসযোগ্য ব্যবধান এবং বিপরীতভাবে প্রায় অনুমান করতে ব্যবহার করা যেতে পারে। গুরুত্বপূর্ণভাবে, আমরা এ থেকে উপসংহারে পৌঁছে যেতে পারি যে বিশ্বাসযোগ্য ব্যবধান হিসাবে একটি আত্মবিশ্বাসের ব্যবধানের অনেক ত্রুটিযুক্ত ব্যাখ্যাটির অনেকগুলি সাধারণ ব্যবহারের ক্ষেত্রে ব্যবহারিক গুরুত্ব নেই।

এরকম কয়েকটি উদাহরণ রয়েছে যেখানে এই ঘটনাটি ঘটে না, তবে এগুলি সবগুলিই ঘনতান্ত্রিক পদ্ধতির সাথে কিছু ভুল আছে তা প্রমাণ করার প্রয়াসে বায়েশিয়ান স্ট্যাটাসের সমর্থকরা চেরিপিকযুক্ত বলে মনে হয়। এই উদাহরণগুলিতে, আমরা দেখি আত্মবিশ্বাসের ব্যবধানে অসম্ভব মানগুলি রয়েছে etc যা এগুলি বাজে।

আমি সেই উদাহরণগুলি বা বায়েশিয়ান বনাম ফ্রুসিডনিস্টের দার্শনিক আলোচনা ফিরে পেতে চাই না।

আমি কেবল বিপরীত উদাহরণ খুঁজছি। আত্মবিশ্বাস এবং বিশ্বাসযোগ্য ব্যবধানগুলি যথেষ্ট পরিমাণে পৃথক হওয়া এবং আত্মবিশ্বাসের পদ্ধতি দ্বারা প্রদত্ত বিরতিটি স্পষ্টতই উচ্চতর কোনও ক্ষেত্রে রয়েছে কি?

স্পষ্ট করার জন্য: এটি নির্ভর করে যখন বিশ্বাসযোগ্য ব্যবধানটি সাধারণত আত্মবিশ্বাসের অন্তর্ভুক্তির সাথে মিলিত হয়, যেমন ফ্ল্যাট, ইউনিফর্ম ইত্যাদি প্রিয়ার ব্যবহার করার সময়। যে ক্ষেত্রে আগে কেউ নির্বিচারে খারাপ পছন্দ করে সে ক্ষেত্রে আমি আগ্রহী নই।

সম্পাদনা: নীচে @ জায়েহ্যোক শিনের উত্তরের প্রতিক্রিয়াতে, আমি অবশ্যই তার সাথে এই উদাহরণটি সঠিক সম্ভাবনাটি ব্যবহার করি তা নিয়ে দ্বিমত পোষণ করতে হবে। নীচে থেটার জন্য সঠিক উত্তরোত্তর বিতরণটি অনুমান করার জন্য আমি আনুমানিক বেইসিয়ান গণনা ব্যবহার করেছি:

### Methods ###
# Packages
require(HDInterval)

# Define the likelihood
like <- function(k = 1.2, theta = 0, n_print = 1e5){
  x    = NULL
  rule = FALSE
  while(!rule){
    x     = c(x, rnorm(1, theta, 1))
    n     = length(x)
    x_bar = mean(x)

    rule = sqrt(n)*abs(x_bar) > k

    if(n %% n_print == 0){ print(c(n, sqrt(n)*abs(x_bar))) }
  }
  return(x)
}

# Plot results
plot_res <- function(chain, i){
    par(mfrow = c(2, 1))
    plot(chain[1:i, 1], type = "l", ylab = "Theta", panel.first = grid())
    hist(chain[1:i, 1], breaks = 20, col = "Grey", main = "", xlab = "Theta")
}


### Generate target data ### 
set.seed(0123)
X = like(theta = 0)
m = mean(X)


### Get posterior estimate of theta via ABC ###
tol   = list(m = 1)
nBurn = 1e3
nStep = 1e4


# Initialize MCMC chain
chain           = as.data.frame(matrix(nrow = nStep, ncol = 2))
colnames(chain) = c("theta", "mean")
chain$theta[1]  = rnorm(1, 0, 10)

# Run ABC
for(i in 2:nStep){
  theta = rnorm(1, chain[i - 1, 1], 10)
  prop  = like(theta = theta)

  m_prop = mean(prop)


  if(abs(m_prop - m) < tol$m){
    chain[i,] = c(theta, m_prop)
  }else{
    chain[i, ] = chain[i - 1, ]
  }
  if(i %% 100 == 0){ 
    print(paste0(i, "/", nStep)) 
    plot_res(chain, i)
  }
}

# Remove burn-in
chain = chain[-(1:nBurn), ]

# Results
plot_res(chain, nrow(chain))
as.numeric(hdi(chain[, 1], credMass = 0.95))

এটি 95% বিশ্বাসযোগ্য ব্যবধান:

> as.numeric(hdi(chain[, 1], credMass = 0.95))
[1] -1.400304  1.527371

এখানে চিত্র বর্ণনা লিখুন

সম্পাদনা # 2:

@ জায়েহ্যোক শিনের মন্তব্যের পরে এখানে একটি আপডেট রয়েছে। আমি এটি যথাসম্ভব সহজ রাখার চেষ্টা করছি তবে স্ক্রিপ্টটি আরও জটিল হয়ে উঠল। প্রধান পরিবর্তনগুলি:

  1. এখন গড় জন্য 0.001 সহনশীলতা ব্যবহার করে (এটি ছিল 1)
  2. ছোট সহনশীলতার জন্য অ্যাকাউন্টে পদক্ষেপের সংখ্যা 500 কে বেড়েছে
  3. ছোট সহনশীলতার জন্য অ্যাকাউন্টে প্রস্তাব বিতরণের এসডি হ্রাস করেছেন (এটি ছিল 10)
  4. তুলনা করার জন্য n = 2k এর সাথে সহজ rnorm সম্ভাবনা যুক্ত করা হয়েছে
  5. সংক্ষিপ্ত পরিসংখ্যান হিসাবে নমুনার আকার (এন) যুক্ত করেছেন, সহনীয়তা 0.5 * এন_টরেটে সেট করুন

কোডটি এখানে:

### Methods ###
# Packages
require(HDInterval)

# Define the likelihood
like <- function(k = 1.3, theta = 0, n_print = 1e5, n_max = Inf){
  x    = NULL
  rule = FALSE
  while(!rule){
    x     = c(x, rnorm(1, theta, 1))
    n     = length(x)
    x_bar = mean(x)
    rule  = sqrt(n)*abs(x_bar) > k
    if(!rule){
     rule = ifelse(n > n_max, TRUE, FALSE)
    }

    if(n %% n_print == 0){ print(c(n, sqrt(n)*abs(x_bar))) }
  }
  return(x)
}


# Define the likelihood 2
like2 <- function(theta = 0, n){
  x = rnorm(n, theta, 1)
  return(x)
}



# Plot results
plot_res <- function(chain, chain2, i, main = ""){
    par(mfrow = c(2, 2))
    plot(chain[1:i, 1],  type = "l", ylab = "Theta", main = "Chain 1", panel.first = grid())
    hist(chain[1:i, 1],  breaks = 20, col = "Grey", main = main, xlab = "Theta")
    plot(chain2[1:i, 1], type = "l", ylab = "Theta", main = "Chain 2", panel.first = grid())
    hist(chain2[1:i, 1], breaks = 20, col = "Grey", main = main, xlab = "Theta")
}


### Generate target data ### 
set.seed(01234)
X    = like(theta = 0, n_print = 1e5, n_max = 1e15)
m    = mean(X)
n    = length(X)
main = c(paste0("target mean = ", round(m, 3)), paste0("target n = ", n))



### Get posterior estimate of theta via ABC ###
tol   = list(m = .001, n = .5*n)
nBurn = 1e3
nStep = 5e5

# Initialize MCMC chain
chain           = chain2 = as.data.frame(matrix(nrow = nStep, ncol = 2))
colnames(chain) = colnames(chain2) = c("theta", "mean")
chain$theta[1]  = chain2$theta[1]  = rnorm(1, 0, 1)

# Run ABC
for(i in 2:nStep){
  # Chain 1
  theta1 = rnorm(1, chain[i - 1, 1], 1)
  prop   = like(theta = theta1, n_max = n*(1 + tol$n))
  m_prop = mean(prop)
  n_prop = length(prop)
  if(abs(m_prop - m) < tol$m &&
     abs(n_prop - n) < tol$n){
    chain[i,] = c(theta1, m_prop)
  }else{
    chain[i, ] = chain[i - 1, ]
  }

  # Chain 2
  theta2  = rnorm(1, chain2[i - 1, 1], 1)
  prop2   = like2(theta = theta2, n = 2000)
  m_prop2 = mean(prop2)
  if(abs(m_prop2 - m) < tol$m){
    chain2[i,] = c(theta2, m_prop2)
  }else{
    chain2[i, ] = chain2[i - 1, ]
  }

  if(i %% 1e3 == 0){ 
    print(paste0(i, "/", nStep)) 
    plot_res(chain, chain2, i, main = main)
  }
}

# Remove burn-in
nBurn  = max(which(is.na(chain$mean) | is.na(chain2$mean)))
chain  = chain[ -(1:nBurn), ]
chain2 = chain2[-(1:nBurn), ]


# Results
plot_res(chain, chain2, nrow(chain), main = main)
hdi1 = as.numeric(hdi(chain[, 1],  credMass = 0.95))
hdi2 = as.numeric(hdi(chain2[, 1], credMass = 0.95))


2*1.96/sqrt(2e3)
diff(hdi1)
diff(hdi2)

ফলাফলগুলি, যেখানে এইচডিআই 1 হ'ল আমার "সম্ভাবনা" এবং এইচডিআই 2 হ'ল সরল রনরম (এন, থেইটা, 1):

> 2*1.96/sqrt(2e3)
[1] 0.08765386
> diff(hdi1)
[1] 1.087125
> diff(hdi2)
[1] 0.07499163

সুতরাং সহনশীলতা যথেষ্ট পরিমাণে হ্রাস করার পরে এবং আরও অনেক এমসিসিএম পদক্ষেপ ব্যয় করে আমরা রনরম মডেলের প্রত্যাশিত সিআরআই প্রস্থ দেখতে পাচ্ছি।

এখানে চিত্র বর্ণনা লিখুন



6
সাধারণত, যখন আপনার কোনও তথ্যবহুল পূর্ব থাকে যা একেবারেই ভুল, অনানুষ্ঠানিক অর্থে, যেমন, সাধারণ (0,1) আসল মান -3.6 হয়, যখন প্রচুর ডেটা না থাকায় আপনার বিশ্বাসযোগ্য ব্যবধানটি খুব খারাপ হবে যখন ঘন ঘনবাদী দৃষ্টিকোণ থেকে তাকানো।
jboman

@ জবোম্যান এটি ইউনিফর্ম পূর্ববর্তী বা এন (0, 1e6) এর মতো কিছু ব্যবহার করার ক্ষেত্রে বিশেষত ক্ষেত্রে।
লাইভ

কয়েক দশক আগে, আসল বায়েশিয়ান এমন পরিসংখ্যানবিদকে ডেকেছিলেন যিনি ছদ্ম- (বা ভুয়া-) বায়েশিয়ান হিসাবে অ-তথ্যমূলক ব্যবহার করেছিলেন used
ব্যবহারকারী 158565

@ user158565 এটি অফটোপিক তবে ইউনিফর্মের পূর্ববর্তীটি কেবল একটি আনুমানিক। যদি পি (এইচ 80) = পি (এইচ 1) = পি (এইচ 2) = ... = পি (এইচ_এন) হয় তবে সমস্ত প্রিয়ারগণ বেয়েসের নিয়মকে সহজেই গণনা করা বাদ দিতে পারেন। এটি বোঝার সাথে সাথে ডিনমিনেটরের কাছ থেকে ছোট পদগুলি বাদ দেওয়ার চেয়ে বেশি ভুল নয়।
লাইভ লাইভ

উত্তর:


6

ক্রমিক পরীক্ষামূলক ডিজাইনে বিশ্বাসযোগ্য ব্যবধান বিভ্রান্তিকর হতে পারে।

(অস্বীকৃতি: আমি যুক্তি দিচ্ছি না এটি যুক্তিসঙ্গত নয় - এটি বেইশিয়ান যুক্তিতে পুরোপুরি যুক্তিসঙ্গত এবং বায়সিয়ান দৃষ্টিভঙ্গির দৃষ্টিকোণে বিভ্রান্তিকর নয়।)

XN(θ,1)θnnX¯n>kkN

N=inf{n1:nX¯n>k}.

Pθ(N<)=1θR

θπ(θ)θN(0,10))kθN(X¯N,1/N)

CIbayes:=[X¯N1.96N,X¯N+1.96N].
N0k
0<X¯NkNX¯N1.96N
k0CIbayes
infθPθ(θCIbayes)=0,
0θ00.95
P(θCIbayes|X1,,XN)0.95.

বাড়ির বার্তাটি নিন: আপনি যদি ঘন ঘন গ্যারান্টিস্ট থাকতে আগ্রহী হন তবে আপনার বায়েশিয়ান ইনফারেন্স সরঞ্জামগুলি ব্যবহার করা সম্পর্কে সতর্ক হওয়া উচিত যা বয়েসিয়ান গ্যারান্টিগুলির জন্য সর্বদা বৈধ তবে ঘন ঘন ঘন ঘনবাদীদের ক্ষেত্রে নয়।

(আমি ল্যারি এর সন্ত্রস্ত বক্তৃতা থেকে এই উদাহরণে শিখেছি। এই নোটটি frequentist এবং Bayesian অবকাঠামো মধ্যে সূক্ষ্ম পার্থক্য সম্পর্কে অনেক মজার আলোচনা রয়েছে। Http://www.stat.cmu.edu/~larry/=stat705/Lecture14.pdf )

সম্পাদনা সালে ক্ষুব্ধ এর অ আ ক খ, সহনশীলতা মান তাই, এমনকি মান সেটিং যেখানে আমরা পর্যবেক্ষণ একটি নির্দিষ্ট সংখ্যক নমুনা জন্য, এটি একটি সঠিক সি আর দেয় না, অত্যন্ত বড়। আমি এবিসির সাথে পরিচিত নই তবে আমি যদি টোলটির মানটি কেবল ০.০৫-তে পরিবর্তন করি তবে আমাদের নীচের মতো একটি খুব স্কিউ সিআর থাকতে পারে

> X = like(theta = 0)
> m = mean(X)
> print(m)
[1] 0.02779672

enter image description here

> as.numeric(hdi(chain[, 1], credMass = 0.95)) [1] -0.01711265 0.14253673

অবশ্যই, চেইনটি সু-স্থিতিশীল নয় তবে আমরা চেইনের দৈর্ঘ্য বাড়িয়ে দিলেও আমরা অনুরূপ সিআর পেতে পারি - ইতিবাচক অংশে স্কুড।

NX¯Nk0<θkkkθ<0


"যদি আমরা একটি বৃহৎ যথেষ্ট ট সেট, θ এর অবর প্রায় এন (X_N, 1 / এন) হল" । এটা আমার কাছে স্পষ্টতই PR (X | theta) বলে মনে হচ্ছে! = সাধারণ (থিটা, 1)। যেমন, আপনার ক্রমটি তৈরি করার প্রক্রিয়াটির জন্য এটি ভুল সম্ভাবনা। এছাড়াও, একটি টাইপো আছে। মূল উদাহরণে আপনি যখন sqrt (n) * অ্যাবস (মানে (এক্স))> কে স্যাম্পলিং বন্ধ করেন।
লাইভড

i=1Nϕ(Xiθ)

প্রশ্নে আমার সম্পাদনা দেখুন। আমি এখনও মনে করি আপনার বিশ্বাসযোগ্য ব্যবধানটি অর্থবোধ করে না কারণ এটি একটি ভুল সম্ভাবনা ব্যবহার করে। আমার কোডের মতো সঠিক সম্ভাবনা ব্যবহার করার সময় আমরা একটি যুক্তিসঙ্গত বিরতি পাই।
লাইভ লাইভে

k0<X¯Nk/NX¯N1.96/Nkk>10

2×1.96/2000=0.0876

4

যেহেতু নির্ভরযোগ্য পূর্ববর্তী বিতরণের উপর ভিত্তি করে পশ্চাদগামী বিতরণ থেকে বিশ্বাসযোগ্য ব্যবধানটি গঠিত হয়, আপনি খুব সহজেই অত্যন্ত আবদ্ধ প্যারামিটার মানগুলিতে কেন্দ্রীভূত একটি পূর্ব বিতরণ ব্যবহার করে খুব খারাপ বিশ্বাসযোগ্য অন্তর্বর্তী তৈরি করতে পারেন। অসম্ভব প্যারামিটার মানগুলিতে সম্পূর্ণভাবে কেন্দ্রীভূত এমন একটি পূর্ববর্তী বিতরণ ব্যবহার করে আপনি কোনও বিশ্বাসযোগ্য ব্যবধান তৈরি করতে পারেন যা "অর্থবোধ করে না" ।


1
বা আরও ভাল, একটি পূর্ববর্তী দ্বারা নির্মিত একটি বিশ্বাসযোগ্য যা আপনার পূর্বের সাথে একমত নয় (যদিও এটি অন্য কারও পূর্ববর্তী) আপনার কাছে বেপরোয়া হওয়ার সাথে ভাল প্রতিক্রিয়া রয়েছে। এটি বিজ্ঞানে অস্বাভাবিক নয়; আমার গবেষকরা বলেছিলেন যে তারা বিশেষজ্ঞের মতামত অন্তর্ভুক্ত করতে চান না, কারণ তাদের পর্যবেক্ষণে বিশেষজ্ঞরা সবসময় দৃ strongly়ভাবে আত্মবিশ্বাসী ছিলেন।
ক্লিফ এবি

1
এটি বিশেষত ইউনিফর্ম, বা "ফ্ল্যাট", প্রিয়ার সম্পর্কে।
লাইভ

1
@ লাইভ: আপনার প্রশ্নের মধ্যে অবশ্যই ফ্ল্যাট প্রিয়ারদের নিয়ে কথা বলা উচিত। যা সম্পূর্ণরূপে সবকিছু পরিবর্তন করে।
ক্লিফ এবি

1
@ ক্লিফ্যাব এটি প্রথম দুটি বাক্যে রয়েছে, তবে আমি পরিষ্কার করব, ধন্যবাদ।
লাইভ লাইভ

1

যদি আমরা কোনও ফ্ল্যাট আগে ব্যবহার করি তবে এটি কেবল এমন একটি গেম যেখানে আমরা কোনও পুনর্নির্মাণের আগে ফ্ল্যাটটি নিয়ে আসার চেষ্টা করি যা বোঝা যায় না।

{0,1} {1}

এই কারণেই অনেক বায়েশিয়ান ফ্ল্যাট প্রিয়ারদের আপত্তি জানায়।


আমি আমার অনুপ্রেরণাকে বেশ স্পষ্টভাবে ব্যাখ্যা করেছি। আমি উদাহরণগুলির মতো এমন কিছু চাই যেখানে আত্মবিশ্বাসের বিরতিতে অসম্ভব মানগুলি অন্তর্ভুক্ত থাকে তবে যেখানে বিশ্বাসযোগ্য ব্যবধানটি ভাল আচরণ করে। যদি আপনার উদাহরণটি অযৌক্তিক কিছু করার উপর নির্ভর করে যেমন যেমন ভুল সম্ভাবনা বেছে নেওয়া, তবে কেন এটি কারও পক্ষে আগ্রহী হবে?
লাইভ লাইভ

1
@ লাইভ: সম্ভাবনা ফাংশন পুরোপুরি যুক্তিসঙ্গত। ফ্ল্যাট পূর্বে লগ-মতভেদ নেই। বায়েসিয়ান আপনার পক্ষে ফ্ল্যাট প্রিয়ার ব্যবহার করবেন না বলে এই যুক্তিটির সম্পূর্ণতা ; এগুলি প্রকৃতপক্ষে চূড়ান্ত তথ্যবহুল হতে পারে এবং প্রায়শই ব্যবহারকারীর উদ্দেশ্য অনুসারে হয় না!
ক্লিফ এবি

1
এখানে অ্যান্ড্রু গেলম্যান ফ্ল্যাট প্রিয়ারদের কিছু বিষয় নিয়ে আলোচনা করছেন
ক্লিফ এবি

"লগ-প্রতিকূলতার আগে ফ্ল্যাটটি নয়" " আমি বোঝাতে চাইছি লগ-ট্রান্সফর্মড প্রতিক্রিয়াগুলির আগে ফ্ল্যাট স্থাপন করা আপনার কাছে বোকামি বলে মনে হচ্ছে, ভুল সম্ভাবনা ব্যবহার করার মতো। দুঃখিত, তবে আমি এই উদাহরণটির সাথে পরিচিত নই। এই মডেলটি ঠিক কী করার কথা রয়েছে?
লাইভ লাইভ

@ লাইভ: এটিকে অস্বাভাবিক মনে হতে পারে, তবে এটি সত্যিই নয়! উদাহরণস্বরূপ, লজিস্টিক রিগ্রেশন সাধারণত লগ-প্রতিক্রিয়া স্কেলের সমস্ত পরামিতি বিবেচনা করে। যদি আপনার সমস্ত গ্রুপের জন্য ডামি ভেরিয়েবলগুলি থাকে এবং আপনার রিগ্রেশন পরামিতিগুলিতে ফ্ল্যাট প্রিয়ার ব্যবহার করা হয় তবে আপনি ঠিক এই সমস্যাটিতে চলে আসবেন ।
ক্লিফ এবি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.