কোহেনের কাপ্পা বৈচিত্র্য (এবং মান ত্রুটিগুলি) গণনা করা হচ্ছে

Question

কপ্প ( ) পরিসংখ্যানটি সালে কোহেন [১] দ্বারা দুটি বিদ্রোহীর মধ্যে চুক্তি পরিমাপ করার জন্য প্রবর্তন করেছিলেন। এর বৈকল্পিকতা বেশ কিছুদিন ধরেই দ্বন্দ্বের কারণ হয়ে দাঁড়িয়েছিল।$\kappa$

আমার প্রশ্নটি হ'ল বড় নমুনাগুলি সহ সবচেয়ে ভাল বৈকল্পিক গণনা। আমি বিশ্বাস করতে আগ্রহী যে ফ্লেইস [2] দ্বারা যাচাই করা হয়েছে এবং যাচাই করা হয়েছে এটিই সঠিক পছন্দ হবে তবে এটি কেবল প্রকাশিত নয় যা সঠিক বলে মনে হয় (এবং মোটামুটি সাম্প্রতিক সাহিত্যে ব্যবহৃত হয়েছে) throughout

এই মুহুর্তে এর অ্যাসিম্পটোটিক বৃহত নমুনার বৈচিত্রটি গণনা করার জন্য আমার কাছে এখন দুটি শক্ত উপায় রয়েছে:

• ফ্লাইস, কোহেন এবং এভারিট দ্বারা প্রকাশিত সংশোধন পদ্ধতি [২];
• ডেল্টা পদ্ধতি যা বইটিতে কলগাটন, ২০০৯ [4] (পৃষ্ঠা 106) দ্বারা পাওয়া যাবে।

এই বিভ্রান্তির কিছু চিত্রিত করার জন্য, এখানে ফ্লাইস, কোহেন এবং এভারিটের একটি উদ্ধৃতি দেওয়া হয়েছে [২], আমার উপর জোর দিন:

চূড়ান্ত সাফল্য অর্জনের আগে অনেক মানুষের প্রচেষ্টা বার বার ব্যর্থতার সাথে অভিশপ্ত হয়েছে। মাউন্ট এভারেস্টের স্কেলিং এর একটি উদাহরণ। উত্তর পশ্চিম প্যাসেজ আবিষ্কার দ্বিতীয়। কাপ্পের জন্য সঠিক মানক ত্রুটির উত্স তৃতীয় ।

সুতরাং, এখানে যা ঘটেছিল তার একটি ছোট সংক্ষিপ্তসার এখানে দেওয়া হল:

• ১৯60০: কোহেন তাঁর গবেষণাপত্র প্রকাশ করেছেন "নামমাত্র স্কেলগুলির জন্য চুক্তির একটি গুণগুণ" [১] তাঁর " নামক দুটি রেটারের মধ্যে চুক্তির সুযোগ-সংশোধন ব্যবস্থা প্রবর্তন করে । তবে, তিনি বৈকল্পিক গণনার জন্য ভুল সূত্র প্রকাশ করেন।$\kappa$
• 1968: এভারিট এগুলি সংশোধন করার চেষ্টা করে, তবে তার সূত্রগুলিও ভুল ছিল।
• 1969: ফ্লাইস, কোহেন এবং এভারিট কাগজের সঠিক সূত্রগুলি প্রকাশ করেছেন "কাপা এবং ওয়েট কাপা এর বৃহত নমুনার স্ট্যান্ডার্ড ত্রুটি" [২]।
• 1971: ফ্লেইস বৈকল্পিকের জন্য ভুল সূত্র সহ একই নামে আরও একটি পরিসংখ্যান (তবে একটি আলাদা একটি) প্রকাশ করে ।$\kappa$
• 1979: ফ্লাইস নী এবং ল্যান্ডিস ফ্লাইসের সংশোধিত সূত্র প্রকাশ করেছেন ।$\kappa$

প্রথমে নিম্নলিখিত স্বরলিপিটি বিবেচনা করুন। এই স্বরলিপিটি বোঝায় যে বিন্দুটি যে মাত্রার উপরে বসানো হয়েছে তাতে সমস্ত উপাদানগুলিতে সামিট অপারেটর প্রয়োগ করা উচিত:

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ পি । j = k ∑ i = 1 p i j$\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

এখন, কেউ কপ্পাকে এই হিসাবে গণনা করতে পারে:

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

যা

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$ হল পর্যবেক্ষিত চুক্তি, এবং

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$ the সুযোগ চুক্তি।

এখনও অবধি, কোহেনের জন্য সঠিক বৈকল্পিক গণনা দেওয়া হয়েছে:$\kappa$

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

এবং নাল অনুমানের অধীনে এটি দেওয়া হয়েছে:

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

কঙ্গাল্টনের পদ্ধতিটি ভেরিয়েন্সগুলি অর্জনের জন্য ডেল্টা পদ্ধতির উপর ভিত্তি করে বলে মনে হচ্ছে (অ্যাগ্রেস্তি, 1990; অ্যাগ্রেস্তি, 2002); তবে ডেল্টা পদ্ধতিটি কী বা কেন এটি ব্যবহার করতে হবে তা সম্পর্কে আমি নিশ্চিত নই। ভ্যারিয়েন্স, এই পদ্ধতি অধীনে, দেওয়া হয়:$\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

যা

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton একটি ব্যবহার চেয়ে বরং সাবস্ক্রিপ্ট , কিন্তু এটা একই জিনিস মানে বলে মনে হয়। উপরন্তু, আমি যে ত করছি একটি কাউন্টিং ম্যাট্রিক্স, হওয়া উচিত অর্থাত নমুনার সংখ্যা হিসাবে দ্বারা বিভক্ত হওয়ার আগে বিভ্রান্তির ম্যাট্রিক্স ) সূত্র দ্বারা সম্পর্কিত$+$$.$$n_{ij}$$p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

আরেকটি অদ্ভুত অংশটি হ'ল কলগাটনের বইটি কোহেনের মূল কাগজটি উল্লেখ করেছে বলে মনে হয়, তবে ফ্লাইস এট আল দ্বারা প্রকাশিত কাপা ভেরিয়েন্সের সংশোধনগুলি উদ্ধৃত করে বলে মনে হয় না, যতক্ষণ না তিনি ভারী কাপা সম্পর্কে আলোচনা না করে যান। সম্ভবত তাঁর প্রথম প্রকাশনাটি তখন রচিত হয়েছিল যখন কাপুর আসল সূত্রটি এখনও বিভ্রান্তিতে হারিয়ে গেল?

এই পার্থক্য কেন কেউ ব্যাখ্যা করতে সক্ষম? বা কেন কেউ ফ্লেইসের সংশোধিত সংস্করণটির পরিবর্তে ব-দ্বীপ পদ্ধতির বৈকল্পিকতা ব্যবহার করবেন?

[1]: ফ্লাইস, জোসেফ এল .; কোহেন, জ্যাকব; এভারিট, বিএস; কাপা এবং ওজনযুক্ত কাপা বড় আকারের নমুনা ত্রুটি। মনস্তাত্ত্বিক বুলেটিন, খণ্ড 72 (5), নভেম্বর 1969, 323-327। doi: 10.1037 / h0028106

[2]: কোহেন, জ্যাকব (1960)। নামমাত্র দাঁড়িপাল্লা জন্য চুক্তি একটি সহগ। শিক্ষাগত এবং মানসিক পরিমাপ 20 (1): 37 146। ডোই: 10.1177 / 001316446002000104।

[3]: অ্যালান আগ্রেস্তি, শ্রেণিবদ্ধ ডেটা বিশ্লেষণ, দ্বিতীয় সংস্করণ। জন উইলি অ্যান্ড সন্স, ২০০২।

[৪]: রাসেল জি। কঙ্গালটন এবং গ্রিন, কে।; রিমোটলি সেনসড ডেটার যথার্থতা মূল্যায়ন: নীতি ও অনুশীলন, ২ য় সংস্করণ। 2009।

Comments

আপনার কিছু বন্ধনী বন্ধ আছে, আপনি দয়া করে এগুলি ঠিক করতে পারেন? এছাড়াও, আপনি নেস্টেড বন্ধনীগুলি আরও পঠনযোগ্য করে তুলতে {[(x + y) ^ z + a] ^ b - c as হিসাবে ফর্ম্যাট করতে চাইতে পারেন।

— স্টাসকে

এছাড়াও, দয়া করে নিজেই এবং বিকল্প সমতুল্য সূত্রগুলি উপস্থিত থাকলে তাদের দিন। নির্দিষ্ট বিকল্প ফর্মুলেশনের উপর নির্ভর করে ভেরিয়েন্স এক্সপ্রেশনগুলি পাওয়া সহজ হতে পারে। (আমি গিনি সূচকের কথা ভাবছি, যার জন্য আইডির জন্য পাঁচটি বা তার চেয়ে বেশি সূত্র রয়েছে যা জটিল জরিপের তথ্যের জন্য সম্পূর্ণ পৃথক পৃথক অনুমানকারী বোঝায়))$\kappa$

— স্টাসকে

সাহায্য করার জন্য ধন্যবাদ. আমি সূত্রগুলি সংশোধন করে কপ্পাকে কীভাবে গণনা করা হয়েছে তা যুক্ত করেছি। কাপা সূচনাটি সাহিত্যের জুড়ে সামঞ্জস্যপূর্ণ বলে মনে হয়, কেবল তার বৈকল্পিকতা নেই।

— সিজার

যাইহোক, আমি কেবল লক্ষ্য করেছি যে কলগাটনের বইয়ের মুদ্রণ ত্রুটি বলে মনে হচ্ছে: তিনি সংজ্ঞায়িত , তবে এই কোথাও এসেছে। আমি মনে করি এটি বলে বোঝানো হয়েছিল , অন্যথায় আমি নিশ্চিত নই যে এটি বেশি অর্থবোধ করেছে। ঞ পি গ = Σ k আমি = 1 P আমি + + P + + $p_c = \sum_{i=1}^k p_{i+} p_{+j}$$j$$p_c = \sum_{i=1}^k p_{i+} p_{+i}$

— সিজার

আমি এই অংশটি দিয়ে আপনাকে কমপক্ষে একটি হাত দিতে পারি: "ডেল্টা পদ্ধতিটি কী তা সম্পর্কে আমি নিশ্চিত নই" - en.wikedia.org/wiki/Delta_method এবং সেখানকার

— বৈচিত্রটি

Answer 1

আমি জানি না যে বৈকল্পিকটি গণনা করার দুটি পদ্ধতির মধ্যে কোনটি পছন্দ করা হয় তবে আমি কোহেনের কাপা সম্পর্কিত বায়েশিয়ান অনুমান ব্যবহার করে আত্মবিশ্বাস / বিশ্বাসযোগ্য অন্তরগুলি গণনা করার জন্য একটি তৃতীয়, ব্যবহারিক এবং কার্যকর উপায় দিতে পারি।

আর ও Jags নিচের কোড কাপ্পা বিশ্বাসযোগ্য মান ডেটা দেওয়া অবর বন্টন থেকে এমসিএমসি নমুনা তৈরি করে।

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

নীচের প্লটটি কাপ্পার উত্তরোত্তর বিতরণ থেকে এমসিএমসি নমুনাগুলির একটি ঘনত্বের প্লট দেখায়।

MCMC নমুনাগুলি ব্যবহার করে আমরা এখন কাপ্পার একটি প্রাক্কলন হিসাবে মধ্যবর্তী মানটি ব্যবহার করতে পারি এবং 2.5% আস্থা / বিশ্বাসযোগ্য ব্যবধান হিসাবে 2.5% এবং 97.5% কোয়ান্টাইল ব্যবহার করতে পারি।

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890 

এটি ফ্লাইস, কোহেন এবং এভারিট অনুসারে গণিত "শাস্ত্রীয়" অনুমানের সাথে তুলনা করুন:

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

ব্যক্তিগতভাবে আমি ধ্রুপদী আত্মবিশ্বাসের ব্যবধানের তুলনায় বায়েশীয় আত্মবিশ্বাসের ব্যবধানকে প্রাধান্য দেব, বিশেষত যেহেতু আমি বিশ্বাস করি যে বায়সীয় আত্মবিশ্বাসের ব্যবধানে আরও ছোট ছোট নমুনার বৈশিষ্ট্য রয়েছে। বায়েসিয়ান বিশ্লেষণগুলির সাথে লোকেদের একটি সাধারণ উদ্বেগ হ'ল প্যারামিটারগুলির বিতরণ সম্পর্কে আপনাকে পূর্ববর্তী বিশ্বাসগুলি নির্দিষ্ট করতে হবে। ভাগ্যক্রমে, এই ক্ষেত্রে, সমস্ত পরামিতিগুলিতে কেবল অভিন্ন বিতরণ রেখে "উদ্দেশ্য" প্রিয়ারগুলি তৈরি করা সহজ। এটি বাপ্সীয় মডেলটির ফলাফল কাপা সহগের একটি "শাস্ত্রীয়" গণনার সাথে খুব মিল খুঁজে পাওয়া উচিত।

তথ্যসূত্র

সানজিব বসু, মৌসুমী বন্দ্যোপাধ্যায় এবং আনন্দ সেন (2000)। সিঙ্গেল এবং একাধিক স্টাডিজ থেকে কাপ্পার জন্য বায়েশিয়ান সূচনা। বায়োমেট্রিকস , খণ্ড। 56, নং 2 (জুন।, 2000), পিপি 577-582

Comments

আপনি কি জানেন যে এটির দুটি এক্সটারেরও বেশি বাড়ানো আছে?

— ফোমাইট