ইন্টারে রেটারের নির্ভরযোগ্যতা গণনা করে আর-এর পরিবর্তনশীল সংখ্যার সাথে?

উইকিপিডিয়া পরামর্শ দেয় যে আন্তঃ-রাটার নির্ভরযোগ্যতার দিকে দেখার এক উপায় হ'ল ইন্ট্রাক্লাস পারস্পরিক সম্পর্কের গণনা করার জন্য একটি এলোমেলো প্রভাবের মডেল ব্যবহার করা । ইন্ট্রাক্লাস পারস্পরিক সম্পর্কের উদাহরণটি দেখার বিষয়ে কথা বলে

\frac{σ_{α}^{2}}{σ_{α}^{2} + + σ_{ε}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

একটি মডেল থেকে

{ওয়াই}_{আমি ঞ} = μ + + α_{আমি} + + ε_{আমি ঞ}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"কোথায় ওয়াই _IJ ঞ হয় ^তম আমি পর্যবেক্ষণ ^তম গ্রুপ, μ একটি অলক্ষিত সামগ্রিক গড় α হয়, _আমি একটি অলক্ষিত র্যান্ডম প্রভাব গ্রুপ আমি সব মান দ্বারা ভাগ করা হয়, এবং ε _IJ একটি অলক্ষিত গোলমাল শব্দ।"

এটি একটি আকর্ষণীয় মডেল বিশেষত কারণ আমার ডেটাতে কোনও রেটার সমস্ত জিনিস রেট করেনি (যদিও বেশিরভাগই 20+ রেট করেছেন), এবং জিনিসগুলিকে বারের একটি চলক সংখ্যা (সাধারণত 3-4) রেট করা হয়।

প্রশ্ন # 0: "উদাহরণ আই" গ্রুপে কি "(গ্রুপ আই") জিনিসগুলির একটি গ্রুপিং রেট করা হচ্ছে?

প্রশ্ন # 1: যদি আমি আন্ত-রাটার-নির্ভরযোগ্যতা খুঁজছি, আমার কি দুটি শর্তাদির সাথে একটি র‌্যান্ডম এফেক্টস মডেল দরকার নেই, একটি রেটারের জন্য এবং রেটযুক্ত জিনিসটির জন্য একটি? সর্বোপরি, উভয়েরই সম্ভাব্য পার্থক্য রয়েছে।

প্রশ্ন # 2: আমি কীভাবে এই মডেলটিকে সেরাভাবে প্রকাশ করব?

দেখে মনে হচ্ছে যেন এই প্রশ্নের দুর্দান্ত চেহারার প্রস্তাব রয়েছে:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

আমি কয়েকটি প্রশ্নের দিকে তাকালাম , এবং lme এর জন্য "এলোমেলো" প্যারামিটারের বাক্য গঠন আমার কাছে অস্বচ্ছ। আমি lme এর জন্য সহায়তা পৃষ্ঠাটি পড়েছি , তবে "এলোমেলো" জন্য বর্ণনাটি আমার কাছে উদাহরণ ছাড়াই বোধগম্য।

এই প্রশ্নের কিছুটা একটি অনুরূপ দীর্ঘ তালিকা এর প্রশ্ন সঙ্গে, এই নিকটতম। তবে বেশিরভাগই আর-কে বিস্তারিতভাবে সম্বোধন করেন না।

r reliability random-effects-model agreement-statistics

— dfrankow
সূত্র

মিশ্রিত প্রভাব মডেল এবং র্যান্ডম এফেক্টগুলি একইভাবে কোডে কোড করা হয় আর আরও টুটো তথ্যের জন্য দেখুন ncbi.nlm.nih.gov/pmc/articles/PMC3402032 !

— noé

আপনার প্রশ্নে আপনি যে মডেলটি উল্লেখ করেছেন তাকে "ওয়ান-ওয়ে মডেল" বলা হয়। এটি ধরে নিয়েছে যে এলোমেলো সারি প্রভাবগুলি কেবলমাত্র বৈকল্পিকতার উত্স। আন্ত-রাটার নির্ভরযোগ্যতার ক্ষেত্রে সারিগুলি পরিমাপের বস্তুর সাথে মিলিত হয় (যেমন, বিষয়)।

একমুখী মডেল :
${এক্স}_{আমি ঞ} = μ + + R_{আমি} + + W_{আমি ঞ}$ $x_{ij} = \mu + r_i + w_{ij}$ কোথায় $\mu$ সমস্ত বস্তুর জন্য গড়, $r_i$ সারি প্রভাব, এবং $w_{ij}$ অবশিষ্ট প্রভাব।

তবে, "দ্বি-দ্বীনের মডেলগুলিও রয়েছে।" এগুলি ধরে নেওয়া যায় যে এলোমেলোভাবে সারি প্রভাবগুলির পাশাপাশি এলোমেলো বা স্থির কলাম প্রভাবগুলির সাথে সম্পর্কিত বৈচিত্র রয়েছে। আন্ত-রাটার নির্ভরযোগ্যতার ক্ষেত্রে, কলামগুলি পরিমাপের উত্সের সাথে মিলিত হয় (যেমন, রাটারগুলি)।

দ্বিমুখী মডেল :
${এক্স}_{আমি ঞ} = μ + + R_{আমি} + + গ_{ঞ} + + R গ_{আমি ঞ} + + ই_{আমি ঞ}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ ${এক্স}_{আমি ঞ} = μ + + R_{আমি} + + গ_{ঞ} + + ই_{আমি ঞ}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ কোথায় $\mu$ সমস্ত বস্তুর জন্য গড়, $r_i$ সারি প্রভাব, $c_j$ কলাম প্রভাব, $rc_{ij}$ ইন্টারঅ্যাকশন প্রভাব, এবং $e_{ij}$ অবশিষ্ট প্রভাব। এই দুটি মডেলের মধ্যে পার্থক্যটি ইন্টারঅ্যাকশন প্রভাবের অন্তর্ভুক্তি বা বর্জন।

দ্বিমুখী মডেল দেওয়া, আপনি চারটি আইসিসির সহগের মধ্যে একটি গণনা করতে পারেন: একক স্কোর ধারাবাহিকতা আইসিসি (সি, 1), গড় স্কোর ধারাবাহিকতা আইসিসি (সি, কে), একক স্কোর চুক্তি আইসিসি (এ, 1), বা গড় স্কোর চুক্তি আইসিসি (এ, কে)। একক স্কোর আইসিসি একক পরিমাপের জন্য প্রযোজ্য $x_{ij}$ (যেমন, পৃথক রেটার), যেখানে গড়ে স্কোর আইসিসি গড় পরিমাপের ক্ষেত্রে প্রযোজ্য $\bar{x}_i$ (উদাহরণস্বরূপ, সমস্ত বিদ্রূপকারীদের গড়)। ধারাবাহিকতা আইসিসিগুলি ডিনোমিনেটর বৈকল্প থেকে কলামের ভিন্নতা বাদ দেয় (যেমন, রাটারগুলি তাদের নিজস্ব উপায়ে পৃথক হতে দেয়), তবে চুক্তি আইসিসিগুলিতে ডিনমিনেটর ভেরিয়েন্সে কলামের ভিন্নতা অন্তর্ভুক্ত থাকে (যেমন, একই পরিমাণে র‌্যাটারগুলি পরিবর্তিত হওয়া প্রয়োজন)।

আপনি যদি এলোমেলো কলামের প্রভাবটি ধরে নেন তবে এখানে সংজ্ঞা রয়েছে:

দ্বিমুখী র্যান্ডম-এফেক্টস আইসিসি সংজ্ঞা (ইন্টারঅ্যাকশন প্রভাব সহ বা ছাড়াই) :
$আমি সি সি (সি, 1) = \frac{σ_{R}^{2}}{σ_{R}^{2} + + (σ_{R গ}^{2} + + σ_{ই}^{2})} অথবা \frac{σ_{R}^{2}}{σ_{R}^{2} + + σ_{ই}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $আমি সি সি (সি, ট) = \frac{σ_{R}^{2}}{σ_{R}^{2} + + (σ_{R গ}^{2} + + σ_{ই}^{2}) / ট} অথবা \frac{σ_{R}^{2}}{σ_{R}^{2} + + σ_{ই}^{2} / ট}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $আমি সি সি (একজন, 1) = \frac{σ_{R}^{2}}{σ_{R}^{2} + + (σ_{গ}^{2} + + σ_{R গ}^{2} + + σ_{ই}^{2})} অথবা \frac{σ_{R}^{2}}{σ_{R}^{2} + + (σ_{গ}^{2} + + σ_{ই}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $আমি সি সি (একজন, ট) = \frac{σ_{R}^{2}}{σ_{R}^{2} + + (σ_{গ}^{2} + + σ_{R গ}^{2} + + σ_{ই}^{2}) / ট} অথবা \frac{σ_{R}^{2}}{σ_{R}^{2} + + (σ_{গ}^{2} + + σ_{ই}^{2}) / ট}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

আনোভা থেকে গড় বর্গক্ষেত্র ব্যবহার করে আপনি এই মানগুলি অনুমান করতে পারেন:

দ্বি-মুখী আইসিসি অনুমান :
$আমি সি সি (সি, 1) = \frac{এম {এস}_{আর} - এম {এস}_{ই}}{এম {এস}_{আর} + + (ট - 1) এম {এস}_{ই}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $আমি সি সি (সি, ট) = \frac{এম {এস}_{আর} - এম {এস}_{ই}}{এম {এস}_{আর}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $আমি সি সি (একজন, 1) = \frac{এম {এস}_{আর} - এম {এস}_{ই}}{এম {এস}_{আর} + + (ট - 1) এম {এস}_{ই} + + ট / এন (এম {এস}_{সি} - এম {এস}_{ই})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $আমি সি সি (একজন, ট) = \frac{এম {এস}_{আর} - এম {এস}_{ই}}{এম {এস}_{আর} + + (এম {এস}_{সি} - এম {এস}_{ই}) / এন}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

আপনি ইরার প্যাকেজ ব্যবহার করে আর এ এই সহগগুলি গণনা করতে পারেন :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

তথ্যসূত্র

ম্যাকগ্রা, কেও, এবং ওং, এসপি (1996)। কিছু ইন্ট্রাক্লাস পারস্পরিক সম্পর্কের সহগগুলি সম্পর্কে সূচনা তৈরি করা। মানসিক পদ্ধতি, 1 (1), 30-46।

শ্রৌত, পিই, এবং ফ্লাইস, জেএল (1979) ইন্ট্রাক্লাস পারস্পরিক সম্পর্ক: রেটার নির্ভরযোগ্যতা মূল্যায়নে ব্যবহার। মনস্তাত্ত্বিক বুলেটিন, 86 (2), 420–428।

— জেফরি গিরার্ড
সূত্র

মহান উত্তরের জন্য ধন্যবাদ! আই সি আই সি এর মধ্যে একটি দ্বিমুখী মডেলটিতে, আমরা কীভাবে প্রতি সারি রেটারগুলির এলোমেলো নির্বাচনের প্রতিনিধিত্ব করব? আমি বোঝাতে চাইছি, আমাদের কাছে 100 টি রাটারের একটি পুল রয়েছে এবং প্রতিটি বিষয় তাদের প্রায় 5-10 দ্বারা রেট করা হয়েছে। এই জাতীয় দৃশ্যটি কি আইসিসি প্যাকেজ দ্বারা পরিচালনা করা যায়?

— মিশাল

আইসিসি ফাংশনটিতে আপনি খাওয়ানো ম্যাট্রিক্সে প্রতিটি রাটারের নিজস্ব কলাম থাকতে হবে। অন্যথায়, গণনাটি এলোমেলো এবং মিশ্র প্রভাবগুলির মডেলগুলির জন্য একই - মূল পার্থক্যটি ব্যাখ্যায় রয়েছে (ফলাফলগুলি কীভাবে সাধারণীকরণযোগ্য বিবেচনা করা যায়)।

— জেফরি গিরার্ড

উত্তরের জন্য ধন্যবাদ! আমি সেগুলি করার চেষ্টা করছি, বেশিরভাগ সেলগুলিতে এনএ থাকাকালীন (এবং কলাম প্রতি আসল সংখ্যার সাথে কেবল কয়েকটি মান, যেখানে একটি নির্দিষ্ট রেটার একটি সারির সাথে সম্পর্কিত বিষয়টিকে রেট দেয়)। যাইহোক, আউটপুটে আমি একটি পাঠ্য পাচ্ছি যে বলছে কোনও বিষয় রেকর্ড করা হয়নি (যেমন সাবজেক্ট = 0 রাটার = 9)। সম্ভবত এটির অর্থ হ'ল যেখানে কমপক্ষে একটি এনএ পাওয়া গিয়েছিল পুরো সারিটি ফিল্টার আউট হয়েছে? তবে আমি কীভাবে কোনও রেটার থেকে হারিয়ে যাওয়া রেটিংগুলি বোঝাতে পারি?

— মিশাল

হুম যা এই নির্দিষ্ট আইসিসি ফাংশনের সীমাবদ্ধতা হতে পারে। আমার একটি ম্যাটল্যাব স্ক্রিপ্ট রয়েছে যা এই পরিস্থিতিটি পরিচালনা করতে পারে। আপনার কি এমএটিএলবিতে অ্যাক্সেস রয়েছে?

— জেফ্রি গিরার্ড

হ্যাঁ, আমার ওয়েবসাইটটি দেখুন: mreliability.jmgirard.com

— জেফ্রি গিরার্ড