একটি বহু-প্রশ্ন পরীক্ষায় প্রতারণার ধরণগুলি সনাক্ত করা

প্রশ্ন:

আমার কাছে পরীক্ষার প্রশ্নে বাইনারি ডেটা রয়েছে (সঠিক / ভুল) কিছু ব্যক্তির প্রশ্নগুলির একটি উপসেট এবং তাদের সঠিক উত্তরগুলির পূর্বে অ্যাক্সেস থাকতে পারে। আমি জানি না কে, কত, বা কোনটি। যদি কোন প্রতারণার ছিল, মনে হয় আমি আইটেমের জন্য একটি সঠিক প্রতিক্রিয়া সম্ভাবনা মডেল হবে যেমন , যেখানে প্রশ্ন অসুবিধা উপস্থাপন করে এবং ব্যক্তির সুপ্ত ক্ষমতা। এটি একটি খুব সাধারণ আইটেম রেসপন্স মডেল যা আর্টে এলটিএম এর র‌্যাশ () এর মতো ফাংশনগুলির সাথে অনুমান করা যেতে পারে সুপ্ত পরিবর্তনশীলের অনুমান (যেখানে সূচক ব্যক্তিরা) আমার পৃথক অনুমানের অ্যাক্সেস রয়েছে $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ $\hat{z}_j$ $j$ $\hat{q}_j$ একই প্রচ্ছন্ন ভেরিয়েবলের যা অন্য একটি ডেটাসেট থেকে নেওয়া হয়েছিল যাতে প্রতারণা সম্ভব ছিল না।

লক্ষ্যটি হ'ল সেই ব্যক্তিদের চিহ্নিত করা যিনি সম্ভবত প্রতারণা করেছেন এবং যে আইটেমগুলি তারা প্রতারণা করেছেন। আপনি গ্রহণ করতে পারেন কিছু পদ্ধতির কি কি? কাঁচা ডেটা ছাড়াও, , , এবং সব পাওয়া যায়, যদিও প্রথম দুই কারণে প্রতারণার কিছু পক্ষপাত থাকবে। আদর্শভাবে, সমাধানটি সম্ভাব্য ক্লাস্টারিং / শ্রেণিবিন্যাসের আকারে আসবে, যদিও এটি প্রয়োজনীয় নয়। ব্যবহারিক ধারণাগুলি যেমন আনুষ্ঠানিক পদ্ধতির হয় তেমনভাবে স্বাগত জানানো হয়। $\hat{\beta}_i$ $\hat{z}_j$ $\hat{q}_j$

এখনও অবধি, আমি উচ্চতর বনাম নিম্ন স্কোর (যেখানে ) এর সাথে প্রশ্নের সাথে সম্ভাব্যতার যে তারা প্রতারণা করেছে তার মোটামুটি সূচক)। উদাহরণস্বরূপ, আমি ব্যক্তিদের অনুসারে বাছাই এবং তারপরে ব্যক্তির প্রশ্ন স্কোরগুলির ক্রমান্বয়ে জোড়া পরিকল্পনা করেছি। আমি সেই ব্যক্তির জন্য স্কোরের গড় পারস্পরিক সম্পর্ক যার মানগুলি এর কোয়ান্টাইলের চেয়ে বেশি ছিল , একটি ফাংশন হিসাবে । উভয় পদ্ধতির জন্য কোন সুস্পষ্ট নিদর্শন। $\hat{q}_j -\hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $n^{th}$ $\hat{q}_j - \hat{z}_j$ $n$

হালনাগাদ:

আমি @SheldonCooper থেকে ধারণা ও সহায়ক মিশ্রন শেষ পর্যন্ত Freakonomics কাগজ যে @whuber আমার দিকে ইঙ্গিত করলেন। অন্যান্য ধারণা / মন্তব্য / সমালোচনা স্বাগত জানায়।

যাক ব্যক্তি হতে 'র প্রশ্নে বাইনারি স্কোর । আইটেমের প্রতিক্রিয়া মডেল অনুমান করুন যেখানে আইটেমের পরামিতি এবং একটি সুপ্ত দক্ষতার পরিবর্তনশীল ((আরও জটিল মডেলটি প্রতিস্থাপন করা যেতে পারে; আমি আমি আমার অ্যাপ্লিকেশনটিতে 2PL ব্যবহার করছি) আমি যেমন আমার মূল পোস্টে উল্লেখ করেছি, আমার কাছে পৃথক ডেটাসেট (বিভিন্ন আইটেম, একই ব্যক্তি) থেকে যোগ্যতার ভেরিয়েবলের অনুমান আছে on যা প্রতারণা সম্ভব ছিল না বিশেষত, উপরের মত একই আইটেমের প্রতিক্রিয়া মডেল থেকে অনুমান। $X_{ij}$ $j$ $i$

ঠ ণ ছ আমি টি (পি R ({এক্স}_{আমি ঞ} = 1 | {z- র}_{ঞ}) = β_{আমি} + + {z- র}_{ঞ},

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$

β_{i}

$\beta_i$

z_{j}

$z_j$

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

, আইটেমের এবং ব্যক্তির যোগ্যতার উপর শর্তসাপেক্ষে পরিদর্শন করা স্কোরের সম্ভাবনা যেখানে সম্ভাব্য সম্ভাবনা একটি সঠিক প্রতিক্রিয়া, এবং হ'ল বিপরীত । তারপর, আইটেম এবং ব্যক্তির বৈশিষ্ট্যের উপর শর্তাধীন, যুগ্ম সম্ভাবনা যে ব্যক্তি পর্যবেক্ষণ রয়েছে হয় এবং একইভাবে, ঐ আইটেমটির যৌথ সম্ভাব্যতা পর্যবেক্ষণ রয়েছে $x_{ij}$

{পি}_{আমি ঞ} = পি R ({এক্স}_{আমি ঞ} = {এক্স}_{আমি ঞ} | \hat{β_{আমি}}, \hat{{কুই}_{ঞ}}) = {পি}_{আমি ঞ} (\hat{β_{আমি}}, \hat{{কুই}_{ঞ}})^{{এক্স}_{আমি ঞ}} (1 - {পি}_{আমি ঞ} (\hat{β_{আমি}}, \hat{{কুই}_{ঞ}}))^{1 - {এক্স}_{আমি ঞ}},

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

{পি}_{ঞ} = \underset{আমি}{Π} {পি}_{আমি ঞ},

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$ হলসর্বনিম্ন ব্যক্তিরা যাদের পর্যবেক্ষণ করা স্কোরগুলি শর্তাধীনভাবে কমপক্ষে সম্ভাব্য - তারা সম্ভবত প্রতারণাকারী। সর্বনিম্ন মান সহ আইটেমগুলি শর্তসাপেক্ষে কমপক্ষে সম্ভাবনা থাকে - এগুলি সম্ভাব্য ফাঁস / ভাগ করা আইটেম। এই পদ্ধতির অনুমানের উপর নির্ভর করে যে মডেল সঠিক হয় এবং সেই ব্যক্তির 'র স্কোর ব্যক্তি এবং আইটেমের বৈশিষ্ট্যের উপর সম্পর্কহীন শর্তসাপেক্ষ হয়। দ্বিতীয় অনুমানের লঙ্ঘন সমস্যাযুক্ত নয়, যতক্ষণ না পারস্পরিক সম্পর্কের ডিগ্রি ব্যক্তিদের মধ্যে পৃথক হয় না এবং for এর মডেলটি সহজেই উন্নত করা যায় (যেমন অতিরিক্ত ব্যক্তি বা আইটেমের বৈশিষ্ট্য যুক্ত করে)।

{পি}_{আমি} = \underset{ঞ}{Π} {পি}_{আমি ঞ} ।

$p_i = \prod_j p_{ij}.$

p_{j}

$p_j$

p_{j}

$p_j$

j

$j$

p_{i j}

$p_{ij}$

আমি চেষ্টা করেছি একটি অতিরিক্ত পদক্ষেপ হ'ল কম-বেশি সম্ভাব্য ব্যক্তিদের (অর্থাৎ সর্বাধিক সজ্জিত পি_জে মানগুলির সাথে নিযুক্ত ব্যক্তি) এর r% নেওয়া, তাদের পর্যবেক্ষণ করা স্কোর x_j এর মধ্যবর্তী দূরত্ব গণনা করা (যা কম আর এর সাথে ব্যক্তিদের সাথে সম্পর্কযুক্ত হওয়া উচিত, কে সম্ভাব্য প্রতারক), এবং এটি r = 0.001, 0.002, ..., 1.000 এর জন্য প্লট করুন। গড় দূরত্ব r = 0.001 থেকে r = 0.025 এর জন্য বৃদ্ধি পায়, সর্বাধিক পৌঁছে যায় এবং তারপরে ধীরে ধীরে কমপক্ষে r = 1 এ নেমে যায় I আমি যা আশা করছিলাম ঠিক তা নয়।

r clustering classification psychometrics

— lockedoff
সূত্র

এটি একটি কঠিন সমস্যা কারণ প্রতারণার প্রকৃতি সম্পর্কে আপনার কাছে খুব কম তথ্য আছে। অতিরিক্ত কঠিন পড়াশোনা করা শিক্ষার্থীর সাথে আপনি কীভাবে প্রতারককে আলাদা করতে পারেন? আরও তথ্য ছাড়া, আপনি পারবেন না। একটি সম্ভাবনা হ'ল যদি শিক্ষার্থীরা একে অপরকে অনুলিপি করে প্রতারণা করতে পারে বা শিক্ষার্থীদের উপ-বিভাগগুলিতে একই উত্তরের অ্যাক্সেস ছিল। যদি এটি হয় তবে আপনি শিক্ষার্থীদের মধ্যে একটি দূরত্ব ফাংশন তৈরি করতে পারেন (নিম্ন দূরত্বের অর্থ তারা একই প্রশ্নগুলিতে ভাল করেছেন) এবং নিদর্শনগুলি এখানে সন্ধান করতে পারেন। এটি আরও চূড়ান্ত আইএমও হবে।

— rm999

লেভিট এবং ডাবনার ফ্রেইকোনমিক্সে ( ফ্রিকোনোমিক্সমিডিয়া ডটকম ) তাদের পদ্ধতির বর্ণনা দিয়েছেন ।

— শুক্র

@ rm999 স্পষ্ট করার জন্য, প্রতারকরা একই প্রশ্নগুলির একই উপসেটটিতে অ্যাক্সেস পেয়েছিল (উদাহরণস্বরূপ, পরীক্ষার প্রশাসনের আগে একটি আংশিক উত্তর কী ফাঁস হয়েছিল)। অনুলিপি করতে আগ্রহী নই যা কপি করেই ঘটেছে। আমি যদি অবাস্তব না হই তবে সপ্তাহান্তে আমার প্রশ্নটি সংশোধন করব।

— লকঅফ অফ

@ শুভ ধন্যবাদ, আমি কাগজটি সন্ধান করব (ধরে নিলাম এটি প্রকাশিত) আমি অডিওবুকটি শুনেছিলাম, তবে তারা কীভাবে প্রতারককে সনাক্ত করেছিল (যারা শিক্ষক ছিলেন যারা ছাত্রদের জবাব ফাঁকি দিয়েছিলেন, আমি বিশ্বাস করি) তার বিশদটি মনে করতে পারি না।

— লকঅফ অফ

আমি যদি ফ্রেইকোনমিক্স কেসটি স্মরণ করি তবে এতে একই স্কুল / ক্লাসে এমন শিশুদের দাগ দেওয়া ছিল যেগুলি (ক) এক বছরের আগের তুলনায় বৃহত্তর লাফিয়েছিল, (খ) পূর্ববর্তী সহজ প্রশ্নের বিভিন্ন উত্তর, এবং (গ) এর অভিন্ন ধারাবাহিক পরে আরও শক্ত প্রশ্নের উত্তর, সুতরাং কোনও শিক্ষিকার পরামর্শ দেওয়া যা শিশুরা ফাঁকা রেখেছিল এমন উত্তরগুলি পূরণ করে।

— হেনরি

উত্তর:

অ্যাডহক পন্থা

আমি ধরে যে যথাযথভাবে নির্ভরযোগ্য কারণ এটি অনেক শিক্ষার্থীর উপর অনুমান করা হয়েছিল, বেশিরভাগ যারা প্রশ্নে প্রতারণা করেননি । প্রতিটি শিক্ষার্থী এর জন্য, ক্রমবর্ধমান অসুবিধা অনুসারে প্রশ্নগুলি বাছাই করুন, গণনা করুন (নোট করুন যে $\beta_i$ $i$ $j$ $\beta_i + q_j$ $q_j$ এটি কেবল একটি ধ্রুবক অফসেট) এবং কিছু যুক্তিসঙ্গত স্থানে প্রান্তিক হ'ল (যেমন পি (সঠিক) <0.6)। এটি এমন প্রশ্নের একটি সেট দেয় যা শিক্ষার্থীর সঠিক উত্তর দেওয়ার সম্ভাবনা নেই। এটি এখন লঙ্ঘিত হয়েছে কিনা তা দেখার জন্য আপনি হাইপোথিসিস টেস্টিং ব্যবহার করতে পারেন, সেই ক্ষেত্রে সম্ভবত শিক্ষার্থী প্রতারণা করেছে (অবশ্যই ধরে নিবেন আপনার মডেলটি সঠিক)। একটি সতর্কতা হ'ল যদি এই জাতীয় কিছু প্রশ্ন থাকে তবে পরীক্ষার জন্য নির্ভরযোগ্য হওয়ার জন্য আপনার কাছে পর্যাপ্ত ডেটা নাও থাকতে পারে। এছাড়াও, আমি মনে করি না যে তিনি কোন প্রশ্নটি প্রতারণা করেছেন তা নির্ধারণ করা সম্ভব, কারণ তার কাছে অনুমান করার সবসময়ই 50% সম্ভাবনা থাকে। তবে আপনি যদি ধরেই নেন যে অনেক শিক্ষার্থী একই প্রশ্নে অ্যাক্সেস পেয়েছে (এবং প্রতারণা করেছে) তবে আপনি শিক্ষার্থীদের মধ্যে এগুলি তুলনা করতে পারেন এবং সুযোগগুলির চেয়ে কোন প্রশ্নগুলির উত্তর প্রায়শই পাওয়া গেছে তা দেখতে পারেন।

প্রশ্নগুলির সাথে আপনিও একই কৌশল করতে পারেন। অর্থাত প্রতিটি প্রশ্নের জন্য, শিক্ষার্থীদের বাছাই করুন, এতে (এটি এখন একটি ধ্রুবক অফসেট) যুক্ত করুন এবং সম্ভাবনা 0.6 এ প্রান্তিক করুন। এটি আপনাকে এমন শিক্ষার্থীদের একটি তালিকা দেয় যা এই প্রশ্নের সঠিক উত্তর দিতে সক্ষম হবে না। সুতরাং তাদের কাছে অনুমান করার 60% সুযোগ রয়েছে। আবার অনুমানের পরীক্ষা করুন এবং দেখুন এটি লঙ্ঘিত হয়েছে কিনা। এটি কেবল তখনই কাজ করে যদি বেশিরভাগ শিক্ষার্থীরা একই সেট প্রশ্নগুলিতে প্রতারণা করে (উদাহরণস্বরূপ যদি পরীক্ষার আগে প্রশ্নের একটি উপসেট 'ফাঁস' থাকে)। $q_j$ $\beta_i$

মূলনীতি

প্রতিটি শিক্ষার্থীর জন্য, কিছু উপযুক্ত সম্ভাবনার পূর্বে একটি সহ একটি বাইনারি ভেরিয়েবল যা ইঙ্গিত করে যে কিনা। প্রতিটি প্রশ্নের জন্য বাইনারি ভেরিয়েবল , আবার কিছু উপযুক্ত পূর্বে, প্রশ্নটি ফাঁস হয়েছে কিনা তা নির্দেশ করে। তারপরে বাইনারি ভেরিয়েবলগুলির একটি সেট , এটি নির্দেশ করে যে ছাত্র প্রশ্নের উত্তর সঠিকভাবে কিনা । যদি এবং , তবে of এর বিতরণ সম্ভাবনা 0.99 সহ । অন্যথায় । এই পর্যবেক্ষণযোগ্য ভেরিয়েবল। $c_j$ $l_i$ $a_{ij}$ $j$ $i$ $c_j = 1$ $l_i = 1$ $a_{ij}$ $logit(\beta_i + q_j)$ $a_{ij}$ $c_j$ এবং লুকানো আছে এবং অবশ্যই অনুমান করা উচিত। আপনি সম্ভবত এটি গিবস স্যাম্পলিংয়ের মাধ্যমে করতে পারেন। তবে অন্যান্য পন্থাগুলিও বোধগম্য হতে পারে, সম্ভবত দ্বিদ্বীদনের সাথে সম্পর্কিত something $l_i$

— SheldonCooper
সূত্র

আমি আপনার উত্তরের প্রথম অংশটি পড়েছি এবং মনে করি এটি আশাব্যঞ্জক। দুটি দ্রুত নোট - এটি একাধিক পছন্দ ছিল সুতরাং সঠিকভাবে অনুমানের সম্ভাবনাগুলি 25% বা 20%। আপনি ঠিক বলেছেন যে আমরা ধরে নিতে পারি পরীক্ষার আগে প্রশ্নগুলির একটি উপসেট ফাঁস হয়েছিল। রবিবার বা সোমবার এই ফিরে আসবে।

— লকঅফ অফ

আপনি যদি আরও কিছু জটিল পদ্ধতির দিকে যেতে চান তবে আপনি আইটেম প্রতিক্রিয়া তত্ত্বের মডেলগুলির দিকে নজর দিতে পারেন। তারপরে আপনি প্রতিটি প্রশ্নের অসুবিধা মডেল করতে পারেন। যে শিক্ষার্থীরা সহজ আইটেমগুলি মিস করার সময় কঠিন আইটেমগুলি সঠিকভাবে পেয়েছিল, তারা আমার বিপরীতে যারা করেছে তাদের চেয়ে প্রতারণা হওয়ার সম্ভাবনা বেশি।

আমি এই ধরণের জিনিসটি পেরিয়ে এক দশকেরও বেশি সময় পেরিয়েছি, তবে আমি মনে করি এটি আশাব্যঞ্জক হতে পারে। আরও বিশদের জন্য সাইকোমেট্রিক্সের বইগুলি দেখুন

— পিটার ফ্লুম - মনিকা পুনরায়
সূত্র

সাধারণত, প্রতারণা বা অনুমান করা সরাসরি আইআরএমের সাথে সংযুক্ত করা হতে পারে। এটি 3-পিএল মডেল কী করতে চান তা মূলত এটির মধ্যে রয়েছে কারণ এতে অসুবিধা , বৈষম্য এবং অনুমানের জন্য একটি প্যারামিটার অন্তর্ভুক্ত রয়েছে যা কোনও আইটেমের অনুমোদনের সম্ভাবনার জন্য নিম্নতর asympote হিসাবে কাজ করে। তবে এটি বেশিরভাগ পরিস্থিতিতে অবাস্তব বলে প্রমাণিত হয়েছে এবং অন্যান্য ডেডিকেটেড ব্যক্তি-ফিট পরিসংখ্যান পাশাপাশি বিকাশ করা হয়েছে (হয় শিক্ষামূলক পরীক্ষায় বা মানসিক মূল্যায়নে)। মাইজার, ব্যক্তি-ফিট গবেষণা: একটি ভূমিকা। এপিএম (1996), 9: 3-8 এর নিকৃষ্ট প্রতিক্রিয়া নিদর্শনগুলির জন্য একটি দুর্দান্ত পর্যালোচনা আছে।

— chl

@ সিএল ধন্যবাদ! আমি এই জিনিসগুলি গ্রেড স্কুলে পড়াশোনা করেছি, তবে এটি অনেক আগে ছিল - আমার শেষ ক্লাসটি ১৯৯ 1996 বা তার মধ্যে।

— পিটার ফ্লুম - মনিকা পুনরায়

@ chl আপনার পরামর্শের জন্য ধন্যবাদ। আমার প্রশ্নের মডেলটি আসলে একটি আইটেম প্রতিক্রিয়া মডেল (নির্দিষ্ট বৈষম্য প্যারামিটার সহ একটি রাশ বা 1PL মডেল)। আমি মনে করি যে ক্ষুদ্রতর পারফরম্যান্সের সাথে ব্যক্তিদের দেখার পরামর্শটি একটি ভাল শুরু, তবে আমি এমন একটি পদ্ধতির সন্ধান করছি যা প্রতারণার শিকার হয়েছে এমন আইটেমগুলির জন্য চিটারদের প্রতিক্রিয়াগুলির মধ্যে পারস্পরিক সম্পর্কযুক্ত অতিরিক্ত তথ্যের সুযোগ নেয়। আপনি কল্পনা করতে পারেন যে আমরা যদি প্রতারক সনাক্ত করতে আপনার প্রক্রিয়াটি ব্যবহার করি, উদাহরণস্বরূপ, তারা অনুরূপ কঠিন আইটেমগুলিতে ভাল সম্পাদন করবে।

— লকঅফ অফ