শিক্ষার্থীদের কাগজপত্র গ্রেডিংয়ে বিভিন্ন স্তরের উদারতার সাথে চিহ্নিতকারীদের ক্যালিব্রেট করতে আমি এই ডেটাটি কীভাবে ব্যবহার করতে পারি?

Question

১২ জন শিক্ষক 600০০ জন শিক্ষার্থীকে পড়াচ্ছেন। এই শিক্ষকদের দ্বারা শেখানো 12 টি কোহোরিয়টি 40 থেকে 90 শিক্ষার্থী আকারের এবং আমরা স্নাতকদের মধ্যে ব্যবস্থাপূর্ণ পার্থক্য প্রত্যাশা করি, কারণ স্নাতক শিক্ষার্থীরা নির্দিষ্ট কোহোটগুলিতে অনুপাতহীনভাবে বরাদ্দ পেয়েছিল এবং পূর্ববর্তী অভিজ্ঞতাতে দেখা গেছে যে স্নাতক শিক্ষার্থীরা গড় স্কোরের তুলনায় যথেষ্ট বেশি স্নাতক ছাত্র।

শিক্ষকরা তাদের দলিলের সমস্ত কাগজপত্র গ্রেড করে 100 এর মধ্যে একটি চিহ্ন দিয়েছেন।

প্রতিটি শিক্ষক অন্য তিনজন শিক্ষকের থেকে এলোমেলোভাবে নির্বাচিত একটি কাগজও দেখেছেন এবং এটি 100 এর মধ্যে একটি চিহ্ন দিয়েছেন। প্রতিটি শিক্ষকের তার তিনটি কাগজপত্র অন্য একজন শিক্ষক দ্বারা চিহ্নিত রয়েছে। 36 টি বিভিন্ন কাগজপত্রকে এভাবে ক্রস-চিহ্নযুক্ত করা হয়েছে এবং আমি এটিকে আমার ক্রমাঙ্কণের ডেটা বলি।

আমি আরও দেখতে পাচ্ছি প্রতিটি কোর্সে কতজন স্নাতক শিক্ষার্থী ছিল।

আমার প্রশ্নগুলি হ'ল:

ক) কীভাবে আমি এই ক্রমাঙ্কন তথ্যগুলিকে মূল চিহ্নগুলি আরও সুশৃঙ্খল করার জন্য সামঞ্জস্য করতে ব্যবহার করতে পারি? বিশেষত, আমি অত্যধিক উদার / অদম্য নির্মাতাদের প্রভাবগুলি যতটা সম্ভব ধুয়ে ফেলতে চাই।

খ) আমার ক্রমাঙ্কণের ডেটা কতটা উপযুক্ত? আমার এই কোর্সে প্রাপ্ত ক্রমাঙ্কন ডেটার পরিবর্তে সীমাবদ্ধ ৩ data ডেটা পয়েন্টগুলির মধ্যে আমার পছন্দ ছিল না এবং বর্তমান সেমিস্টারের সময় আর কোনও সংগ্রহ করার বিকল্প নেই। তবে, যদি এই পরিস্থিতির পুনরাবৃত্তি ঘটে তবে আমি আরও ক্যালিব্রেশন ডেটা সংগ্রহ করতে সক্ষম হতে পারি অন্যথায় বিভিন্ন ধরণের ক্যালিগ্রেশন ডেটা সংগ্রহ করতে পারি।

এই প্রশ্নটি আমি জিজ্ঞাসা করা একটি জনপ্রিয় প্রশ্নের তুলনামূলক: আমি কীভাবে ছাত্রদের গবেষণাপত্রে গ্রেডিংয়ের ক্ষেত্রে বিভিন্ন স্তরের উদারতার সাথে চিহ্নিতকারীদের প্রভাবগুলির সাথে সর্বোত্তম আচরণ করতে পারি? । যাইহোক, এটি একটি ভিন্ন কোর্স এবং আমি নিশ্চিত না যে এই প্রশ্নটি পড়া বর্তমানেরটির পটভূমি হিসাবে কতটা কার্যকর হবে, কারণ প্রধান সমস্যাটি ছিল যে আমার কাছে কোনও ক্রমাঙ্কণের ডেটা ছিল না।

Answer 1

এটি ম্যাট্রিক্স ফ্যাক্টরীকরণ সুপারিশকারী সিস্টেমটি ব্যবহারের দুর্দান্ত সুযোগ বলে মনে হচ্ছে । সংক্ষেপে, এটি নিম্নলিখিত হিসাবে কাজ করে:

• আপনার পর্যবেক্ষণগুলি একটি আংশিক পর্যবেক্ষণ করা ম্যাট্রিক্স যেখানে স্কোর শিক্ষক ছাত্র ।$M$$M_{ij}$$i$$j$

• অনুমান করুন যে এই ম্যাট্রিক্সটি কিছু সুপ্ত বৈশিষ্ট্যযুক্ত ভেক্টরগুলির বাইরের পণ্য , এবং - এটি ।$\vec t$$\vec s$$M_{ij} = t_i s_j$

• স্কয়ার্ড পুনর্গঠন ত্রুটি (যেখানে সমস্ত পর্যবেক্ষিত কোষের উপরে যোগফল থাকে হ্রাস করে দেয় এমন সুপ্ত বৈশিষ্ট্য ভেক্টরগুলির জন্য সমাধান করুন ।$\sum_{i,j} (t_is_j - M_{ij})^2$$M$

• আপনার জন্য একটি অনুমান ফিক্সিং করে এই প্রত্যাশা-বৃহদায়ন শৈলী কি করতে পারেন এবং জন্য সমাধানে মাধ্যমে লিস্ট স্কোয়ার, তারপর যে অনুমান ফিক্সিং এবং জন্য সমাধানে অভিসৃতি পর্যন্ত এবং iterating।$\vec t$$\vec s$$\vec s$$\vec t$

নোট করুন যে এটি একটি শিক্ষকের পক্ষপাতিত্বের রূপের উপর যথেষ্ট দৃ ass় ধারণা তৈরি করে - বিশেষত, আপনি যদি শিক্ষার্থীদের সুপ্ত বৈশিষ্ট্যগুলিকে তাদের "সত্য স্কোর" হিসাবে মনে করেন তবে একজন শিক্ষকের পক্ষপাত প্রতিটি সত্য স্কোরকে একটি ধ্রুবক পরিমাণে বাড়িয়ে দেয় (থেকে এর পরিবর্তে আপনি ম্যাট্রিক্সের মধ্যে যে স্কোরগুলি সন্নিবেশ করিয়েছিলেন তা ক্ষতিকারক করে তুলুন এবং তারপরে "সত্যিকারের স্কোরগুলি" এর সূচকগুলি শিখবেন)। এত কম ক্যালিগ্রেশন ডেটা সহ, আপনি সম্ভবত এই ফর্মটির ধারণা না নিয়ে খুব বেশি দূরে যেতে পারবেন না, তবে আপনার যদি আরও ডেটা থাকে তবে আপনি সুপ্ত বৈশিষ্ট্যগুলি ইত্যাদির একটি দ্বিতীয় মাত্রা যুক্ত করতে পারেন (যেমন, ধরে এবং আবার স্কোয়ার পুনর্গঠন ত্রুটি হ্রাস করার চেষ্টা করুন)।$M_{ij} = \sum_{k=1}^n s_{ik} t_{kj}$

---

সম্পাদনা: সুসংজ্ঞায়িত সমস্যাটির জন্য আপনার সুপ্ত প্যারামিটারগুলির চেয়ে বেশি ম্যাট্রিক্স অপারেশন করতে হবে (বা আপনি কোনও ধরণের নিয়মিতকরণ ব্যবহার করতে পারেন)। আপনার সবেমাত্র এখানে রয়েছে (আপনার 636 টি পর্যবেক্ষণ এবং 612 সুপ্ত প্যারামিটার রয়েছে), সুতরাং ম্যাট্রিক্স ফ্যাক্টরীকরণটি খুব ভাল কাজ করতে পারে না - আমি তাদের সাথে এই জাতীয় ছোট নমুনাগুলিতে কাজ করি নি, তাই আমি সত্যি জানি না।

যদি ক্যালিগ্রেশনটি কোনও ভাল সুপারিশকারী মডেলটি ব্যবহারের জন্য অপর্যাপ্ত প্রমাণিত হয়, আপনি Score ~ IsGradStudent + <whatever other student covariates you have> + (1|Teacher)একটি অ্যাডিটিভ শিক্ষক পক্ষপাতিত্বের অনুমানগুলি বের করার জন্য (ক্যালিগ্রেশন ডেটা উপেক্ষা করে) একাধিক স্তরের রিগ্রেশন চেষ্টা করতে পারেন , এবং তারপরে পরীক্ষা করুন যে এই পক্ষপাতটি ক্রমাঙ্কন ডেটার সাথে সামঞ্জস্য রয়েছে কিনা? গ্রহণ করেন। (যদি সম্ভব হয় তবে আপনার শিক্ষকের দ্বারা হিটরোস্কেস্টাস্টিটির অনুমতি দেওয়া উচিত)) এটি আরও অ্যাড-হক কিন্তু এটি আপনাকে কম গুরুতর ডেটা সংগ্রহের সমস্যা দিতে পারে।

Comments

এটিকে প্রসারিত করার জন্য, আমি সম্ভবত শিক্ষকের স্থির প্রভাব এবং সম্ভাব্য ক্লাস্টারযুক্ত শক্তসমর্থ স্ট্যান্ডার্ড ত্রুটিগুলি ( আর এ বিষয়ে আলোচনার জন্য এই ব্লগ পোস্টটি দেখুন) এর সাথে একটি সাধারণ মডেল দিয়ে শুরু করব এবং তারপরে যে কোনও বিদেশিদের জন্য স্থির প্রভাবগুলি তুলনা করব। আর এ, এর মতো কিছু করা lm(score ~ gradStudent + ... + teacherIDউচিত।

— iacobus

Answer 2

এখানে সম্পর্কিত কয়েকটি পদ্ধতি রয়েছে।

একাধিক শিক্ষক চিহ্নিত চিহ্নিত কাগজপত্রের সেটটি ধরুন, যেহেতু এগুলিতে শিক্ষকের প্রভাব সম্পর্কে সর্বাধিক তথ্য রয়েছে এবং সেই কাগজগুলির বাইরে শিক্ষক এবং কোহোর্ট প্রভাবগুলি বিভ্রান্ত হয় (যদি কোহোর্ট এফেক্টে পাওয়ার কোনও উপায় ছিল - সম্ভবত জিপিএর মাধ্যমে) বা অন্য কোনও ভবিষ্যদ্বাণীকারী উদাহরণস্বরূপ, তারপরে আপনি সমস্ত ডেটা ব্যবহার করতে পারেন তবে এটি মডেলগুলিকে কিছুটা জটিল করে তুলবে)।

ছাত্রদের লেবেল করুন $i=1,2, ... n$, এবং চিহ্নিতকারী $j=1, 2, ...,m$। চিহ্নের সেট হতে দিন$y_{ij}, i=1,2, ... m$।

কীভাবে চিহ্নিতকারী-প্রভাবটি প্রযোজ্য সে সম্পর্কে আপনাকে প্রথমে আপনার মডেলটি বিবেচনা করতে হবে। এটা কি যুক্তিযুক্ত? এটি কি গুণক? আপনার কি সীমানা প্রভাব সম্পর্কে উদ্বিগ্ন হওয়া দরকার (উদাহরণস্বরূপ কোনও লজিট-স্কেলে একটি অ্যাডিটিভ বা গুণক প্রভাব আরও ভাল হতে পারে)?

দুটি কাগজে দুটি প্রদত্ত চিহ্নিতকারীদের কল্পনা করুন এবং দ্বিতীয় মার্কারটি আরও উদার is আসুন ধরা যাক যে প্রথম চিহ্নিতকারী 30 এবং 60 টি কাগজপত্র দেবে the দ্বিতীয় মার্কারটি কি উভয়কেই ধারাবাহিক সংখ্যা (marks নম্বর বলে) যুক্ত করার প্রবণতা রাখবে? তারা কি ধ্রুবক শতাংশ যুক্ত করে (উভয়কে 10%, বা 6 নম্বর বনাম 6 নম্বর বলে) যুক্ত করবে? প্রথম মার্কার যদি 99 দেন? - তাহলে কি হবে? 0 সম্পর্কে কি? দ্বিতীয় মার্কারটি যদি কম উদার হয়? 99 বা 0 এ কি হবে? (এই কারণেই আমি লগইট মডেলটির উল্লেখ করেছি - কেউ সম্ভবত চিহ্নগুলির অনুপাত হিসাবে বিবেচনা করবে)$p_{ij}=m_{ij}/100$), এবং তারপরে চিহ্নিতকরণের প্রভাবটি লগতে একটি ধ্রুবক (বলুন) যুক্ত করতে পারে $p$ - যেমন $\log(p_{ij}/(1-p_{ij})$)।

(উদারতার ফর্ম পাশাপাশি আকারের অনুমান করার জন্য আপনার কাছে পর্যাপ্ত তথ্য নেই। পরিস্থিতি সম্পর্কে আপনার বোঝার থেকে আপনাকে একটি মডেল চয়ন করতে হবে inte আপনাকে ইন্টারঅ্যাকশন করার কোনও সম্ভাবনাও উপেক্ষা করতে হবে; আপনি করবেন না এর জন্য ডেটা আছে)

সম্ভাব্যতা 1 - প্লেইন অ্যাডিটিভ মডেল। কোনও চিহ্ন যদি সত্যিই 0 বা 100 এর কাছাকাছি না থাকে তবে এটি উপযুক্ত হতে পারে:

মত একটি মডেল বিবেচনা করুন $E(y_{ij}) = \mu_{i}+\tau_j$

এটি মূলত দ্বিমুখী আনোভা। আপনার এটিতে সীমাবদ্ধতা প্রয়োজন, সুতরাং আপনি মার্কস এফেক্টগুলি 0 হিসাবে একটি বিচ্যুতি কোডিং / মডেল সেট আপ করতে পারেন বা আপনি এমন একটি মডেল সেট আপ করতে পারেন যেখানে একটি চিহ্নিতকারী বেসলাইন (যার প্রভাব 0 এবং আপনি যার চিহ্ন হিসাবে চিহ্নিত হন) প্রতি অন্য চিহ্নিতকারীকে সামঞ্জস্য করার চেষ্টা করবে)।

তারপর নিতে $\hat{\tau}_j$ মানগুলির বৃহত্তর জনসংখ্যাকে সমন্বয় করুন $y_{kj}^\text{adj}=y_{kj}-\hat{\tau}_j$।

সম্ভাবনা 2: বাস্তবে, একই ধরণের ধারণা কিন্তু but $E(y_{ij}) = \mu_{i}\tau_j$। এখানে আপনি একটি অ-লাইনার সর্বনিম্ন স্কোয়ার মডেল বা লগ-লিঙ্ক সহ একটি জিএলএম ফিট করতে পারেন (আমি সম্ভবত এই দু'জনের মধ্যে দ্বিতীয়টির দিকে ঝুঁকছি)। আবার আপনার প্রতিবন্ধকতা দরকার need$\tau$গুলি।

তারপরে একটি উপযুক্ত সামঞ্জস্যটি হবে ভাগ করে নেওয়া $\hat{\tau_j}$।

সম্ভাব্যতা 3: লগইট স্কেলে অ্যাডিটিভ। এটি যদি আরও কিছু চিহ্ন 0 বা 100 এর কাছাকাছি আসে তবে এটি আরও উপযুক্ত হতে পারে It$1-p=(100-m)/100$খুব উচ্চ নম্বর জন্য। এই মডেলটি ফিট করার জন্য আপনি লগইট লিঙ্ক সহ একটি বিটা রিগ্রেশন বা কোসি-দ্বিপদী GLM ব্যবহার করতে পারেন।