শিক্ষার্থীদের গবেষণাপত্রে গ্রেডিংয়ের ক্ষেত্রে বিভিন্ন স্তরের উদারতার সাথে চিহ্নিতকারীদের প্রভাবগুলির সাথে আমি কীভাবে সেরা আচরণ করতে পারি?

Question

প্রায় students০০ শিক্ষার্থীর মূল্যায়নের বিস্তৃত অংশের স্কোর রয়েছে, যা ভাল নির্ভরযোগ্যতা / বৈধতা বলে ধরে নেওয়া যেতে পারে। মূল্যায়ন 100 এর মধ্যে স্কোর হয় এবং এটি কম্পিউটার দ্বারা চিহ্নিত একাধিক-পছন্দ পরীক্ষা।

এই students০০ শিক্ষার্থীর মূল্যায়নের দ্বিতীয়, নাবালিকাগুলির স্কোরও রয়েছে। এই দ্বিতীয় পর্যায়ের মূল্যায়নে এগুলিকে ১১ টি পৃথক গ্রেডারের সাথে ১১ টি কোহোর্টে বিভক্ত করা হয়েছে, এবং গ্রেডারে তাদের 'উদারতা' চিহ্নিত করার ক্ষেত্রে, বা এর অভাবের দিক থেকে গ্রেডগুলির মধ্যে একটি অনিবার্যভাবে বড় মাত্রা রয়েছে। এই দ্বিতীয় মূল্যায়নটিও 100 এর বাইরে স্কোর।

শিক্ষার্থীদের এলোমেলোভাবে কোহোর্টে অর্পণ করা হয়নি, এবং কোহোর্টগুলির মধ্যে দক্ষতার স্তরের পার্থক্য আশা করার ভাল কারণ রয়েছে।

দ্বিতীয় অ্যাসাইনমেন্টে কোহোর্ট মার্কারগুলির মধ্যে পার্থক্যগুলি বৈধভাবে কোনও সুবিধা / অসুবিধা না করে তা নিশ্চিত করার কাজটি আমি উপস্থাপন করছি।

আমার ধারণাটি হচ্ছে প্রথম মূল্যায়নের সাথে কোহর্ট স্কোরগুলি প্রথম সহকারীর স্কোরগুলি সহকারে করার জন্য কোহর্ট স্কোরগুলি পাওয়া, কোহোর্টগুলির মধ্যে স্বতন্ত্র পার্থক্য বজায় রেখে। আমাদের ধরে নেওয়া উচিত যে দুটি কাজেই পারফরম্যান্সের সাথে অত্যন্ত পারস্পরিক সম্পর্ক হবে এই বিশ্বাসের আমার কাছে যথেষ্ট যুক্তি রয়েছে তবে চিহ্নিতকারীরা তাদের উদারতায় যথেষ্ট পার্থক্য করেছেন।

এটিই কি সেরা পন্থা? তা না হলে কী?

এটির প্রশংসা করা হবে যদি উত্তরদাতা কোনও ভাল সমাধান কীভাবে প্রয়োগ করতে হয় সে সম্পর্কে কিছু ব্যবহারিক টিপস দিতে পারে, আর বা এসপিএসএস বা এক্সেলে বলুন।

Comments

দুর্দান্ত প্রশ্ন! একাধিক পছন্দের জন্য চূড়ান্ত স্কোরগুলি এবং প্রবন্ধের অংশগুলি তুলনীয় বলে মনে করা হচ্ছে (অর্থাত্ একই সংখ্যার ব্যাপ্তি)?

— গুং - মনিকা পুনরায়

আমি যখন এই প্রশ্নটি লিখছিলাম তখন আমি ভেবেছিলাম এটি আপনার মজাদার হতে পারে! চূড়ান্ত স্কোরগুলি বিস্তৃতভাবে তুলনাযোগ্য তবে কিছুটা আলাদা। একাধিক পছন্দ বিভাগের

— গড়টি

আমি কেবল আপনার বর্ণিত ডেটার ভিত্তিতে এই সমস্যা সমাধানের যে কোনও প্রচেষ্টা সম্পর্কে সন্দেহ করব, কারণ এটিকে দৃ separate় (এবং অকেটেস্টেবল) ধারণার উপর নির্ভর করতে হবে যে দুটি পৃথক পরীক্ষার যন্ত্রগুলির সাথে কোহর্ট এবং পারফরম্যান্সের মধ্যে কোনও মিথস্ক্রিয়া নেই। যদি আপনি সম্ভবত পারেন তবে গ্রেডারদের ক্যালিব্রেট করার জন্য একটি পৃথক ছোট পরীক্ষা চালানোর বিকল্প বিবেচনা করুন।

— whuber

সমস্যাটি কোথায় রয়েছে তা আরও ভালভাবে দেখার জন্য ধরুন (অনুমানকৃতভাবে) যে (1) মূল্যায়ন দুটি ফর্ম একাধিক পছন্দ এবং প্রবন্ধ এবং (2) আপনার প্রবীণ শিক্ষার্থীরা প্রবন্ধের প্রশ্নগুলিতে তুলনামূলকভাবে আরও ভাল করার ঝোঁক রয়েছে। স্কোরগুলি "সংহতি" করতে আপনি যখন আপনার ডেটা ব্যবহার করেন তখন আপনি বয়সের প্রভাবগুলির সাথে গ্রেডের প্রভাবগুলি বিভ্রান্ত করবেন এবং সামঞ্জস্য করে, এর ফলে বয়স্ক শিক্ষার্থীদের অল্প বয়স্কের তুলনায় নিয়মিতভাবে অসুবিধে করতে পারেন। আপনি যে অ্যালগরিদমটি চয়ন করেন তা কতই না পরিশীলিত হোক না কেন, এটি কেবলমাত্র এই প্রাথমিক সমস্যাটিকেই কাগজ করতে পারে। এই বিভ্রান্তিটি সমাধান করতে আপনার কিছু অতিরিক্ত ডেটা দরকার need

— হোবার

একটি বিষয় বিবেচনা করার বিষয় হ'ল আপনি শিক্ষার্থী বা অন্যান্য স্টেকহোল্ডারদের সামঞ্জস্য পদ্ধতিটি ব্যাখ্যা করার ক্ষেত্রে কতটা স্বাচ্ছন্দ্য বোধ করতে পারেন: অনেকেই মনে করতে পারেন যে চিহ্নিতকরণের সাথে একটি সম্ভাব্য সমস্যা দেওয়া হয়েছে , চিহ্নিতকারীদের যথাযথ ক্রমাঙ্কনের ক্ষেত্রে কিছু প্রচেষ্টা করা যদি আশা করা খুব বেশি না হয় তবে পরীক্ষা একটি গুরুত্বপূর্ণ।

— Scortchi - পুনর্বহাল মনিকা

Answer 1

জানা কত graders ভিন্ন ভাল কি তোমাদেরকে বলিনি কী বাংলাদেশের ক্ষতিপূরণ, কিন্তু এখনও থেকে । সরলতার জন্য মাত্র দুটি গ্রেডের কল্পনা করুন। এমনকি যদি আমরা 1 ম গ্রেডের সমাপ্তি 2 গ্রেডের তুলনায় ধারাবাহিকভাবে 5 চিহ্ন বেশি উদার হয় তবে এটি আপনাকে 2 গ্রেডের 1 জন এবং একজন গ্রেডের দ্বারা 2 ছাত্রের সাথে কী করা উচিত তা আপনাকে জানায় না we আমরা কি গ্রেড 2 বলি? একজন কঠোর চিহ্নিতকারী এবং 70 থেকে 75 এর উপরে উঠেছিল, যখন 70 টি গ্রেডের দ্বারা চিহ্নিত 1 অপরিবর্তিত রয়েছে? বা আমরা কী ধরে নিই যে গ্রেডার 1 অযৌক্তিকভাবে হালকা ছিল, তার ছাত্রকে 65 নম্বরে নামিয়ে দিয়েছে এবং গ্রেড 2 এর 70 টি অপরিবর্তিত রয়েছে? আমরা কি 11 টি গ্রেডারের গড়ের উপর ভিত্তি করে - আপনার ক্ষেত্রে প্রসারিত - এর মধ্যে অর্ধপথে আপোস করব? এটি বিষয়টির পরম গ্রেড, সুতরাং আপেক্ষিক উদারতা জানা যথেষ্ট নয়।

আপনার উপসংহার চূড়ান্ত পরম চিহ্নটি কীভাবে হওয়া উচিত বলে মনে করেন তার উপর "নির্ভরযোগ্য" নির্ভর করতে পারে। একটি মানসিক মডেল হ'ল প্রতিটি শিক্ষার্থীর একটি "সঠিক" গ্রেড প্রস্তাব করা উচিত - যা প্রতিটি লিখিতভাবে পৃথকভাবে চিহ্নিত করার সময় থাকলে সীসা মূল্যায়নকারী দ্বারা ভূষিত করা হত - যা পর্যবেক্ষক গ্রেডগুলি আনুমানিক হয়। এই মডেলটিতে, পর্যবেক্ষক গ্রেডগুলি তাদের গ্রেডের জন্য ক্ষতিপূরণ প্রদান করা উচিত, যাতে তাদের অনাদায়ী "সত্য" গ্রেডের দিকে যথাসম্ভব কাছাকাছি আনতে হবে। অন্য একটি মডেল হতে পারে যে সমস্ত গ্রেডিং বিষয়ভিত্তিক, এবং আমরা প্রতিটি পর্যবেক্ষিত গ্রেডকে সেই চিহ্নের দিকে রূপান্তরিত করতে চাই যা আমরা পূর্বাভাস দিয়েছিলাম যে সমস্ত গ্রেড একই কাগজ বিবেচনা করে এবং এটির জন্য কোনওরকম আপস বা গড় গ্রেডে পৌঁছে গেলে এটি পুরষ্কার দেওয়া হত। সাবজেক্টিভিটির ভর্তি আরও বাস্তববাদী হলেও আমি দ্বিতীয় মডেলটিকে সমাধান হিসাবে কম বিশ্বাসযোগ্য মনে করি। শিক্ষামূলক সেটিংয়ে সাধারণত এমন কেউ আছেন যাঁরা মূল্যায়নের চূড়ান্ত দায়িত্ব বহন করেন, শিক্ষার্থীরা যাতে তাদের "প্রাপ্য গ্রেড" পান তা নিশ্চিত করার জন্য, তবে এই নেতৃত্বের ভূমিকাই মূলত সেই গ্রেড গ্রেডারের দায়িত্বে বাধ্যতামূলকভাবে দায়বদ্ধ হয়ে পড়েছে যারা ইতিমধ্যে আমরা ইতিমধ্যে অসম্মত জানি। এখান থেকে আমি ধরে নিইহয় একটি "সঠিক" গ্রেড যে আমরা অনুমান করার জন্য তাগ, কিন্তু এই একটি contestable প্রতিজ্ঞা রয়েছে এবং আপনার অবস্থার মাপসই নাও করতে পারে।

ধরা যাক, এ, বি, সি এবং ডি শিক্ষার্থীরা সবাই একই সংস্থায় যথাক্রমে ""৫, ৮০, ৮৫ এবং 90 হিসাবে গ্রেড করা উচিত তবে তাদের উদার গ্রেডের ধারাবাহিকভাবে 5 টি চিহ্ন খুব বেশি থাকে। আমরা 80, 85, 90 এবং 95 পর্যবেক্ষণ করি এবং 5 টি বিয়োগ করা উচিত, তবে বিয়োগের জন্য চিত্রটি খুঁজে পাওয়া সমস্যাযুক্ত। কোহোর্টগুলির মধ্যে ফলাফলের তুলনা করে এটি করা যায় না যেহেতু আমরা আশা করি যে কোহোর্টগুলি গড় যোগ্যতায় পরিবর্তিত হয়। একটি সম্ভাবনা হ'ল একাধিক পছন্দ পরীক্ষার ফলাফলগুলি দ্বিতীয় অ্যাসাইনমেন্টে সঠিক স্কোরগুলি পূর্বাভাস দেওয়ার জন্য, তারপরে প্রতিটি গ্রেডার এবং সঠিক গ্রেডের মধ্যে পার্থক্য নির্ধারণ করতে এটি ব্যবহার করুন। তবে এই ভবিষ্যদ্বাণী করা অপ্রয়োজনীয় - যদি আপনি দুটি মূল্যায়নের মধ্যে বিভিন্ন গড় এবং মানক বিচ্যুতি আশা করেন তবে আপনি কেবল ধরে নিতে পারবেন না যে দ্বিতীয় মূল্যায়নের গ্রেডগুলি প্রথমটির সাথে মিলবে।

এছাড়াও, শিক্ষার্থীরা একাধিক পছন্দ এবং লিখিত মূল্যায়নে আপেক্ষিক প্রবণতা থেকে পৃথক। আপনি এটির একরকম এলোমেলো প্রভাব হিসাবে চিকিত্সা করতে পারেন, শিক্ষার্থীর "পর্যবেক্ষণ" এবং "সত্য" গ্রেডগুলির একটি উপাদান তৈরি করে, তবে তাদের "পূর্বাভাস" গ্রেড দ্বারা বন্দী করা হয়নি। যদি কোহোর্টগুলি পদ্ধতিগতভাবে পৃথক হয় এবং কোহোর্টে শিক্ষার্থীরা একই রকম হয়, তবে আমাদের প্রতিটি কোহরের মধ্যে এই প্রভাবটি শূন্যের বাইরে চলে যাওয়ার আশা করা উচিত নয়। যদি কোনও কোহর্টের পর্যবেক্ষিত গ্রেডগুলি তাদের পূর্বাভাসের তুলনায় গড় +5 হয় তবে এটি অসম্ভবএটি কোনও উদার গ্রেডারের কারণে কিনা তা নির্ধারণ করার জন্য, একাধিক বিশেষাধিকারের তুলনায় লিখিত মূল্যায়নের পক্ষে বিশেষত আরও উপযুক্ত, বা দু'জনের কিছু সংমিশ্রণ a চরম ক্ষেত্রে, কোহর্টের দ্বিতীয় মূল্যায়নে এমনকি স্বল্পতাও কম থাকতে পারে তবে খুব উদার গ্রেডার - বা তদ্বিপরীত দ্বারা ক্ষতিপূরণ দেওয়ার চেয়ে এটি বেশি ছিল। আপনি এটিকে আলাদা করতে পারবেন না। এটা হতভম্ব।

আপনার ডেটাগুলির জন্য এ জাতীয় সরল অ্যাডেটিভ মডেলের পর্যাপ্ততা সম্পর্কেও আমি সন্দেহ করি। গ্রেডাররা কেবল স্থানে স্থানান্তর না করে লিড অ্যাসেসরের থেকে আলাদা হতে পারে, তবে ছড়িয়ে পড়েও - যেহেতু কোহোর্টগুলি সম্ভবত একজাতীয়তার মধ্যে পরিবর্তিত হয়, তবে এটি সনাক্ত করার জন্য আপনি কেবল প্রতিটি সংঘের পর্যবেক্ষণ গ্রেডের বিস্তার পরীক্ষা করতে পারবেন না। তদুপরি, বিতরণের বেশিরভাগ উচ্চতর স্কোর রয়েছে, প্রায় তাত্ত্বিক সর্বোচ্চ 100 এর কাছাকাছি I'd আমি সর্বাধিকের কাছাকাছি সংকোচনের কারণে এই প্রবর্তনকারী অ-রেখার্যতাটি অনুমান করতাম - খুব উদার গ্রেডার এ, বি, সি এবং ডি নম্বর দিতে পারে 85, 90, 94, 97. এটি কেবল একটি ধ্রুবককে বিয়োগ করার চেয়ে বিপরীত করা শক্ত। সবচেয়ে খারাপ, আপনি "ক্লিপিং" দেখতে পাবেন - একটি অত্যন্ত উদার গ্রেডার তাদের 90, 95, 100, 100 হিসাবে গ্রেড করতে পারে This এটি অসম্ভববিপরীত করতে, এবং সি এবং ডি এর আপেক্ষিক কর্মক্ষমতা সম্পর্কে তথ্য অপ্রত্যাশিতভাবে হারিয়ে গেছে।

আপনার গ্রেডাররা খুব আলাদা আচরণ করে। আপনি কি নিশ্চিত যে তারা মূল্যায়নের বিভিন্ন উপাদানগুলিতে উদারতার চেয়ে কেবল তাদের সামগ্রিক উদারতায় আলাদা? এটি পরীক্ষা করার উপযুক্ত হতে পারে, কারণ এটি বিভিন্ন জটিলতার সূচনা করতে পারে - যেমন বি এর জন্য পর্যবেক্ষণকৃত গ্রেড এ এর ​​চেয়ে খারাপ হতে পারে, বিটি 5 পয়েন্ট "আরও ভাল" হওয়া সত্ত্বেও, প্রতিটি উপাদানগুলির জন্য গ্রেডারের বরাদ্দকৃত চিহ্নগুলি একঘেয়েভাবে বৃদ্ধি ফাংশন হলেও সীসা মূল্যায়নকারীদের! ধরুন মূল্যায়ন Q1 (A এর 30/50, B 45/50 হওয়া উচিত) এবং Q2 (A এর 45/50, B 35/50 হওয়া উচিত) এর মধ্যে বিভক্ত হয়ে গেছে। কল্পনা করুন যে গ্রেডার Q1 (পর্যবেক্ষণ গ্রেডগুলি: এ 40/50, বি 50/50) তে খুব লেনেন্ট তবে Q2 এর উপর কঠোর (পর্যবেক্ষণ: একটি 42/50, 30/50), তারপরে আমরা এ এর ​​জন্য ৮২ এবং ৮০ এর জন্য মোট পর্যবেক্ষণ করি বি। যদি আপনাকে উপাদানগুলির স্কোরগুলি বিবেচনা করতে হয়,

যুক্তিযুক্তভাবে এটি একটি উত্তরের পরিবর্তে একটি বর্ধিত মন্তব্য, অর্থে এটি আপনার সমস্যার মূল সীমানার মধ্যে কোনও নির্দিষ্ট সমাধানের প্রস্তাব দেয় না। তবে যদি আপনার গ্রেডাররা ইতিমধ্যে প্রতিটি প্রায় 55 টি কাগজপত্র হ্যান্ডেল করে চলেছে তবে তাদের পক্ষে ক্রমাঙ্কণের উদ্দেশ্যে আরও পাঁচ বা দশটি তাকাতে হবে তা কি খারাপ? আপনার কাছে ইতিমধ্যে শিক্ষার্থীদের দক্ষতা সম্পর্কে ভাল ধারণা রয়েছে, সুতরাং গ্রেডের বিস্তৃতি জুড়েই কাগজগুলির একটি নমুনা বেছে নিতে পারেন। তারপরে আপনি নির্ধারণ করতে পারেন যে পুরো পরীক্ষা জুড়ে বা প্রতিটি উপাদানগুলিতে গ্রেড উদারতার জন্য আপনাকে ক্ষতিপূরণ দিতে হবে, এবং কেবল একটি ধ্রুবক যোগ / বিয়োগ করে বা আরও বেশি পরিশীলিত কিছু যেমন ইন্টারপোলেশনের মাধ্যমে করা উচিত (উদাহরণস্বরূপ যদি আপনি অ- 100 এর নিকটরে রৈখিকতা)। তবে বিভাজন সম্পর্কে সতর্কতার একটি শব্দ: ধরুন লিড অ্যাসেসার পাঁচটি নমুনা কাগজকে 70, 75, 80, 85 এবং 90 হিসাবে চিহ্নিত করেছেন, যখন একজন গ্রেডার তাদের 80, 88, 84, 93 এবং 96 হিসাবে চিহ্নিত করে তাই অর্ডার সম্পর্কে কিছুটা দ্বিমত রয়েছে। আপনি সম্ভবত 90 থেকে 100 এর ব্যবধানে 96 থেকে 100 পর্যন্ত পর্যবেক্ষণ গ্রেডগুলি ম্যাপ করতে চান এবং 85 থেকে 90 এর ব্যবধানে 93 থেকে 96 পর্যন্ত গ্রেডগুলি পর্যবেক্ষণ করতে পারেন। তবে এর নিচের চিহ্নগুলির জন্য কিছু চিন্তাভাবনা প্রয়োজন। সম্ভবত 84 থেকে 93 এর পর্যবেক্ষণ গ্রেডগুলি 75 থেকে 85 এর ব্যবধানে ম্যাপ করা উচিত? "পর্যবেক্ষিত গ্রেড" থেকে "ভবিষ্যদ্বাণী করা সত্য গ্রেড" এর সূত্র পাওয়ার জন্য বিকল্পটি (সম্ভবত বহুপদী) রিগ্রেশন হবে। সম্ভবত 84 থেকে 93 এর পর্যবেক্ষণ গ্রেডগুলি 75 থেকে 85 এর ব্যবধানে ম্যাপ করা উচিত? "পর্যবেক্ষিত গ্রেড" থেকে "ভবিষ্যদ্বাণী করা সত্য গ্রেড" এর সূত্র পাওয়ার জন্য বিকল্পটি (সম্ভবত বহুপদী) রিগ্রেশন হবে। সম্ভবত 84 থেকে 93 এর পর্যবেক্ষণ গ্রেডগুলি 75 থেকে 85 এর ব্যবধানে ম্যাপ করা উচিত? "পর্যবেক্ষিত গ্রেড" থেকে "ভবিষ্যদ্বাণী করা সত্য গ্রেড" এর সূত্র পাওয়ার জন্য বিকল্পটি (সম্ভবত বহুপদী) রিগ্রেশন হবে।

Comments

দুর্ভাগ্যক্রমে মূল্যায়ন 2 এর প্রকৃতি গ্রেডারদের পক্ষে ক্রমাঙ্কনের উদ্দেশ্যে আরও বেশি সন্ধান করা অসম্ভব করে তোলে। আপনি এটিকে মৌখিক কবিতা আবৃত্তির মতো বলে ভাবতে পারেন যা একবার রেকর্ডিং ছাড়াই করা হয়েছিল এবং এর পরেই মূল্যায়ন করা হয়েছিল। সম্পূর্ণরূপে ক্রমাঙ্কনের উদ্দেশ্যে নতুন আবৃত্তিগুলির সময়সূচী করা অবৈধ হবে। আপনার অন্যান্য প্রশ্নের উত্তর দেওয়ার জন্য, মূল্যায়ন 2 এর সত্যই পরিষ্কার সংজ্ঞা ছিল না এবং আমাদের উপাদানগুলির স্কোরগুলি বিবেচনা করার দরকার নেই।

— ব্যবহারকারী1205901 - মনিকা

এটি "কোনও উত্তর নয়" তবে একটি আদর্শ বিশ্বে আমি বিষয়গুলি ঘুরিয়ে দেওয়ার এবং একটি উদাহরণের নমুনা ব্যবহার করার পরামর্শ দিয়েছিলাম (সম্ভবত কৃত্রিম অ্যাসাইনমেন্টগুলি প্রকৃত শিক্ষার্থীদের চেয়ে গ্রেড সীমান্তরেখার জন্য ডিজাইন করা হয়েছিল) প্রশিক্ষণের উপায় হিসাবে গ্রেডারদের তাদের উদারতার জন্য অনুদান এবং ক্ষতিপূরণ না দিয়ে একই উদারতা থাকতে হবে। যদি মূল্যায়নগুলি করা হয় তবে এটি আপনার পক্ষে স্পষ্টভাবে কোনও সমাধান নয়।

— সিলভার ফিশ

(+1) খুব পুঙ্খানুপুঙ্খ "একটি উত্তর নয়"। বরং সাবজেক্টিভ পরীক্ষায় ধারাবাহিকতা প্রায়শই গ্রেডিংয়ের কাজগুলিকে উপাদানগুলিতে বিভক্ত করে অনেক উন্নত করা যায় - অন্যথায় একজন গ্রেডার ছন্দকে আরও বেশি ওজন দিচ্ছেন, অন্যজন প্রক্ষেপণকে, এবং সি।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

এটা পরিষ্কার যে চূড়ান্তভাবে সিদ্ধান্ত নেবে এমন ব্যক্তির একটি সম্ভাব্য সামঞ্জস্যতা জমা দেওয়ার পাশাপাশি, আমাকেও সামঞ্জস্যের পক্ষে ও কুফলগুলির কিছু ব্যাখ্যা জমা দিতে হবে। আপনার প্রতিক্রিয়া এটি সম্পর্কিত প্রচুর সহায়ক উপাদান সরবরাহ করে। যাইহোক, আমি আশ্চর্য হয়েছি যে আমি কী মানদণ্ড ব্যবহার করে সমস্ত কিছু একা রেখে যাওয়া বা পরিবর্তন করা আরও বেশি উপকারী তা নিয়ে রায় দেওয়ার জন্য can আমি কোহোর্ট গ্রেডগুলি দেখি এবং আমার স্বজ্ঞাততা বলে যে মার্কারগুলির মধ্যে পার্থক্যগুলি একটি বড় প্রভাব ফেলে। অন্তর্দৃষ্টি অবিশ্বাস্য, তবে আমি নিশ্চিত না যে আমি এই ক্ষেত্রে আর কী করতে পারি।

— ব্যবহারকারী1205901 - মনিকা

একটি প্রশ্ন হ'ল "গ্রেডার উদারতা" এফেক্টের তুলনায় আপনার "ডিফেরিয়েন্টাল টাস্ক এপটিচিউড" প্রভাবটি ছোট বলে বিশ্বাস করার যুক্তিসঙ্গত ভিত্তি রয়েছে কিনা? যদি তা হয় তবে আপনি প্রতিটি দলটির জন্য উদারতার প্রভাবটি অনুমান করার চেষ্টা করতে পারেন - তবে আপনি বিভ্রান্ত হওয়ার ঝুঁকিপূর্ণ। তদ্ব্যতীত, একটি ক্যাচ আছে 22. আমি পর্যবেক্ষণ গ্রেডগুলিতে বড় "সংশোধন" প্রয়োগ করার ক্ষেত্রে সবচেয়ে সতর্ক থাকব । তবে যদি প্রস্তাবিত সংশোধনগুলি ছোট হয় তবে এটি প্রশংসনীয় যে এগুলি সহকারীগুলির মধ্যে ডিফারেন্সিয়াল টাস্ক সক্ষমতাগত পদ্ধতিগত পার্থক্যের কারণে, গ্রেড উদারতায় মোটেও নয়।

— সিলভারফিশ

Answer 2

একটি খুব সাধারণ মডেল:

$s_{1,i}$$i$$s_{2,i}$$A_1, \ldots, A_p$

প্রতিটি দল তার শিক্ষার্থীদের শক্তি এবং গ্রেডারের স্বাচ্ছন্দ্যের দ্বারা পক্ষপাতদুষ্ট। এটি একটি সংযোজনীয় প্রভাব হিসাবে ধরে নেওয়া, আমরা এটি নিম্নলিখিত উপায়ে ফিরিয়ে আনব: আমরা প্রথম পরীক্ষায় কোহর্টের গড় স্কোরটি বিয়োগ করব এবং দ্বিতীয় পরীক্ষায় কোহর্টের গড় স্কোর যুক্ত করব।

$s'_1$

$$\forall j \leq p, \forall i \in A_j, s'_{1,i} = s_{1,i} - \frac{1}{|A_j|} \sum_{i \in A_j} ( s_{1,i} - s_{2,i} )$$

$s$

$$\forall i, s_i = \alpha s'_{1,i} + (1-\alpha) s_{2,i}$$

নেতিবাচক দিকটি হ'ল যদি তার ছাত্রছাত্রীর লোকেরা দ্বিতীয় পরীক্ষায় ভাগ্য খারাপ হয়ে যায় তবে কোনও পৃথক ছাত্রকে শাস্তি দেওয়া হতে পারে। তবে যে কোনও পরিসংখ্যান কৌশল এই সম্ভাব্যত অন্যায়ভাবে নেমে যেতে চলেছে।

Comments

$\alpha$

না - কোহোর্টগুলি এলোমেলোভাবে নির্বাচন করা হয় না।

— Scortchi - পুনর্বহাল মনিকা

... যা হুবুহু বলে চলেছে, কোহোর্টের কোনও অন্তর্নিহিত প্রবণতা (বয়সের কারণে বা যাই হোক না কেন) অন্য ধরণের পরীক্ষার তুলনায় তুলনামূলকভাবে আরও ভাল করার জন্য বিস্মিত।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

আপনি আরও বড় দলগুলি নিয়ে বিভ্রান্তি দূর করতে পারবেন না! সর্বোপরি আপনি নির্বিঘ্নিত মানগুলির তুলনায় আরও সুনির্দিষ্ট অনুমান নিয়ে আসতে পারেন।

— হোবার

যুক্তিসঙ্গত, সম্ভবত: তবে ওপিতে উপলব্ধ তথ্যের ভিত্তিতে এটি অনির্বচনীয়। আপনার উত্তরের বৈধতা এই অন্তর্নিহিত অনুমানের সত্যের উপর নির্ভর করে। আরও খারাপ, এটির অবহেলা (যা অবশ্যই অযৌক্তিকও) খুব যুক্তিসঙ্গত, এটিও: যেহেতু সংঘবদ্ধরা স্ব-নির্বাচিত হয়, তারা এমন লোকদের সমন্বয়ে গঠিত হতে পারে যারা বিভিন্ন মূল্যায়নের সরঞ্জামগুলিতে সাধারণ উপায়ে সঞ্চালন করে, এটি সম্ভবত এটির সম্ভবত ডিফারেনশিয়াল সাফল্য হতে পারে অংশবিশেষের অংশ হিসাবে এবং কেবলমাত্র আংশিকভাবে গ্রেডারের মধ্যে পরিবর্তনশীলতার কারণে হবে।

— হোবার

Answer 3

আপনি পারবেন না। কমপক্ষে, অতিরিক্ত ডেটা সংগ্রহ ছাড়াই নয়। কেন তা দেখতে, এই থ্রেড জুড়ে @ হুইবারের অসংখ্য আপভোট মন্তব্যগুলি পড়ুন।

Answer 4

সম্পাদন করা

এই উত্তরের সমস্যার সমাধান হ'ল এমন গ্রেডারদের সন্ধান করা যা তাদের পছন্দ না করা শিক্ষার্থীদের কম পয়েন্ট দেয়।

আসল পোস্ট

আমার পদ্ধতির, যা আমি মনে করি এটি কার্যকর করা সহজ, তা নীচে হবে:

$\mu_{k, i}$$k$$i$$y_{k, i}$

1

মডেল ধরুন

$y_{k, i} = \mu_{k, i} + \alpha + \tau e_{k, i}$$\alpha$$\alpha$$i$$\alpha$

2

$G_i$$i$$\tilde{y}_{k, i}$

$y_{k, i} - \mu_{k, i} - \alpha = \tilde{y}_{k, i} = G_i + \sigma_i \tilde{e}_{k, i}$

$G$$\sigma$

3

এখন একটি অস্বাভাবিক পর্যবেক্ষণ এমন একটি পরিমাণ

$T = \vert \frac{\tilde{y} - G_i}{\sigma_i} \vert$

বিঃদ্রঃ

$e$$T$

আর-কোড

নীচে আর-এর কোড দেওয়া আছে। নোট করুন যে আপনার ক্ষেত্রে, মি এবং ওয়াই উভয়ই দেওয়া হবে সুতরাং যখন উত্পাদিত সারিগুলি যখন rnorm-সংখ্যা বরাদ্দ করা হয় তখন এড়ানো উচিত। আমি তাদের ডেটা ছাড়াই স্ক্রিপ্ট মূল্যায়ন করতে সক্ষম হতে অন্তর্ভুক্ত।

mu_0 <- 50; 
alpha <- 5;
tau<- 10; 
# 0 Generate data for first assignment
mu <- matrix(rnorm(605, mu_0, tau), 11) 

# 1 Generate data for second assignment and estimate alpha
G <- rnorm(11, 0)*10;
for(i in 1:11){
    y[i,] <- rnorm(55, 0, sigma) + mu[i,] + alpha + G[i];
}

alpha_hat <- mean(y-mu)
alpha_hat

# 2 Form \tilde{y} and find unsual observations
ytilde <- y - mu - alpha_hat
T <- matrix(0, 11, 55);
for(i in 1:11){
    G_hat <- mean(ytilde[i,]);
    sigma_hat <- sd(ytilde[i,]);
    T[i,] <- order(abs(ytilde[i,] - G_hat)/sigma_hat)
}
# 3 Look at grader number 2 by
T[2,]

Comments

আপনি এই প্রশ্নের উত্তর দিয়েছেন বলে মনে হচ্ছে না: আপনি কেবল কোনও "অস্বাভাবিক পর্যবেক্ষণ" তদন্ত করার জন্য একটি সুপারিশ দিয়ে শেষ করেছেন। কীভাবে সমস্যার সমাধান হয়?

— whuber

প্রশ্নটি আবার পড়া, সম্ভবত আমি "ব্যক্তিগত" অংশের প্রতি খুব বেশি মনোনিবেশ করেছি। এই উত্তরের সমস্যার সমাধান হ'ল এমন গ্রেডারদের সন্ধান করা যা তাদের পছন্দ না করা শিক্ষার্থীদের কম পয়েন্ট দেয়। মূল প্রশ্নটি সমাধান করা অসম্ভব (!)। ইতিমধ্যে প্রস্তাবিত হিসাবে, এটি সম্ভবত শিক্ষার্থীরা সহযোগিতা বা অন্যথায় দৃh়ভাবে প্রতিটি দলের মধ্যে পরস্পর সম্পর্কিত হতে পারে।

— হুনাফু

Answer 5

সমস্যাটিকে পুনর্নির্মাণ: ডেলিগেটেড মার্কার্সের গুণগত মূল্যায়নের পরিসরের কারণে দ্বিতীয় অংশটি আরও বেশি অনিশ্চয়তার মুখোমুখি হওয়া শর্তের সাথে একটি পরীক্ষার দুটি অংশের চিহ্ন নির্ধারণের পক্ষে কতটা ভাল।

যেখানে: মাস্টার পরীক্ষক = পরীক্ষার জন্য দায়বদ্ধ ব্যক্তি ডেলিগেটেড টেস্টার = ব্যক্তি (১১ জনের মধ্যে ১) পরীক্ষার পার্স # ২ চিহ্নিত করার জন্য শিক্ষার্থী = পরীক্ষায় বসে মজা পাওয়া লোক guy

লক্ষ্যের মধ্যে রয়েছে: ক) শিক্ষার্থীরা এমন একটি চিহ্ন পেয়েছে যা তাদের কাজকে প্রতিফলিত করে খ) মাস্টার টেস্টারের অভিপ্রায় অনুসারে দ্বিতীয় অংশের অনিশ্চয়তা পরিচালনা করুন

প্রস্তাবিত পদ্ধতির (উত্তর): ১. মাস্টার পরীক্ষক এলোমেলোভাবে পরীক্ষার একটি প্রতিনিধি নমুনা সেট নির্বাচন করেন, অংশ # 2 চিহ্নিত করে এবং অংশ # 1 এর সাথে সম্পর্ক বিকাশ করেছেন। ডেলিগেটেড মার্কার্সের সমস্ত ডেটা মূল্যায়নের জন্য পারস্পরিক সম্পর্ককে কাজে লাগান (পার্ট # 1) বনাম # 2 স্কোর) 3. যেখানে পারস্পরিক সম্পর্ক মাস্টার টেস্টারের থেকে উল্লেখযোগ্যভাবে পৃথক - মাস্টার টেস্টারের কাছে গ্রহণযোগ্যতার তাত্পর্য - ফলাফলটি পুনরায় বরাদ্দ দেওয়ার জন্য মাস্টার পরীক্ষক হিসাবে পরীক্ষাটি পরীক্ষা করুন।

এই পদ্ধতিটি নিশ্চিত করে যে মাস্টার টেস্টার পারস্পরিক সম্পর্ক এবং গ্রহণযোগ্য তাৎপর্যের জন্য দায়বদ্ধ। পারস্পরিক সম্পর্কটি পার্ট # 1 বনাম # 2 এর স্কোর বা টেস্ট # 1 বনাম # 2 এর প্রশ্নের জন্য আপেক্ষিক স্কোরের মতোই সহজ হতে পারে।

মাস্টার পরীক্ষকও পারস্পরিক সম্পর্কের "রাবারি-নেস" এর উপর ভিত্তি করে পার্ট # 2 এর ফলাফলের একটি মান নির্ধারণ করতে সক্ষম হবেন।