এর দুটি অংশ রয়েছে: (ক) পিয়ার গ্রেডিং প্রক্রিয়ায় শিক্ষার্থীরা কোন প্রবন্ধের মূল্যায়ন করবে তা নির্ধারণ করার জন্য একটি গ্রাফ ( পরীক্ষামূলক নকশা ) নির্বাচন করা এবং (খ) শিক্ষার্থীর পিয়ার গ্রেডের উপর ভিত্তি করে সমস্ত প্রবন্ধকে র্যাঙ্কিং করতে কোন শিক্ষকের র্যাঙ্ক করা উচিত তা নির্ধারণ করুন। আমি প্রতিটি জন্য কিছু পদ্ধতি পরামর্শ করব।
একটি গ্রাফ নির্বাচন করা
সমস্যা বিবৃতি. প্রথম পদক্ষেপটি গ্রাফ তৈরি করা। অন্য কথায়, আপনাকে পিয়ার গ্রেডিং অনুশীলনের সময় শিক্ষার্থীদের কাছে কোন জোড়া রচনাগুলি প্রদর্শন করতে হবে তা নির্বাচন করতে হবে।
প্রস্তাবিত সমাধান। এই কাজের জন্য, আমি আপনাকে পরামর্শ দিচ্ছি যে আপনি সমস্ত 3-নিয়মিত (সাধারণ) গ্রাফের সেট থেকে এলোমেলোভাবে নির্বাচিত একটি এলোমেলো গ্রাফ তৈরি করুন ।G
ন্যায়সঙ্গততা এবং বিশদ। এটি জানা যায় যে একটি এলোমেলো নিয়মিত গ্রাফটি একটি ভাল প্রসারক। প্রকৃতপক্ষে, নিয়মিত গ্রাফগুলিতে asympototically অনুকূল প্রসারণ ফ্যাক্টর রয়েছে। এছাড়াও, কারণ গ্রাফটি এলোমেলো, এটি গ্রেডিংয়ের স্কিউিংয়ের ঝুঁকি দূর করতে পারে। এলোমেলোভাবে অভিন্নভাবে একটি গ্রাফ নির্বাচন করে, আপনি নিশ্চিত করছেন যে আপনার পদ্ধতির সমস্ত ছাত্রের জন্য সমানভাবে ন্যায্য। আমি সন্দেহ করি যে অভিন্নভাবে এলোমেলো 3-নিয়মিত গ্রাফ আপনার উদ্দেশ্যে অনুকূল হবে।d
এটি প্রশ্ন উত্থাপন করে: আমরা এলোমেলোভাবে অভিন্নভাবে শীর্ষে 3-নিয়মিত (সাধারণ) গ্রাফটি কীভাবে নির্বাচন করব ?n
ভাগ্যক্রমে, এটি করার জন্য পরিচিত অ্যালগরিদম রয়েছে। মূলত, আপনি নিম্নলিখিত:
পয়েন্ট তৈরি করুন । আপনি এটি প্রতিটি এরেক্টিকের 3 টি অনুলিপি হিসাবে ভাবতে পারেন । এই পয়েন্টের সাথে একটি এলোমেলোভাবে নিখুঁত ম্যাচিং, এলোমেলোভাবে তৈরি করুন । (অন্য কথায়, সমস্ত পয়েন্ট বন্ধ না হওয়া অবধি নীচের পদ্ধতিটি পুনরাবৃত্তি করুন : যেকোন অযৌক্তিক বিন্দুটি নির্বাচন করুন এবং অপ্রাপ্ত পয়েন্টগুলির সেট থেকে এলোমেলোভাবে বেছে নেওয়া অন্য পয়েন্টের সাথে এটি যুক্ত করুন pair3nn3n3n
ম্যাচের সাথে মিলে যাওয়া প্রতিটি দুটি পয়েন্টের জন্য, সংশ্লিষ্ট শীর্ষগুলি (যেগুলি সেগুলির একটি অনুলিপি) এর মধ্যে একটি প্রান্ত আঁকুন। এটি আপনাকে শীর্ষে একটি গ্রাফ দেয় ।n
এরপরে, পরীক্ষিত ফলাফল যদি গ্রাফটি সহজ হয় (যেমন, এটির কোনও স্ব-লুপ নেই এবং পুনরাবৃত্ত প্রান্ত নেই)। এটি যদি সহজ না হয় তবে গ্রাফটি ফেলে দিন এবং 1 ধাপে ফিরে যান it এটি যদি সহজ হয় তবে আপনার কাজ শেষ হয়; এই গ্রাফ আউটপুট।
জানা যায় যে এই পদ্ধতিটি 3-নিয়মিত (সাধারণ) গ্রাফের সেটগুলিতে অভিন্ন বিতরণ তৈরি করে। এছাড়াও, এটি জানা যায় যে তৃতীয় ধাপে আপনার ফলস্বরূপ গ্রাফ গ্রহণ করার ধ্রুব সম্ভাবনা রয়েছে, সুতরাং গড়ে অ্যালগরিদম ট্রায়ালগুলি করবে - সুতরাং এটি বেশ দক্ষ (উদাহরণস্বরূপ, বহুপক্ষীয় চলমান সময়)।O(1)
আমি এই পদ্ধতির বোলোবাস, বেন্ডার এবং ক্যানফিল্ডকে জমা দিয়ে দেখেছি। পদ্ধতির সংক্ষিপ্ত বিবরণ উইকিপিডিয়ায় দেওয়া হয়েছে । আপনি এই ব্লগ পোস্টে একটি আলোচনা খুঁজে পেতে পারেন ।
প্রযুক্তিগতভাবে বলতে গেলে, এটির জন্য সংখ্যাটি হওয়া প্রয়োজন (অন্যথায় শীর্ষে কোনও 3-নিয়মিত গ্রাফ নেই )। তবে এটি মোকাবেলা করা সহজ। উদাহরণস্বরূপ, যদি বিজোড় হয় তবে আপনি এলোমেলোভাবে একটি রচনা বেছে নিতে পারেন, এটিকে আলাদা করে রাখতে পারেন, অবশিষ্ট রচনাগুলিতে একটি এলোমেলো 3-নিয়মিত গ্রাফ তৈরি করতে পারেন, তারপর সেট-সাইড রচনা থেকে 3 এলোমেলোভাবে অন্যান্য প্রবন্ধ যুক্ত করুন। (এর অর্থ এই যে এখানে 3 টি প্রবন্ধ থাকবে যা আসলে 4 বার গ্রেড করা হয়েছে তবে এর কোনও ক্ষতি করা উচিত নয়))nnn
সমস্ত রচনা র্যাঙ্কিং
সমস্যা বিবৃতি. ঠিক আছে, সুতরাং এখন আপনার একটি গ্রাফ রয়েছে, এবং আপনি পিয়ার গ্রেডিং অনুশীলনের সময় গ্রেডের জন্য শিক্ষার্থীদের কাছে এই জোড়া প্রবন্ধগুলি (গ্রাফের প্রান্তগুলি দ্বারা নির্দেশিত) উপস্থাপন করেছেন। আপনার কাছে প্রবন্ধগুলির প্রতিটি তুলনার ফলাফল রয়েছে। এখন আপনার কাজটি হ'ল প্রবন্ধগুলির সমস্ত ক্ষেত্রে একটি রৈখিক র্যাঙ্কিং নির্ধারণ করা, শিক্ষককে কোনটি মূল্যায়ন করতে হবে তা নির্ধারণে সহায়তা করা।
সমাধান। আমি আপনাকে ব্র্যাডলি-টেরি মডেলটি ব্যবহার করার পরামর্শ দিয়েছি । এটি একটি গাণিতিক পদ্ধতির সাহায্যে এই সমস্যার ঠিক সমাধান করে। এটি খেলোয়াড়দের কয়েকটি জুটির মধ্যে ম্যাচের ফলাফলের ভিত্তিতে কিছু খেলায় খেলোয়াড়দের র্যাঙ্কিংয়ের জন্য ডিজাইন করা হয়েছিল। এটি ধরে নেওয়া হয় যে প্রতিটি খেলোয়াড়ের একটি (অজানা) শক্তি থাকে, যা একটি আসল সংখ্যা হিসাবে পরিমাপ করা যেতে পারে এবং অ্যালিস ববকে যেভাবে মারধর করে তার সম্ভাবনার পার্থক্যের কিছু মসৃণ ফাংশন দ্বারা নির্ধারিত হয়। তারপরে, জোড়াযুক্ত জয় / হারের রেকর্ড দেওয়া, এটি প্রতিটি প্লেয়ারের শক্তি অনুমান করে।
এটি আপনার জন্য উপযুক্ত হতে হবে। আপনি প্রতিটি রচনা খেলোয়াড় হিসাবে আচরণ করতে পারেন। দুটি রচনা (পিয়ার গ্রেডিং প্রক্রিয়া চলাকালীন) এর মধ্যে প্রতিটি তুলনা তাদের মধ্যে ম্যাচের ফলাফলের মতো। ব্র্যাডলি-টেরি মডেল আপনাকে সেই সমস্ত ডেটা নেওয়ার এবং প্রতিটি প্রবন্ধের জন্য একটি শক্তি নির্ধারণ করতে অনুমতি দেবে , যেখানে উচ্চতর শক্তিগুলি ভাল রচনার সাথে মিল রাখে। এখন আপনি সমস্ত রচনাগুলি র্যাঙ্ক-অর্ডার করতে সেই শক্তিগুলি ব্যবহার করতে পারেন।
বিশদ এবং আলোচনা। আসলে, ব্র্যাডলি-টেরি মডেল আপনি যা চেয়েছিলেন তার চেয়েও ভাল even আপনি একটি লিনিয়ার র্যাঙ্কিংয়ের জন্য বলেছেন, তবে ব্র্যাডলি-টেরি মডেলটি প্রতিটি প্রবন্ধকে আসলে একটি (বাস্তব সংখ্যা) রেটিং দেয়। এর অর্থ হল আপনি জানেন না শুধুমাত্র প্রবন্ধ কিনা প্রবন্ধ থেকে অনেক শক্তিশালী কিন্তু একটি মোটামুটি অনুমান কিভাবে অনেক শক্তিশালী এটা। উদাহরণস্বরূপ, কোনটি র্যাঙ্ক র্যাঙ্ক করে তা আপনার নির্বাচনকে জানানোর জন্য আপনি এটি ব্যবহার করতে পারেন।ij
আপনার কাছে থাকা ডেটা দেওয়া সমস্ত নিবন্ধের জন্য রেটিং বা র্যাঙ্কিংয়ের বিকল্প উপায় রয়েছে। উদাহরণস্বরূপ, এলো পদ্ধতিটি অন্য একটি। আমি বিভিন্ন প্রশ্নের উত্তরে তাদের বেশ কয়েকটি সংক্ষিপ্ত করে বলি ; আরও বিস্তারিত জানার জন্য এই উত্তরটি পড়ুন।
অন্য একটি মন্তব্য: ব্র্যাডলি-টেরি মডেল ধরে নিয়েছে যে দুটি খেলোয়াড়ের মধ্যে প্রতিটি তুলনার ফলাফল একটি জয় বা হ্রাস (অর্থাত্ বাইনারি ফলাফল)। যাইহোক, মনে হচ্ছে আপনার কাছে আরও বিশদ ডেটা থাকবে: আপনার স্লাইডারটি একটি প্রবন্ধকে অন্যের তুলনায় পিয়ার গ্রেডারের চেয়ে আরও কত ভাল রেট দেয় তার একটি মোটামুটি অনুমান দেবে। সবচেয়ে সহজ উপায় হ'ল কেবলমাত্র প্রতিটি স্লাইডারকে বাইনারি ফলাফলের জন্য ম্যাপ করা। তবে আপনি যদি সত্যিই চান তবে আরও পরিশীলিত বিশ্লেষণ ব্যবহার করে আপনি সমস্ত ডেটা ব্যবহার করতে পারবেন। ব্র্যাডলি-টেরি মডেলটিতে লজিস্টিক রিগ্রেশন করা জড়িত। আদেশিত লজিট ব্যবহারের জন্য যদি আপনি সাধারণীকরণ করেন তবে আমি বাজি ধরছি যে স্লাইডারগুলির ফলাফল বাইনারি নয় তবে বেশ কয়েকটি সম্ভাবনার মধ্যে একটি হিসাবে আপনি প্রতিটি স্লাইডার থেকে আপনার অতিরিক্ত তথ্য ব্যবহার করতে পারেন।
শিক্ষকের দক্ষ ব্যবহার
আপনি পরামর্শ দিচ্ছেন যে শিক্ষক ম্যানুয়ালি সমস্ত প্রবন্ধের শীর্ষ X% এবং নীচে X% গ্রেড করুন (পিয়ার-গ্রেডিংয়ের ফলাফলগুলি থেকে অনুমান করা র্যাঙ্কিং ব্যবহার করে) grade এটি কাজ করতে পারে, তবে আমার সন্দেহ হয় এটি শিক্ষকের সীমিত সময়ের সবচেয়ে কার্যকর ব্যবহার নয়। পরিবর্তে, আমি একটি বিকল্প পদ্ধতির পরামর্শ দিতে চাই।
আমি আপনাকে পরামর্শ দিচ্ছি যে শিক্ষকের দ্বারা গ্রেড করা হয়নি এমন সমস্ত প্রবন্ধের জন্য সর্বোত্তম সম্ভাব্য ক্রমাঙ্কন সরবরাহ করার চেষ্টা করার জন্য সাবসেটটি সাবধানতার সাথে নির্বাচিত হয়ে আপনার নিবন্ধগুলির একটি উপসেট রয়েছে। এর জন্য, আমি মনে করি আপনি যদি নিবন্ধগুলির একটি নমুনা বেছে নিয়েছেন যা সম্ভাব্য উত্তরের পরিসীমাটি অন্তর্ভুক্ত করে (তবে প্রতিটি প্রবন্ধের জন্য কিছু শিক্ষক-শ্রেণিবদ্ধ প্রবন্ধ রয়েছে যা এটি থেকে খুব বেশি দূরে নয়)। এর জন্য, আপনি চেষ্টা করতে পারেন এমন দুটি পদ্ধতির কথা ভাবতে পারি:
ক্লাস্টারিং। টেরি-ব্র্যাডলি মডেল দ্বারা উত্পাদিত রেটিংগুলি নিন। এটি রিয়েল সংখ্যার একটি সেট , প্রবন্ধে একটি আসল সংখ্যা। এখন তাদের গুচ্ছ। মনে করুন আপনি শিক্ষক গ্রেড প্রবন্ধগুলি রাখতে চান। একটি পদ্ধতি হ'ল ক্লাসারগুলিতে (এই এক-মাত্রিক ডেটা পয়েন্টগুলিতে) প্রবন্ধগুলি ক্লাস্টারগুলিতে ক্লাস্টার করার জন্য ব্যবহার করা হবে এবং তারপরে এলোমেলোভাবে প্রতিটি ক্লাস্টার থেকে শিক্ষকের গ্রেডে একটি নিবন্ধ নির্বাচন করুন - বা শিক্ষক গ্রেড " প্রতিটি ক্লাস্টারের ক্লাস্টার হেড "।nkkk
প্রথমতম পয়েন্ট। একটি বিকল্প হ'ল প্রবন্ধগুলির একটি উপসেট নির্বাচন করার চেষ্টা করা যা একে অপরের থেকে যতটা সম্ভব পৃথক। "দূরেরতম পয়েন্ট প্রথম" (এফপিএফ) অ্যালগরিদম এটির জন্য একটি পরিষ্কার পদ্ধতি। মনে করুন আপনি আছে কিছু দূরত্ব ফাংশন আপনি পরিমাণ নির্ণয় দুই রচনাগুলিকে মধ্যে দূরত্ব করতে দেয় এবং : একটি ছোট দূরত্ব মানে যে প্রবন্ধ, অনুরূপ একটি বৃহত্তর দূরত্ব মানে তারা বিসদৃশ হয়। একটি সেট দেওয়া রচনাগুলিকে যাক থেকে দূরত্ব হতে নিকটতম প্রবন্ধ থেকে । সবচেয়ে দূরের পয়েন্টের প্রথম অ্যালগরিদম একটি তালিকা গণনা করেkd(ei,ej)eiejSd(e,S)=mine′∈Sd(e,e′)eSkরচনা, , , নিম্নরূপ: the হ'ল প্রবন্ধ যা সর্বাধিক (সমস্ত প্রবন্ধের মধ্যে যেমন )। এই অ্যালগরিদমগুলি প্রবন্ধগুলির একটি সেট জেনারেট করে যা একে অপরের থেকে যতটা সম্ভব পৃথক - যার অর্থ এই যে বাকি রচনাগুলি কমপক্ষে একটির মতোই মিল । সুতরাং, শিক্ষক গ্রেডের এফপিএফ অ্যালগরিদম দ্বারা নির্বাচিত প্রবন্ধগুলি যুক্তিসঙ্গত হবে ।e1,e2,…,ekei+1d(e,{e1,e2,…,ei})ee∉{e1,e2,…,ei}kkk
আমার সন্দেহ হয় যে এই দুটি পদ্ধতির মধ্যেই শিক্ষকের গ্রেড শীর্ষস্থানীয় এক্স% এবং নীচের এক্স% রচনার চেয়ে আরও সঠিক স্কোর সরবরাহ করতে পারে - যেহেতু খুব ভাল এবং সবচেয়ে খারাপ রচনাগুলি সম্ভবত মাঝখানে রচনার ভরগুলির প্রতিনিধি নয়।
উভয় পদ্ধতির ক্ষেত্রে, আপনি আরও পরিশীলিত দূরত্বের ফাংশন ব্যবহার করতে পারেন যা কেবল পিয়ার গ্রেডিংয়ের উপর ভিত্তি করে শক্তি অনুমানগুলিই নয়, প্রবন্ধগুলি থেকে নেওয়া অন্যান্য কারণগুলিও বিবেচনা করে। সবচেয়ে সহজ সম্ভাব্য দূরত্বের ফাংশনটি কেবল টেরি-ব্র্যাডলি মডেলের ফলাফল হিসাবে যেমন, যেখানে এর শক্তি প্রবন্ধ টেরি-ব্র্যাডলি মডেল পিয়ার শূন্য ফলাফল উপর ভিত্তি করে দ্বারা আনুমানিক হিসাবে। তবে আপনি আরও পরিশীলিত কিছু করতে পারেন। উদাহরণস্বরূপ, আপনি প্রবন্ধ এবং মধ্যে সম্পাদনার দূরত্বটি গণনা করতে পারেনd(e1,e2)=(s(e1)−s(e2))2s(e)ee1e2(তাদেরকে পাঠ্যের স্ট্রিং হিসাবে গণ্য করা, সম্পাদনা দূরত্বের গণনা করা এবং দু'টির বৃহত্তর দৈর্ঘ্য দ্বারা ভাগ করা) এবং এটি দূরত্ব ফাংশনের অন্য ফ্যাক্টর হিসাবে ব্যবহার করুন। আপনি প্রবন্ধের শব্দের উপর ব্যাগ-অফ-শব্দের মডেল ব্যবহার করে বৈশিষ্ট্য ভেক্টরগুলিও গণনা করতে পারেন এবং দূরত্ব ফাংশনের অন্য ফ্যাক্টর হিসাবে এই বৈশিষ্ট্য ভেক্টরগুলির (টিএফ-আইডিএফ ব্যবহারের সাথে বৈশিষ্ট্যযুক্ত বৈশিষ্ট্যগুলি) মধ্যে L2 দূরত্ব ব্যবহার করতে পারেন। আপনি একটি দূরত্ব ফাংশনটি ব্যবহার করতে পারেন যা শক্তির পার্থক্যের একটি ভারী গড় (টেরি-ব্র্যাডলি অনুমানের উপর ভিত্তি করে), স্বাভাবিকিকৃত সম্পাদনার দূরত্ব এবং যে কোনও কিছু সহায়ক বলে মনে হয়। ক্লাস্টারিং অ্যালগরিদম নির্বাচন করতে শিক্ষকের গ্রেড প্রাপ্ত সেরা রচনাগুলি নির্বাচন করতে সহায়তা করার জন্য আরও বেশি পরিশীলিত দূরত্বের কাজটি আরও ভাল কাজ করতে পারে।k