ভবিষ্যদ্বাণী কি পরিসংখ্যানবিদদের দক্ষতার বিচারের জন্য 'সোনার মানদণ্ড'?


13

আমি গত উইকএন্ডে আর (1 ম সংস্করণ) সহ ফারাওয়ের পাঠ্যপুস্তকে রৈখিক মডেলগুলি পড়ছিলাম । ফারাওয়ের একটি "পরিসংখ্যান কৌশল এবং মডেল অনিশ্চয়তা" নামে একটি অধ্যায় ছিল। তিনি বর্ণনা করেছেন (পৃষ্ঠা 158) তিনি খুব জটিল মডেলটি ব্যবহার করে কৃত্রিমভাবে কিছু উপাত্ত তৈরি করেছেন, তারপরে তিনি তার ছাত্রদের ডেটা মডেল করতে এবং শিক্ষার্থীদের পূর্বাভাসের ফলাফল বনাম পড়ার ফলাফলের তুলনা করতে বলেছিলেন । দুর্ভাগ্যক্রমে, বেশিরভাগ শিক্ষার্থী পরীক্ষার ডেটা বেশি ফিট করে এবং পূর্বাভাসিত মানগুলি পুরোপুরি ছাপিয়ে যায়। এই ঘটনাটি ব্যাখ্যা করার জন্য, তিনি আমার কাছে খুব চিত্তাকর্ষক কিছু লিখেছিলেন:

"মডেলগুলি এত আলাদা হওয়ার কারণটি ছিল যে শিক্ষার্থীরা বিভিন্ন পদ্ধতিতে বিভিন্ন পদ্ধতি প্রয়োগ করেছিল Some কেউ কেউ পরিবর্তনের আগে পরিবর্তনশীল নির্বাচন করেছিলেন এবং অন্যরা বিপরীত। কিছু মডেল পরিবর্তনের পরে কোনও পদ্ধতি পুনরাবৃত্তি করেছিলেন এবং অন্যরা তা করেননি I আমি কৌশলগুলি অনুসরণ করেছি over বেশিরভাগ শিক্ষার্থী যা করেছে এবং যা করেছে তার সাথে পরিষ্কার কোনও ভুল খুঁজে পেল না।একজন ছাত্র তার বা তার পূর্বাভাসিত মানগুলি গণনা করতে ভুল করেছিল, তবে বাকী অংশে স্পষ্টত কোনও ভুল ছিল না। এই কার্যভারের অভিনয়টি প্রদর্শিত হয়নি পরীক্ষার সাথে যে কোনও সম্পর্ক। "

আমি শিক্ষিত হয়েছিলাম যে মডেল পূর্বাভাসের সঠিকতা আমাদের সেরা মডেল পারফরম্যান্স বাছাই করার জন্য 'সোনার মানদণ্ড'। যদি আমার ভুল না হয় তবে এটি কাগল প্রতিযোগিতায় ব্যবহৃত জনপ্রিয় পদ্ধতি। তবে এখানে ফ্যারাওয়ে একটি ভিন্ন প্রকৃতির কিছু পর্যবেক্ষণ করেছে, যা মডেল পূর্বাভাসের পারফরম্যান্সের কিছুই করতে পারে নাজড়িত পরিসংখ্যান ক্ষমতা সহ। অন্য কথায়, ভবিষ্যদ্বাণীপূর্ণ শক্তির দিক দিয়ে আমরা সেরা মডেলটি তৈরি করতে পারি কিনা তা আমরা কতটা অভিজ্ঞ তার দ্বারা প্রকৃতপক্ষে নির্ধারিত হয় না। পরিবর্তে এটি একটি বিশাল 'মডেল অনিশ্চয়তা' (অন্ধ ভাগ্য?) দ্বারা নির্ধারিত হয়। আমার প্রশ্ন: বাস্তব জীবনের ডেটা বিশ্লেষণেও কি এটি সত্য? নাকি আমি খুব বেসিক কিছু নিয়ে বিভ্রান্ত হয়েছিলাম? কারণ যদি এটি সত্য হয়, তবে বাস্তব তথ্য বিশ্লেষণের জড়িত হওয়া অপরিসীম: তথ্যের পিছনে "বাস্তব মডেল" না জেনে অভিজ্ঞ / অনভিজ্ঞ পরিসংখ্যানবিদদের দ্বারা করা কাজের মধ্যে কোনও প্রয়োজনীয় পার্থক্য নেই: উভয়ই কেবল সামনে বন্য অনুমান প্রশিক্ষণ তথ্য উপলব্ধ।


2
+1 সুন্দর প্রশ্ন। অন্য একটি কোণ সরবরাহ করার জন্য, বিশ্লেষকদের মধ্যে একজন প্রকৃত মোডটি জেনে রাখুন বলে মন্তব্য করেন - তবে তার ভবিষ্যদ্বাণীগুলিও খারাপ হতে পারে! এমনকি আসল মডেলটি জানার পরেও আপনি এটি দেখতে পাবেন। সাইকোমেট্রিকায় হাগের্টি এবং শ্রীভিনাসনস 1991 পর্যবেক্ষণ গুরুত্বপূর্ণ হতে পারে যে "অনুমানের [...] উচ্চতর ভবিষ্যদ্বাণীমূলক নির্ভুলতা সহকারে একটি মডেল" সত্য "একটি বৈধ অনুমান নয়" এই সিদ্ধান্তটি অবলম্বন করা উচিত "
মোমো

1
আমি এখনও বইটির দিকে নজর দিইনি, তবে "পরিবর্তনশীল নির্বাচন" এবং "রূপান্তর" ইতিমধ্যে সতর্কতার ঘন্টা বেজেছে। দেখুন স্বয়ংক্রিয় মডেল নির্বাচনের জন্য আলগোরিদিম & পূর্ব-নির্ধারণকারী মধ্যে সম্পর্ক প্রকৃতি এবং রিগ্রেশনে নির্ভরশীল । আমি পরিসংখ্যানবিদদের প্রকৃত কাজের দক্ষতার সাথে পরিসংখ্যান শিক্ষার্থীদের পরীক্ষার পারফরম্যান্সকেও সংযুক্ত করব না।
Scortchi - পুনর্বহাল মনিকা

2
ফারাওয়ের দেওয়া এই তথ্যটি পরিসংখ্যানের ক্ষেত্র সম্পর্কে একটি সাধারণ সাধারণ নীতিটির ভিত্তি হিসাবে ব্যবহার করা ভয়াবহভাবে উপাখ্যান বলে মনে হচ্ছে। আমি এই জাতীয় পুনঃ প্রজননযোগ্য উদাহরণের ভিত্তিতে ভবিষ্যদ্বাণীমূলক মডেলিং সম্পর্কে কোনও মডেল তৈরি করতে চাই না। এগুলিও সম্ভব যে তারা চেতনা-বাছাই করে, ইচ্ছাকৃতভাবে বা না।
Rolando2

3
এই উপাখ্যানটি থেকে প্রাপ্ত যুক্তিযুক্তভাবে বৈধ উপসংহারটি হ'ল ফারাওয়ের কোনও শিক্ষার্থীরই তার ভবিষ্যদ্বাণী পরীক্ষায় ভাল সম্পাদনের জন্য দক্ষতা অর্জন (এখনও) হয়নি। সেই অভিজ্ঞতার মধ্যে এবং অভিজ্ঞ পরিসংখ্যানবিদরা কীভাবে পারফর্ম করতে পারে সে সম্পর্কে আপনার জল্পনার মধ্যে কোনও সংযোগ স্থাপন করা কঠিন।
whuber

@ শুভ: আমি সেভাবে ভাবি না। আমি সম্মতি দিচ্ছি ২৮ জন শিক্ষার্থী কিছুটা ছোট, তবে আমি মনে করি যে এই বাস্তব পর্যবেক্ষণের কিছু গুরুতর প্রভাব রয়েছে। যদি ফ্যারাওয়ে আসল মডেল তৈরি করে এবং বেশ কয়েকটি শিক্ষার্থীর কাজ নিয়ে সে চলে যায় তবে কোনও গুরুতর ভুল খুঁজে পেতে পারেনি, তবুও ভবিষ্যদ্বাণীগুলি তাদের কী হওয়া উচিত তা থেকে দূরে রয়েছে। তারপরে এটি 'মডেল অনিশ্চয়তা' জড়িত সম্পর্কে কিছু বলছে, মূলত বিশ্লেষক যতই অভিজ্ঞ হন তা বিবেচনা না করেই পার্থক্যগুলির তুলনা করার জন্য একটি পৃথক বিশ্লেষকের দ্বারা কমপক্ষে কাজ করা দরকার। আমি মনে করি এটি আমার পক্ষে যথেষ্ট উদ্বেগজনক।
বোম্বিক্স মরি

উত্তর:


1

আমি আমার বিভাগের অধ্যাপককে এ বিষয়ে জিজ্ঞাসা করেছি। তিনি খোলামেলাভাবে বললেন, এ নিয়ে তিনি মোটেই অবাক হননি। তিনি এটি দেখার জন্য নীচের উপায়টির পরামর্শ দিয়েছিলেন: ফারাওয়ে যা করেছে তা কেবলমাত্র এক সময়ের পরীক্ষা ছিল, এবং অবাক হওয়ার কিছু নেই যে ফলাফলগুলি চূড়ান্ত গ্রেডের সাথে কোনও সম্পর্ক নেই বলে মনে হয়েছিল। তবে যদি ফারাওয়ে তার 'পরীক্ষার' একই গ্রুপের শিক্ষার্থীদের সাথে 100 বার পুনরাবৃত্তি করেন, তবে তিনি নিশ্চিত যে শিক্ষার্থীরা পরিসংখ্যানকে আরও ভালভাবে শিখিয়েছিল, আত্মবিশ্বাসের ব্যবধানের মতোই। সুতরাং তার অভিমত অভিজ্ঞতার বিষয়টি গুরুত্বপূর্ণ, এটি এক সময় যা সামাজিক পরীক্ষা মডেল অনিশ্চয়তার কারণে তা দেখাতে পারেনি।


আমি যে অজুহাতটি হাসিখুশি মনে। আমি মনে করি এই কারণেই পরিসংখ্যানগুলি "ডেটা বিজ্ঞান" দ্বারা প্রতিস্থাপিত করা হয়েছে (বা পুনরায় ব্র্যান্ড করা)। লোকেরা বুঝতে শুরু করেছে যে বিশ্ববিদ্যালয়গুলিতে পরিসংখ্যান হিসাবে পড়াশুনা করা হয় পূর্বাভাসের পক্ষে খুব ভাল নয় এবং ভবিষ্যদ্বাণীপূর্ণ শক্তি ছাড়াই মডেলগুলি অকেজো।
ফ্লাউন্ডারিয়ার

1
@ ফ্লাউন্ডারিয়ার: আমি মনে করি এটি সত্যিকার অর্থে কোনও অজুহাত নয় এবং আপনি যা লিখেছেন তা এই মামলার সাথে সত্যই সংযুক্ত নাও হতে পারে। বাস্তব জীবনে প্রথম বেশিরভাগেরই একটি টেস্টিং সেট এবং একটি প্রশিক্ষণ সেট উভয়ই থাকে, ফারাওয়ের ক্ষেত্রে এর বিপরীতে কেবল একটি প্রশিক্ষণের সেট পাওয়া যায়। দ্বিতীয়ত যদি আপনি ফ্যারাওয়ের মডেলটি দেখুন তবে এটি অত্যন্ত অ-রৈখিক যে প্রতিরোধের পদ্ধতিগুলি খুব ভালভাবে কাজ করে না। তাই সমস্ত লিনিয়ার মডেলগুলি কেবল বন্য অনুমান। "বিশ্ববিদ্যালয়গুলির পরিসংখ্যান-হিসাবে-শিক্ষিত-ইন-পূর্বাভাস খুব ভাল নয়" এর পরিবর্তে পরীক্ষার নৈতিকতা "সমস্ত মডেলগুলি ভুল"।
বোম্বিক্স মোরি

@ ফ্লাউন্ডারার: ​​অন্য কথায়, আমি বিশ্বাস করি যদি আমি (বা ফোরামের অন্য কেউ) কুড়ি বছর আগে এই জঘন্য প্রশিক্ষণের সেটটির মুখোমুখি হয়ে ফারাওয়ে শিক্ষার্থীর অবস্থানের পক্ষে থাকি তবে আমরা কেবল লিনিয়ার মডেল ব্যবহার করে আরও ভাল করার সম্ভাবনা নেই। আমি মনে করি না যে এটি "বিশ্ববিদ্যালয়গুলির পরিসংখ্যান-যেমন-শিক্ষিত-ইন-ইউনিভার্সিটি" সম্পর্কিত কোনও বিষয়।
বোম্বিক্স মোরি

1

শিক্ষার্থীদের মডেলগুলি প্রায় সমস্ত পোশাকই ছিল। এন ডেটা পয়েন্টগুলির সাথে, একটি সর্বদা অর্ডার এন -1 এর একটি নিখুঁত বহুবর্ষে ফিট করতে পারে। এ জাতীয় মডেল ছাড়িয়ে যাওয়া এলোমেলো ত্রুটির কিছুই রাখে না। এটি উপস্থিত হয় যে শিক্ষার্থীরা অনুরূপ ওভারফিটং ত্রুটি করেছে, তবে সম্ভবত বিভিন্ন ফাংশন সহ।

ওভারফিটিং একটি ত্রুটি যা কেবলমাত্র শিক্ষার্থীদের দ্বারা করা উচিত। এবং এটি পরামর্শ দেয় যে অভিজ্ঞতা এবং শিক্ষা মডেলিংয়ের প্রয়োজনীয় যোগ্যতা।


2
"ওভারফিটিং এমন একটি ত্রুটি যা কেবলমাত্র শিক্ষার্থীদের দ্বারা তৈরি করা উচিত" এটি বহন করার পক্ষে একটি দুর্দান্ত উচ্চমান। মডেলিং কঠিন। হতে পারে "ওভারফিটিং এমন কিছু যা মডেলাররা অভিজ্ঞতা এবং শিক্ষার মাধ্যমে চিনতে এবং এড়ানো শেখেন" সত্যের আরও কাছাকাছি থাকবে?
ম্যাথু ড্রি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.