এফ 1 অনুকূল থ্রেশহোল্ড কী? কিভাবে এটি গণনা?

Question

আমি আর-তে h2o.glm () ফাংশনটি ব্যবহার করেছি যা ফলাফলের অন্যান্য পরিসংখ্যানের সাথে ফলাফলের জন্য একটি অবিচ্ছিন্ন টেবিল দেয়। কন্টিনজেন্সি টেবিলটি শীর্ষে রয়েছে " এফ 1 অনুকূল থ্রেশহোল্ডের উপর ভিত্তি করে ক্রস ট্যাব "

উইকিপিডিয়া F1 স্কোর বা এফ স্কোরকে নির্ভুলতা এবং পুনর্বিবেচনার সুরেলা উপায় হিসাবে সংজ্ঞায়িত করে। তবে যথার্থতা এবং স্মরণগুলি কেবল তখনই পাওয়া যায় না যখন কোনও লজিস্টিক রিগ্রেশন (যেমন উদাহরণস্বরূপ) এর পূর্বাভাসিত মানগুলির ফলাফল কাটঅফ ব্যবহার করে বাইনারি রূপান্তরিত হয়।

এখন কাটঅফ দ্বারা আমার মনে আছে, এফ 1 স্কোর এবং অনুকূল থ্রেশহোল্ডের মধ্যে কী সংযোগ রয়েছে। অনুকূল থ্রেশহোল্ড কীভাবে গণনা করা হয়? কীভাবে F1 অনুকূল থ্রেশোল্ড গণনা করা হয়?

দুঃখিত যদি আমি কিছু মিস করি তবে আমি এখানে পরিসংখ্যানগুলিতে নতুন।

Answer 1

আমি আসলে এই বিষয়টিতে মেশিন লার্নিংয়ে আমার প্রথম পেপার লিখেছিলাম। এটিতে আমরা সনাক্ত করেছি যে যখন আপনার শ্রেণিবদ্ধকারী ক্যালিব্রেটেড সম্ভাবনাগুলি আউটপুট করেন (যেমন তাদের লজিস্টিক রিগ্রেশন হওয়া উচিত) সর্বোত্তম প্রান্তিকটি এটি অর্জন করে এমন প্রায় 1/2 এফ 1 স্কোর অর্জন করে। এটি আপনাকে কিছু অন্তর্দৃষ্টি দেয়। অনুকূল থ্রেশহোল্ড কখনও .5 এর বেশি হবে না। যদি আপনার F1 .5 হয় এবং প্রান্তিকর আকার 5 হয়, তবে আপনার প্রান্তিকিকে হ্রাস করে F1 এর উন্নতি আশা করা উচিত। অন্যদিকে, যদি F1 হয় .5 এবং প্রান্তিক মান 1।, আপনার সম্ভবত এফ 1 এর উন্নতি করার জন্য প্রান্তিকতা বাড়ানো উচিত।

সমস্ত বিবরণ সহ এফ 1 কেন অপ্টিমাইজ করার জন্য ভাল ব্যবস্থা হতে পারে বা না হতে পারে (একটি একক এবং মাল্টিলেবল উভয় ক্ষেত্রেই) এখানে একটি আলোচনা পাওয়া যাবে:

https://arxiv.org/abs/1402.1892

দুঃখিত যে এই পোস্টটি আমার নজরে আসতে 9 মাস সময় নিয়েছে। আশা করি আপনি এখনও তথ্য দরকারী খুঁজে পেতে!

Comments

এফ 1 কি 1 হতে পারে? আপনার যদি 90% A, এবং 10% ~ A থাকে তবে আমার মনে হয় আপনি একটি প্রান্তিক> .5 চাইবেন।

— গুং - মনিকা পুনরায়

হাই @ গুং না, সংজ্ঞা অনুসারে এফ 1 = 2 * পি * আর / (পি + আর) এবং সমস্ত এফ-বিটা ব্যবস্থার মতোই এর পরিধি [0,1] রয়েছে। শ্রেণির ভারসাম্যহীনতা F1 স্কোরের পরিধি পরিবর্তন করে না। কিছু অ্যাপ্লিকেশনগুলির জন্য, আপনি প্রকৃতপক্ষে .5 এর চেয়েও বেশি প্রান্তিক দিয়ে পূর্বাভাস পেতে চাইতে পারেন। বিশেষত, যখনই আপনি ভাবেন যে মিথ্যা ধনাত্মকগুলি মিথ্যা নেতিবাচকগুলির চেয়ে খারাপ। তবে এই ধরনের একটি প্রান্তিকতা F1 স্কোরটি অপ্টিমাইজ করবে না। কেন তা বোঝার জন্য, তথ্য পুনরুদ্ধারের প্রসঙ্গে এফ 1 স্কোরটি বিকাশ করা হয়েছিল। এই সেটিংসে ধনাত্মক শ্রেণি বিরল এবং সাধারণত মিথ্যা ধনাত্মক মিথ্যা নেতিবাচক হিসাবে ব্যয়বহুল হয় না।

— জাচারি চেজ লিপটন

@ জাচারি চেসলিপটন ধরুন আমার ট্রেন / ভাল / পরীক্ষায় ডেটাসেট বিভক্ত রয়েছে। কোনও শ্রেণিবদ্ধকারীর জন্য যা একটি সম্ভাবনার সঞ্চার করে আমি সর্বোত্তম এফ 1 উপার্জনকারী প্রান্তিকরটি পরীক্ষা করে যাচাইকরণ সেটটিতে অনুকূল এফ 1 প্রান্তিককরণ নির্বাচন করব। প্রান্তিক নির্বাচনটি সেরা মডেল নির্বাচনের অনুরূপ বলে মনে হয়। এটা কি সঠিক জিনিস?

— পীর

তদুপরি, ধরে নিও আমার একটি শ্রেণিবদ্ধ রয়েছে যা সম্ভাবনাগুলি আউটপুট দেয় না (কোনও এসভিএমের মতো)। আপনি কীভাবে তখন বৈধতা সেটটিতে F1 অনুকূল করবেন?

— পীর

আমি এটিকে একটি প্রশ্নে পরিণত করেছি: stats.stackexchange.com/questions/283931/…

— পীর