সিদ্ধান্তের প্রান্তিকতা কি লজিস্টিক রিগ্রেশন একটি হাইপারপ্যারামিটার?

Question

(বাইনারি) লজিস্টিক রিগ্রেশন থেকে ভবিষ্যদ্বাণী করা ক্লাসগুলি মডেল দ্বারা উত্পাদিত শ্রেণীর সদস্যতার সম্ভাবনার উপর একটি থ্রোসোল্ড ব্যবহার করে নির্ধারিত হয়। আমি যেমন এটি বুঝতে পারি, সাধারণত ডিফল্টরূপে 0.5 ব্যবহার করা হয়।

তবে প্রান্তিকের পরিবর্তিত হওয়া পূর্বাভাসের শ্রেণিবদ্ধকরণগুলিকে পরিবর্তন করবে। এর অর্থ কি প্রান্তিকটি একটি হাইপারপ্যারামিটার? যদি তা হয়, তবে (উদাহরণস্বরূপ) সাইকিট-লার্নের GridSearchCVপদ্ধতিটি ব্যবহার করে (যেমন আপনি নিয়মিতকরণের প্যারামিটারের জন্য করতেন ) সহজেই থ্রেশহোল্ডগুলির গ্রিডের উপরে অনুসন্ধান করা কেন সম্ভব নয় C।

Comments

"আমি যেমন এটি বুঝতে পারি, সাধারণত 0.5% ডিফল্টরূপে ব্যবহৃত হয়।" "সাধারণ" শব্দের অর্থের উপর নির্ভর করে। অনুশীলনে, কেউ এই কাজ করা উচিত নয়।

— ম্যাথু ড্রুরি

খুব বেশি সম্পর্কিত: শ্রেণিবিন্যাসের সম্ভাবনার প্রান্তিকর

— স্টিফান কোলাসা

কঠোরভাবে আপনি লজিস্টিক রিগ্রেশন বোঝাতে চাইছেন না, আপনার অর্থ বাইনারি শ্রেণিবদ্ধকরণের জন্য একটি প্রান্তিক সহ একটি লজিস্টিক রেজিস্টার ব্যবহার করা (আপনি উভয় শ্রেণীর প্রত্যেকের জন্য একজন রেজিস্ট্রারকে সামান্য বীজযুক্ত এলোমেলো বা ভারী ভারসাম্য রক্ষা করতে পারেন যাতে এগুলি রৈখিক নির্ভরশীল না হয়)।

— স্মি

Answer 1

সিদ্ধান্তের প্রান্তিকতা আপনার পূর্বাভাসের ধনাত্মক সংখ্যার এবং আপনার পূর্বাভাসের নেতিবাচক সংখ্যার মধ্যে বাণিজ্য বন্ধ করে দেয় - কারণ, তাত্ত্বিকভাবে সিদ্ধান্তের চৌম্বকটি বাড়ানো আপনার ইতিবাচক সংখ্যাকে হ্রাস করবে এবং নেতিবাচক সংখ্যাকে বৃদ্ধি করবে যে আপনি ভবিষ্যদ্বাণী।

সিদ্ধান্ত থ্রেশহোল্ড হয় না মডেল টিউনিং অর্থে একটি অধি প্যারামিটার কারণ এটি পরিবর্তন করে না নমনীয়তা মডেল।

সিদ্ধান্তের প্রান্তের প্রসঙ্গে আপনি "টিউন" শব্দটি সম্পর্কে যেভাবে ভাবছেন তা হাইপার-প্যারামিটারগুলির সাথে কীভাবে সুর করা যায় তার থেকে আলাদা। পরিবর্তন করা হচ্ছে ও অন্যান্য মডেল অধি-পরামিতি পরিবর্তন মডেল$C$(উদাহরণস্বরূপ, লজিস্টিক রিগ্রেশন সহগগুলি পৃথক হবে), থ্রেশহোল্ড সামঞ্জস্য করলে কেবল দুটি জিনিসই করা যায়: এফএন এর জন্য টিপি বাণিজ্য, এবং টিএন এর জন্য এফপি। তবে, মডেলটি একই থাকবে, কারণ এটি সহগের পরিবর্তন করে না। (মডেলগুলির ক্ষেত্রে একই রকম, যা এলোমেলো বনগুলির মতো সহগুণযোগ্য নয়: প্রান্তিক পরিবর্তনগুলি গাছ সম্পর্কে কোনও পরিবর্তন করে না)) সুতরাং সংকীর্ণ অর্থে, আপনি ভুল করেছেন যে ত্রুটিগুলির মধ্যে সেরা বাণিজ্য বন্ধ খুঁজে পাওয়া উচিত correct "সুরকরণ," কিন্তু আপনি চিন্তা করছি ভুল যে থ্রেশহোল্ড পরিবর্তন একটি উপায় যে দ্বারা অপ্টিমাইজ করা হয় অন্যান্য মডেল অধি-পরামিতি লিঙ্ক করা হয়েছে GridSearchCV।

অন্যভাবে স্থিত করে, সিদ্ধান্তের প্রান্তিকিকে পরিবর্তন করা আপনার পক্ষে কতটা ভুয়া ইতিবাচক এবং মিথ্যা নেতিবাচক থাকতে চান তা আপনার পক্ষে একটি পছন্দ প্রতিফলিত করে। আপনি সিদ্ধান্তের প্রান্তটিকে -1-এর মতো সম্পূর্ণ অবর্ণনীয় মান হিসাবে সেট করেছেন এমন অনুমানের কথা বিবেচনা করুন। সমস্ত সম্ভাবনা অ-নেতিবাচক, সুতরাং এই প্রান্তিকের সাহায্যে আপনি প্রতিটি পর্যবেক্ষণের জন্য "ইতিবাচক" ভবিষ্যদ্বাণী করবেন। একটি নির্দিষ্ট দৃষ্টিকোণ থেকে, এটি দুর্দান্ত, কারণ আপনার মিথ্যা নেতিবাচক হার 0.0। তবে আপনার মিথ্যা পজিটিভ রেটটিও 1.0 এর চূড়ান্ত পর্যায়ে রয়েছে, সুতরাং সেই অর্থে আপনার -1 প্রান্তিকের পছন্দটি ভয়ঙ্কর।

আদর্শটি অবশ্যই 1.0 এর টিপিআর এবং 0.0 এর একটি এফপিআর এবং 0.0 এর একটি এফএনআর থাকতে হবে। তবে এটি বাস্তবসম্মত অ্যাপ্লিকেশনগুলিতে সাধারণত অসম্ভব, সুতরাং প্রশ্নটি তখন হয়ে যায় "আমি কতটা টিপিআর গ্রহণ করতে রাজি আছি?" এবং এটি রক রেখাচিত্রগুলির প্রেরণা ।

Comments

উত্তরের জন্য সাইকোরাক্স ধন্যবাদ। আপনি আমাকে প্রায় নিশ্চিত করেছেন। তবে আমরা কতটা টিপিআর গ্রহণের জন্য কতটা এফপিআর গ্রহণ করতে ইচ্ছুক? যেমন একটি ব্যয় ম্যাট্রিক্স ব্যবহার করে। আমাদের যদি একটি ব্যয় ম্যাট্রিক্স থাকে তবে আপনি হাইপারপ্যারমিটারটি টিউন করার সাথে সাথে টিউনিংয়ের মাধ্যমে অনুকূল থ্রোসোল্ডটি খুঁজে পাওয়া বাঞ্ছনীয় নয় কি? বা অনুকূল থ্রেশহোল্ড খুঁজে পাওয়ার আরও ভাল উপায় আছে?

— নিক

আপনি এখানে "টিউন" শব্দটি যেভাবে ব্যবহার করছেন তা হাইপার-পরামিতিগুলি কীভাবে সুর করা যায় তার থেকে আলাদা। পরিবর্তন করা হচ্ছে ও অন্যান্য মডেল অধি-পরামিতি পরিবর্তন মডেল (যেমন, পণ্য সরবরাহ সংশ্লেষণ কোফিসিয়েন্টস ভিন্ন হবে), এবং প্রান্তিক মানের সামঞ্জস্য মাত্র দুটি করতে পারেন: ফাঃ জন্য টিপি বন্ধ বাণিজ্য, এবং টি এন জন্য FP (কিন্তু মডেল অবশেষ একই - একই সহগ ইত্যাদি)) আপনি ঠিক বলেছেন, আপনি ত্রুটিগুলির মধ্যে সেরা বাণিজ্য বন্ধ খুঁজে পেতে চান তবে আপনি ভুল করছেন যে এই জাতীয় টিউনিং ভিতরে placeুকে পড়ে । $C$GridSearchCV

— সাইকোরাক্স মনিকাকে

@ সাইকোরাক্স কি থ্রেশোল্ড এবং ইন্টারসেপ্ট (পক্ষপাত শব্দ) মূলত একই কাজ করছে না? অর্থাৎ আপনি প্রান্তিক স্থিতিকে 0.5 এ স্থির রাখতে পারেন তবে সে অনুযায়ী ইন্টারসেপ্ট পরিবর্তন করতে পারেন; এটি "মডেলটি পরিবর্তন করবে" (আপনার শেষ মন্তব্য অনুযায়ী) তবে বাইনারি পূর্বাভাসের ক্ষেত্রে একই প্রভাব ফেলবে। এটা কি সঠিক? যদি তা হয় তবে আমি নিশ্চিত নই যে "মডেল পরিবর্তন করা" এবং "সিদ্ধান্তের নিয়ম পরিবর্তন করা" এর মধ্যে কঠোর পার্থক্য এই ক্ষেত্রে এত অর্থবহ।

— অ্যামিবা বলেছেন মনিকাকে

@ অ্যামিবা এটি একটি উত্সাহজনক মন্তব্য। আমি এটি বিবেচনা করতে হবে। আমি মনে করি আপনার পরামর্শটির পরিমাণ "প্রান্তিকের ০.০ এ রাখুন এবং ইন্টারসেপ্টটিকে হাইপারপ্যারমিটার হিসাবে বিবেচনা করুন, যা আপনি সুর করেছেন।" আপনাকে এটি করা থেকে বিরত করার জন্য গাণিতিকভাবে কিছুই নেই, মডেলটি আর তার সম্ভাবনা সর্বাধিক করে না এমন পর্যবেক্ষণ ব্যতীত। তবে কিছু নির্দিষ্ট প্রসঙ্গে এমএলই অর্জন অগ্রাধিকার নাও হতে পারে।

— সাইকোরাক্স মনিকাকে

Answer 2

তবে প্রান্তিকের পরিবর্তিত হওয়া পূর্বাভাসের শ্রেণিবদ্ধকরণগুলিকে পরিবর্তন করবে। এর অর্থ কি প্রান্তিকটি একটি হাইপারপ্যারামিটার?

হ্যাঁ, এটা, বাছাই। এটি আপনার সিদ্ধান্তের নিয়মের একটি হাইপারপ্যারামিটার তবে অন্তর্নিহিত রিগ্রেশন নয়।

যদি তা হয়, তবে (উদাহরণস্বরূপ) স্কাইকিট-লার্নের গ্রিডসার্চসিভি পদ্ধতিটি (যেমন আপনি নিয়মিতকরণের পরামিতি সি করার জন্য করতে পারেন) ব্যবহার করে খুব সহজেই থ্রেশহোল্ডগুলির গ্রিডে অনুসন্ধান করা কেন সম্ভব নয়।

এটি স্কলারনে একটি ডিজাইনের ত্রুটি। বেশিরভাগ শ্রেণিবিন্যাসের দৃশ্যের জন্য সর্বোত্তম অনুশীলন হ'ল এই সম্ভাবনার মানের (যেমন কোনও লজিস্টিক রিগ্রেশনে লগ-ক্ষতি) কিছুটা ব্যবহার করে অন্তর্নিহিত মডেলটি (যা সম্ভাবনার পূর্বাভাস দেয়) ফিট করে। এরপরে, আপনার শ্রেণিবিন্যাসের বিধিটির কিছু ব্যবসায়ের উদ্দেশ্যকে অনুকূল করতে এই সম্ভাবনার উপর একটি সিদ্ধান্তের দোরগোছা করা উচিত। গ্রন্থাগারের মানদণ্ডের কিছু পরিমাপের ভিত্তিতে সিদ্ধান্তের উত্সকে অনুকূলকরণ করা সহজ করা উচিত, তবে আমি বিশ্বাস করি না যে এটি ভাল করে does

আমি মনে করি এটি স্কেলার্ন এটির যে কোনও জায়গায় ভুল হয়েছে। লাইব্রেরিতে predictসমস্ত শ্রেণিবদ্ধকরণের মডেলগুলিতে একটি থ্রোহোল্ড যা একটি পদ্ধতি অন্তর্ভুক্ত করে 0.5। এই পদ্ধতিটি অকেজো, এবং আমি এটির পক্ষে কখনও প্রার্থনা না করার জন্য দৃ strongly়ভাবে সমর্থন করি। এটি দুর্ভাগ্যজনক যে স্কেলারন আরও ভাল কাজের প্রবাহকে উত্সাহিত করে না।

Comments

আমি এই predictপদ্ধতিটির ডিফল্ট পছন্দটি 0.5 এর একটি কাট অফ হিসাবে বেছে নিয়েছি তা নিয়ে আপনার সংশয়ও ভাগ করে নিই , তবে এমন বস্তু GridSearchCVগ্রহণ scorerকরে যা নমুনা ছাড়াই ক্রস-এন্ট্রপি ক্ষতির ক্ষেত্রে মডেলগুলিকে টিউন করতে পারে। আমি কি তোমার কথা মিস করছি?

— সাইকোরাক্স মনিকাকে

ডান, সম্মত যে সর্বোত্তম অনুশীলন, কিন্তু এটি ব্যবহারকারীদের সিদ্ধান্তের দ্বারকে সুর করতে উত্সাহ দেয় না।

— ম্যাথু

Gotcha। আমি বুঝেছি তুমি কি বলতে চাচ্ছো!

— সাইকোরাক্স বলেছেন মোনিকা পুনরায়

@ সাইকোরাক্স স্পষ্ট করার জন্য সম্পাদনা করার চেষ্টা করলেন!

— ম্যাথু ড্র্যারি