কেন লজিস্টিক রিগ্রেশন ভাল ক্যালিব্রেট করা হয়, এবং এর ক্রমাঙ্কনকে কীভাবে নষ্ট করা যায়?

Question

সাইকিটে সম্ভাব্যতা ক্রমাঙ্কন সম্পর্কিত নথিগুলি শিখুন তারা অন্যান্য পদ্ধতির সাথে লজিস্টিক রিগ্রেশনকে তুলনা করে এবং মন্তব্য করে যে এলোমেলো বনটি লজিস্টিক রিগ্রেশন থেকে কম ভাল ক্যালিব্রেটেড হয়।

কেন লজিস্টিক রিগ্রেশন ভাল ক্যালিব্রেট করা হয়? কীভাবে একজন লজিস্টিক রিগ্রেশনটির ক্রমাঙ্কনকে নষ্ট করতে পারে (এমনটি যে কখনও চায় না - ঠিক মহড়া হিসাবে)?

Answer 1

যদিও এই প্রশ্ন এবং এর প্রথম উত্তরটি লজিস্টিক রিগ্রেশন মডেল ক্যালিব্রেশন এর তাত্ত্বিক ইস্যুতে কেন্দ্রীভূত বলে মনে হচ্ছে, এর ইস্যুতে:

কীভাবে কেউ একটি লজিস্টিক রিগ্রেশনটির ক্রমাঙ্কনকে নষ্ট করতে পারে ...?

এই পৃষ্ঠার ভবিষ্যতের পাঠকদের জন্য রিয়েল-ওয়ার্ল্ড অ্যাপ্লিকেশনগুলির প্রতি শ্রদ্ধার সাথে কিছুটা মনোযোগ প্রাপ্য। আমাদের ভুলে যাওয়া উচিত নয় যে লজিস্টিক রিগ্রেশন মডেলটি ভালভাবে নির্দিষ্ট করতে হবে, এবং এই সমস্যাটি লজিস্টিক রিগ্রেশনটির জন্য বিশেষত ঝামেলা হতে পারে।

প্রথমত, যদি শ্রেণীর সদস্যপদটির লগ-প্রতিক্রিয়াগুলি মডেলের অন্তর্ভুক্ত পূর্বাভাসকদের সাথে লিনিয়ারভাবে সম্পর্কিত না হয় তবে এটি ভালভাবে ক্রমাঙ্কিত হবে না। বাইনারি লজিস্টিক রিগ্রেশন- এর হ্যারেলের অধ্যায় 10 প্রায় 20 পৃষ্ঠা "মডেল ফিটের মূল্যায়নের" জন্য উত্সর্গ করে যাতে @ স্বেচ্ছায় বলা হয়েছে যে, "সর্বাধিক সম্ভাবনার প্রাক্কলনকারীর অ্যাসিপটোটিক নিরপেক্ষতার" সুবিধা নিতে পারে।

দ্বিতীয়ত, মডেল স্পেসিফিকেশন হ'ল লজিস্টিক রিগ্রেশনের একটি বিশেষ সমস্যা, কারণ এতে একটি অন্তর্নিহিত বাদ দেওয়া ভেরিয়েবল পক্ষপাত রয়েছে যা সাধারণ রৈখিক রিগ্রেশন পটভূমির ক্ষেত্রে অবাক করা হতে পারে। পৃষ্ঠাটি যেমন রাখে:

বাদ দেওয়া ভেরিয়েবলগুলি অন্তর্ভুক্ত ভেরিয়েবলগুলির সাথে সংযুক্ত না হওয়া সত্ত্বেও অন্তর্ভুক্ত ভেরিয়েবলের সহগের পক্ষপাতিত্ব করবে।

বিশ্লেষণাত্মকভাবে ট্র্যাকটেবল, প্রবিট মডেলগুলির সম্পর্কিত তাত্ত্বিক ব্যাখ্যা সহ, এই আচরণটি কেন প্রত্যাশিত হবে সে সম্পর্কেও সেই পৃষ্ঠাটির একটি কার্যকর ব্যাখ্যা রয়েছে । সুতরাং আপনি যদি না জেনে থাকেন যে আপনি শ্রেণি সদস্যতার সাথে সম্পর্কিত সমস্ত ভবিষ্যদ্বাণীকে অন্তর্ভুক্ত করেছেন, আপনি অনুশীলনকে ভুল বানান এবং দুর্বল ক্রমাঙ্কনের ঝুঁকিতে পড়তে পারেন।

মডেল স্পেসিফিকেশনের ক্ষেত্রে, এটি সম্ভবত সম্ভব যে বৃক্ষভিত্তিক পদ্ধতিগুলি এলোমেলো বনের মতো, যা পূর্বাভাসক মানগুলির পুরো পরিসীমাটির উপরে লৈঙ্গিকতা ধরে না এবং ভবিষ্যদ্বাণীকারীদের মধ্যে মিথস্ক্রিয়া সহ অন্তর্নিহিতভাবে খুঁজে পাওয়ার সম্ভাবনা সরবরাহ করে এবং আরও ভাল- লজিস্টিক রিগ্রেশন মডেলের চেয়ে অনুশীলনে ক্যালিব্রেটেড মডেল যা ইন্টারঅ্যাকশন শর্তাদি বা অ-রৈখিকতাটিকে যথেষ্ট পরিমাণে বিবেচনা করে না। বাদ দেওয়া-পরিবর্তনশীল পক্ষপাতদুষ্ট সম্পর্কে শ্রেনীর সাথে, আমার কাছে ক্লাস-সদস্যপদ সম্ভাবনার মূল্যায়ন করার কোনও পদ্ধতিও এই সমস্যাটিকে পর্যাপ্তভাবে মোকাবেলা করতে পারে কিনা তা আমার কাছে পরিষ্কার নয়।

Answer 2

লজিস্টিক রিগ্রেশন একটি শ্রেণিবদ্ধকরণ পদ্ধতি যা মূলত একটি সম্ভাব্যতা ফাংশনটি শিখে $\pi_\theta(x)$ পরামিতিগুলি ফিট করে ইনপুট স্পেসের ওপরে $\theta$। যদি ভবিষ্যদ্বাণী করা সম্ভাব্যতাগুলি যথাযথ ক্ষতির ফাংশন দিয়ে শিখে নেওয়া হয়, লজিস্টিক রিগ্রেশনের চেয়ে বাইনারি ইভেন্ট সম্ভাবনার একটি নিরপেক্ষ অনুমান শেখার সম্ভাবনা থাকে, যখনই এর পর্যাপ্ত ক্ষমতা (ইনপুট বৈশিষ্ট্য) থাকে।

লগ ক্ষতি এই ধরনের নিরপেক্ষ অনুমানের অনুমতি দেয়। লগ হ্রাস ফাংশনটি কেবল একটি বার্নোল্লি বিতরণের নেতিবাচক লগ সম্ভাবনা বলে বিবেচনা করুন$z \thicksim \text{Ber}(p)$। এর সর্বাধিক সম্ভাবনার অনুমান$p$ পরিবর্তনশীল জন্য পর্যবেক্ষণের একটি সেট দেওয়া নিরপেক্ষ হয় $z$। কিছু ইনপুট স্পেসের উপর শ্রেণিবিন্যাসের ক্ষেত্রে$\mathcal{X}$, যে কোনও পয়েন্টের জন্য একটি বার্নোল্লি বিতরণ থাকার কথা কল্পনা করতে পারেন $\mathcal{X}$। প্রায়শই, আপনার কেবলমাত্র 1 টি পর্যবেক্ষণ থাকবে$y_i$ প্রতি বার্নোল্লি বিতরণ, যা এ অবস্থিত $x_i$। যৌথভাবে সমস্ত পর্যবেক্ষণ করা বার্নোল্লি বিতরণের জন্য সর্বাধিক সম্ভাবনার অনুমানের প্রয়োগ$y_i \thicksim \text{Ber}(\pi(x_i))$ এতে বেশ কয়েকটি বাধা প্রয়োগ করবে $\pi_\theta$। যেহেতু এই সমস্ত প্রতিবন্ধকতাগুলি পক্ষপাতহীন অনুমানের দিকে পরিচালিত করে, এবং যতক্ষণ না এই কার্যটি$\pi_\theta$ সত্য অন্তর্নিহিত সম্ভাবনা ফাংশন ফিট করতে যথেষ্ট নমনীয় $\pi^*$, তাহলে শেখার পদ্ধতিটি সামঞ্জস্যপূর্ণ এবং আপনি আরও ডেটা পাওয়ার সাথে সাথে সর্বোত্তম মডেলটিতে রূপান্তরিত হবে। সুতরাং, মডেল ক্ষমতা সীমাবদ্ধকরণ (উদাহরণস্বরূপ কম বৈশিষ্ট্য) সর্বাধিক শেখার যোগ্য মডেল এবং সত্য মডেলের মধ্যে দূরত্ব বাড়িয়ে একটি লজিস্টিক রিগ্রেশনের ক্রমাঙ্কনকে বাধা দিতে পারে।

লজিস্টিক রিগ্রেশন সহ একটি ভুল পর্যবেক্ষণ মডেল ব্যবহার করা অব্যক্ত-সম্ভাব্য সম্ভাবনার দিকে পরিচালিত করবে। একটি সাধারণ বিতরণের সাথে বাইনারি ইভেন্টগুলির মডেলিং অনুপযুক্ত এবং এগুলি লজিস্টিক রিগ্রেশনের সাথে সংমিশ্রণে ব্যবহার করা উচিত নয়। সাধারণ বিতরণ পর্যবেক্ষণের মডেলের সাথে সম্পর্কিত ক্ষতির ফাংশন হ'ল গড় স্কোয়ার ত্রুটি। সুতরাং, একটি এমএসই ক্ষতি ব্যবহার নিশ্চিতভাবে তার ক্রমাঙ্কনকে বাধা দেয়।

Comments

যত্নশীল কলিং লজিস্টিক রিগ্রেশন এই সাইটে একটি শ্রেণিবদ্ধকরণ পদ্ধতি! উত্তরের জন্য ধন্যবাদ - মনে হচ্ছে আপনি বোঝাচ্ছেন যে লগ হ্রাস উদ্দেশ্যটি ক্রমাঙ্কণের কারণ (মডেলটি পর্যাপ্ত নমনীয় মনে করে)?

— ব্যবহারকার 0

একটি ফলোআপ - আপনি বলছেন ক্রমাঙ্কণের সম্ভাবনার পক্ষপাতহীন অনুমানের প্রয়োজন - সুতরাং শাস্তি প্রদানের ক্রমাঙ্কনকে নষ্ট করে দেয়?

— ব্যবহারকার 0

«লজিস্টিক রিগ্রেশন

— সাইকিট

সংজ্ঞা দ্বারা, শাস্তি বা নিয়মিতকরণ, একটি পক্ষপাতী ইনজেকশন যা প্রায়শই অনুমানের বৈকল্পিকতা হ্রাস করতে চায়। একটি বিশাল নিয়মিতকরণ উদ্দেশ্যমূলক কার্যের ডেটা অংশকে প্রভাবিত করতে পারে এবং অবশ্যই ক্রমাঙ্কনকে নষ্ট করে দেয়।

— কর্টেক্স

"লগ ক্ষতি অপ্টিমাইজ করে" সম্পর্কে বিজ্ঞান-শিখার উদ্ধৃতি কার্যকর ব্যাখ্যা নয়, কারণ এটি এবং পক্ষপাতহীন হওয়ার মধ্যে কোনও প্রয়োজনীয় সংযোগ নেই। আমি যদি ভুল নই, প্রশ্নের সঠিক উত্তর দিয়ে কাজ করানোর প্রয়োজন হবে মধ্যে asymptotic unbiasedness এর সর্বোচ্চ সম্ভাবনা মূল্নির্ধারক সাধারণত লজিস্টিক রিগ্রেশন পদ্ধতি ব্যবহার করা হয়।

— whuber