লজিস্টিক রিগ্রেশনগুলির বৈশিষ্ট্য

আমরা কিছু লজিস্টিক রিগ্রেশন নিয়ে কাজ করছি এবং আমরা বুঝতে পেরেছি যে গড় অনুমান করা সম্ভাবনা সর্বদা নমুনায় থাকা অনুপাতের সমান; অর্থাৎ, লাগানো মানগুলির গড় গড় নমুনার গড়ের সমান।

কেউ আমাকে কারণ ব্যাখ্যা করতে পারেন বা আমাকে একটি রেফারেন্স দিতে পারেন যেখানে আমি এই বিক্ষোভ খুঁজে পাব?

— গবি ফিক্স
সূত্র

এর কারণ হ'ল লজিস্টিক রিগ্রেশন ঠিক তা অর্জন করার চেষ্টা করছে: পূর্ব সম্ভাব্যতা ("গড়") সহ ডেটা বিতরণকে মডেলিং করা। এই আচরণ কি অনাকাঙ্ক্ষিত?

— বায়ারজ

@ বায়ার লিঙ্ক ফাংশনের অরেখারতা ইঙ্গিত দেয় যে এই ঘটনাটি আপনার চরিত্রায়নের চেয়ে গভীর। এখানে প্রকৃতপক্ষে কিছু প্রদর্শন করা দরকার।

— শুক্র

ঝুঁকি অনুমান করার জন্য লজিস্টিক রিগ্রেশন ব্যবহৃত হলে এই সম্পত্তিটিকে কখনও কখনও বড় আকারে ক্যালিব্রেশন-ইন-দ্য লার্জ বলা হয়।

— জুলাইথ

আপনি যে আচরণটি পর্যবেক্ষণ করছেন তা লজিস্টিক রিগ্রেশনের ক্ষেত্রে "সাধারণ" ক্ষেত্রে তবে সর্বদা সত্য হয় না । এটি আরও অনেক সাধারণতা ধরে রাখে (নীচে দেখুন)। এটি তিনটি পৃথক সত্যের মিলনের পরিণাম।

ভবিষ্যদ্বাণীকারীদের লিনিয়ার ফাংশন হিসাবে লগ-প্রতিকূলগুলির মডেলিংয়ের পছন্দ,
লজিস্টিক রিগ্রেশন মডেলটিতে সহগের অনুমানগুলির সর্বাধিক সম্ভাবনার ব্যবহার এবং
মডেলটিতে একটি ইন্টারসেপ্ট টার্ম অন্তর্ভুক্তি।

যদি উপরের কোনও একটি উপস্থিত না থাকে, তবে গড় অনুমান করা সম্ভাব্যতাগুলি, সাধারণভাবে, নমুনায় থাকা অনুপাতের সাথে মেলে না।

তবে, (প্রায়) সমস্ত পরিসংখ্যান সংক্রান্ত সফ্টওয়্যার এই জাতীয় মডেলগুলির সর্বাধিক সম্ভাবনার প্রাক্কলন ব্যবহার করে, সুতরাং, অনুশীলনে, আইটেম 1 এবং 2 মূলত সর্বদা উপস্থিত থাকে, এবং বিশেষ ক্ষেত্রে বাদে আইটেম 3 সাধারণত উপস্থিত থাকে।

কিছু বিশদ

টিপিক্যাল লজিস্টিক রিগ্রেশন ফ্রেমওয়ার্ক, আমরা সম্ভাব্যতা সঙ্গে স্বাধীন দ্বিপদ বিচারের পরিণতি পালন । যাক পর্যবেক্ষিত প্রতিক্রিয়ার হও। তারপরে মোট সম্ভাবনা হ'ল $p_i$ $y_i$ এবং তাই লগ-সম্ভাবনা নেই

এল = Π_{আমি = 1}^{এন} {পি}_{আমি}^{Y_{আমি}} (1 - {পি}_{আমি})^{1 - Y_{আমি}} = Π_{আমি = 1}^{এন} মেপুঃ (Y_{আমি} লগ ({পি}_{আমি} / (1 - {পি}_{আমি})) + + লগ (1 - {পি}_{আমি})),

$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$

ℓ = Σ_{আমি = 1}^{এন} Y_{আমি} লগ ({পি}_{আমি} / (1 - {পি}_{আমি})) + + Σ_{আমি = 1}^{এন} লগ (1 - {পি}_{আমি}) ।

$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$

এখন আমরা ভবিষ্যতবক্তা একটি ভেক্টর আছে প্রতিটি পর্যবেক্ষণ এবং ফ্যাক্ট 1 থেকে উপরে, লজিস্টিক প্রত্যাবৃত্তি মডেল posits যে $\newcommand{\x}{\mathbf x}\x_i$

লগ \frac{{পি}_{আমি}}{1 - {পি}_{আমি}} = β^{টি} {এক্স}_{আমি},

$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$

β

$\beta$

p_{i} = 1 / (1 + e^{- β^{T} x_{i}})

$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

\frac{\partial ℓ}{\partial β} = \underset{আমি}{Σ} Y_{আমি} {এক্স}_{আমি} - \underset{আমি}{Σ} \frac{{এক্স}_{আমি}}{1 + + মেপুঃ (- β^{টি} {এক্স}_{আমি})} = \underset{আমি}{Σ} Y_{আমি} {এক্স}_{আমি} - \underset{আমি}{Σ} {পি}_{আমি} {এক্স}_{আমি},

$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$

\underset{আমি}{Σ} Y_{আমি} {এক্স}_{আমি} = \underset{আমি}{Σ} {\hat{পি}}_{আমি} {এক্স}_{আমি},

$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$

{\hat{p}}_{i} = (1 + \exp (- {\hat{β}}^{T} x_{i}))^{- 1}

$\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$

$\x_i$ $j$ $i$ $\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$

একটি অনুকরণ

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

সাধারণ ক্ষেত্রে : উপরে বর্ণিত হিসাবে, সম্পত্তিটি যে গড় প্রতিক্রিয়ার গড় পূর্বাভাসিত গড়ের সমান, সাধারণীকৃত রৈখিক মডেলগুলির শ্রেণীর জন্য বৃহত্তর সাধারণত্ব ধারণ করে সর্বাধিক সম্ভাবনা অনুসারে, ক্যানোনিকাল লিঙ্ক ফাংশনটি ব্যবহার করে এবং এতে একটি বাধা সহ মডেল.

তথ্যসূত্র

সম্পর্কিত তত্ত্বের জন্য কয়েকটি ভাল উল্লেখ নিম্নলিখিত।

উ। এগ্রেস্তি (২০০২), শ্রেণিবদ্ধ ডেটা বিশ্লেষণ , ২ য় সংস্করণ, উইলি।
পি। ম্যাককুলাঘ এবং জেএ নেল্ডার (1989), জেনারালাইজড লিনিয়ার মডেলস , দ্বিতীয় তৃতীয় সংস্করণ, চ্যাপম্যান এবং হল। (সাধারণ পদ্ধতিগুলির মূল লেখকদের পাঠ্য))

— মৌলিক
সূত্র

+1 এই বিক্ষোভ (সমস্ত জিএলএমগুলিকে সাধারণীকরণের চেষ্টা ছাড়াই লজিস্টিক রিগ্রেশন মডেলের সাথে সুনির্দিষ্ট) মদদালায় (1983) ইকোনোমেট্রিক্সের সীমাবদ্ধ নির্ভরশীল এবং গুণগত ভেরিয়েবলগুলিতেও দেওয়া হয়েছে , পৃষ্ঠা 25-26।

— StasK

@ স্ট্যাস্ক: অতিরিক্ত রেফারেন্সের জন্য ধন্যবাদ, যার সাথে আমি পরিচিত নই। চিয়ার্স।

— কার্ডিনাল

@ কার্ডিনাল: আমি এগ্রেস্তি এর সাথে আলোচনা করার কথা মনে করি না। এটি ম্যাককুল্লাগ এবং নেল্ডারে আলোচনা হয়?

— জুলাইথ