লজিস্টিক রিগ্রেশন সম্পর্কে আইড ধারণা আছে?

লজিস্টিক রিগ্রেশন এর প্রতিক্রিয়ার ভেরিয়েবলের আইডি অনুমান আছে কি?

উদাহরণস্বরূপ, ধরুন আমাদের কাছে $1000$ ডাটা পয়েন্ট রয়েছে। এটা তোলে প্রতিক্রিয়া বলে মনে হয় সঙ্গে একটি বের্নুলির বন্টন থেকে আসছে । সুতরাং, আমাদের বিভিন্ন প্যারামিটার সহ বার্নোল্লি বিতরণ করা উচিত । $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

সুতরাং, তারা "স্বতন্ত্র", তবে "অভিন্ন" নয়।

আমি কি সঠিক?

পুনশ্চ. আমি "মেশিন লার্নিং" সাহিত্য থেকে লজিস্টিক রিগ্রেশন শিখেছি, যেখানে আমরা উদ্দেশ্যগত ফাংশনটি অনুকূলিত করি এবং অনুমানগুলি সম্পর্কে খুব বেশি কথা না বলে ডেটা পরীক্ষায় এটি ভাল কিনা তা পরীক্ষা করে দেখি।

আমার প্রশ্নটি এই পোস্টটি দিয়ে শুরু হয়েছিল জেনারালাইজড লিনিয়ার মডেলটিতে লিংক ফাংশনটি বোঝুন যেখানে আমি পরিসংখ্যানগত অনুমানের বিষয়ে আরও জানার চেষ্টা করি।

— হাইতাও ডু
সূত্র

একটি "অনুমান" এমন একটি জিনিস যা একটি উপপাদ্য হতে পারে। লিনিয়ার রিগ্রেশন একটি IID ত্রুটি "ধৃষ্টতা" আছে (এটা না অর্থে গুলি যে "অধিকৃত" হয় রৈখিক রিগ্রেশনে IID হতে হবে! ত্রুটি আছে) যে গাউস-মার্কভ উপপাদ্য এই ধৃষ্টতা হয়েছে। এখন, লজিস্টিক রিগ্রেশন জন্য একটি মন আছে যে কোনও উপপাদ্য আছে? যদি তা না হয় তবে কোনও "অনুমান" নেই।

y

$y$

— অ্যামিবা বলেছেন মনিকা পুনরায়

অ্যামোয়েবা, এইচএক্সডি ডিস্ট্রিবিউশনগুলি একরকম নয় উল্লেখ করে সঠিক : "আইআইডি" প্রয়োগ হয় না। যদি কেউ কেবল তার উপযুক্ততার জন্য লজিস্টিক রিগ্রেশন ব্যবহার করে থাকে, তবে (যেমন আপনি লিখবেন) সম্ভবত কয়েকটি অনুমানের প্রয়োজন হবে; তবে যত তাড়াতাড়ি কেউ সহগের আনুমানিক কোভেরিয়েন্স ম্যাট্রিক্স ব্যবহার করে বা ভবিষ্যদ্বাণী অন্তরগুলি (বা, এই বিষয়টির জন্য, পূর্বাভাসিত মানগুলি ক্রস-বৈধ করে তোলা) তৈরি করতে চায় , তবে এর জন্য সম্ভাব্য অনুমানের প্রয়োজন হয়। সাধারণ একটিটি হল প্রতিক্রিয়াগুলি স্বাধীন।

— whuber

@ মোয়েবা একবার আপনি অনুমিতিগুলি (অনুমানের পরীক্ষাগুলি, আত্মবিশ্বাসের ব্যবস্থাগুলি ইত্যাদি) সম্পাদন করতে চাইলে কেবলমাত্র পরামিতিগুলির প্রাক্কলন গণনা করার পরিবর্তে প্রাসঙ্গিক নাল ডিস্ট্রিবিউশন অর্জন করতে সক্ষম হবার জন্য আপনি অনেকগুলি অনুমান (অন্যদের চেয়ে কিছুটা সমালোচনা) করতে পারবেন পছন্দসই কাভারেজের সাথে অন্তরের জন্য পরিসংখ্যান বা প্রয়োজনীয় গণনা পরীক্ষা করুন। এমনকি তুলনামূলকভাবে কম-অনুমানের পদ্ধতিতে এখনও অনুমান রয়েছে এবং আমরা যদি আমাদের অনুমানগুলি সম্পর্কে যত্নশীল হই তবে তাদের নামমাত্র বৈশিষ্ট্যগুলির কাছে তাদের কিছু আছে কিনা সে বিষয়ে আমরা যত্ন নেব।

— গ্লেন_বি -রিনস্টেট মনিকা

@ আমেবা, আমি এমন একটি উপপাদ্য পছন্দ করি যা এমএলইয়ের অ্যাসিম্পটোটিক স্বাভাবিকতা দেখায়। আমি সম্ভাবনা অনুপাত পরীক্ষাও পছন্দ করি।

— গামার

তাদের প্রান্তিক বিতরণগুলি অভিন্ন নয় যতক্ষণ না তাদের সকলের কাছে ভবিষ্যদ্বাণীকের মান একই থাকে তবে সেক্ষেত্রে আপনার কেবল আইআইডি বার্নৌল্লি ট্রায়াল রয়েছে। তাদের শর্তাধীন ডিস্ট্রিবিউশন (predictor দেওয়া হয়) সব একই, কিন্তু আমি মনে করি না আপনি সাধারণত বলতে চাই না

এই ক্ষেত্রে IID হয়।

Y_{i}

$Y_i$

— গামার

উত্তর:

আপনার পূর্ববর্তী প্রশ্নটি থেকে আপনি শিখেছি যে GLM সম্ভাব্যতা বিতরণের, রৈখিক predictor পরিপ্রেক্ষিতে বর্ণনা করা হয়েছে এবং লিঙ্ক ফাংশন এবং হিসাবে বর্ণনা করা হয় $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

যেখানে একটি লজিট লিঙ্ক ফাংশন এবং একটি বার্নোল্লি বিতরণ অনুসরণ করে বলে ধরে নেওয়া হয় $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

প্রতিটি বার্নোল্লি বিতরণকেতার নিজস্ব অর্থেরসাথে অনুসরণ করে যা শর্তসাপেক্ষ। আমরাধরেনাযে প্রতিটিএকই বন্টন থেকে একই গড় দিয়ে আসে (এটি কেবলমাত্র ইন্টারপেস-কেবল মডেল) হবে তবে তাদের সকলের ভিন্ন ভিন্ন উপায় রয়েছে। আমরা অনুমানএর দ্বারাস্বাধীনযেমন পরবর্তী মধ্যে autocorrelation হিসেবে অর্থাত আমরা জিনিস সম্পর্কে চিন্তা করতে হবে নামান ইত্যাদি $Y_i$ $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

IID ধৃষ্টতা রৈখিক রিগ্রেশনের (অর্থাত গসিয়ান GLM), যেখানে মডেল ত্রুটি সঙ্গে সম্পর্কযুক্ত

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

যেখানে , তাই আমরা আছে IID গোলমাল কাছাকাছি । এ কারণেই অবশিষ্টাংশগুলি ডায়াগনস্টিকগুলিতে আগ্রহী এবং অবসরপ্রাপ্ত বনাম লাগানো প্লটের দিকে মনোযোগ দিন । এখন, জিএলএম এর মতো লজিস্টিক রিগ্রেশনের ক্ষেত্রে এটি এত সহজ নয় যেহেতু গাউসীয় মডেলের মতো কোনও যোগমূলক শব্দ নেই ( এখানে , এখানে এবং এখানে দেখুন )। আমরা এখনও শূন্যের আশেপাশের অংশগুলিকে "এলোমেলো" হতে চাই এবং আমরা সেগুলির মধ্যে কোন প্রবণতা দেখতে চাই না কারণ তারা প্রস্তাব দেয় যে কিছু প্রভাব রয়েছে যা মডেল হিসাবে গণ্য হয় না, তবে আমরা ধরে নিই না যে তারা স্বাভাবিক এবং / বা $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ iid । পরিসংখ্যান শেখার থ্রেডে আইআইডি অনুমানের গুরুত্বকেও দেখুন ।

একটি sidenote হিসাবে, নোটিশ আমরা এমনকি ধৃষ্টতা প্রতিটি ড্রপ করতে পারেন যে বন্টন একই ধরনের থেকে আসে। (নন-জিএলএম) মডেল রয়েছে যা ধরে নেয় যে বিভিন্ন এর বিভিন্ন প্যারামিটার সহ বিভিন্ন বিতরণ হতে পারে, অর্থাত আপনার ডেটা বিভিন্ন বিতরণের মিশ্রণ থেকে আসে । এই ক্ষেত্রে আমরা আরও ধরে নিতে পারি যে মানগুলি স্বতন্ত্র , যেহেতু নির্ভরশীল মানগুলি বিভিন্ন প্যারামিটারগুলির সাথে বিভিন্ন বিতরণ থেকে আসে (অর্থাত্ আদর্শিক বাস্তব-বিশ্বের ডেটা) এমন একটি বিষয় যা বেশিরভাগ ক্ষেত্রে মডেলগুলির পক্ষে খুব জটিল (প্রায়শই অসম্ভব) । $Y_i$ $Y_i$ $Y_i$

— টিম
সূত্র

যেমনটি বলা হয়েছে, আমরা প্রায়শই লিনিয়ার রিগ্রেশন আইডির ত্রুটিগুলির ক্ষেত্রে বিবেচনা করি, তবে বেশিরভাগ জেনারেলাইজড লিনিয়ার মডেলগুলিতে (লজিস্টিক রিগ্রেশন সহ) এর সরাসরি সমতুল্য হয় না। লজিস্টিক রিগ্রেশন-এ, আমরা সাধারণত ফলাফলগুলির স্বাধীনতার ধারণাটি নিযুক্ত করি যে সকলের মধ্যে খুব কড়া সম্পর্ক রয়েছে (লগ সম্ভাবনার উপর লিনিয়ার প্রভাব)। তবে এগুলির ফলে এলোমেলো ভেরিয়েবলগুলি একইরূপে আসে না, তেমনি লিনিয়ার রিগ্রেশন সম্পর্কিত ক্ষেত্রে এটি একটি ধ্রুবক মেয়াদ এবং আইড ত্রুটি হিসাবে বিচ্ছিন্ন হতে পারে।

আপনি যদি সত্যিই প্রতিক্রিয়াগুলির সাথে কিছু আইড সম্পর্ক রাখতে চান তবে পরবর্তী অনুচ্ছেদে আমাকে অনুসরণ করুন। কেবল জেনে রাখুন এই ধারণাটি মারধর করার পথ থেকে কিছুটা দূরে; যদি আপনার অধ্যাপকের ধৈর্যের অভাব হয় তবে আপনি চূড়ান্তভাবে এই প্রতিক্রিয়ার জন্য সম্পূর্ণ কৃতিত্ব পাবেন না।

আপনি সম্ভবত এলোমেলো সিডিএফ পদ্ধতির সাথে এলোমেলো ভেরিয়েবলগুলি তৈরি করার সাথে পরিচিত। যদি তা না হয় তবে এখানে একটি রিফ্রেশার রয়েছে: যদি এর ক্রমবর্ধমান ডিস্ট্রিবিউশন ফাংশন তবে আমি থেকে প্রথম র্যান্ডম অঙ্কনগুলি গণনা করে $X$ $F_X$ $X$ $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ । এটি কীভাবে লজিস্টিক রিগ্রেশন সম্পর্কিত? ঠিক আছে, আমরা ভাবতে পারি যে আমাদের প্রতিক্রিয়ার জন্য উত্পাদনের প্রক্রিয়াটির দুটি অংশ রয়েছে; সাফল্যের সম্ভাব্যতার সাথে সংবিধান সম্পর্কিত একটি নির্দিষ্ট অংশ এবং স্থির অংশে এলোমেলো পরিবর্তনীয় শর্তসাপেক্ষের মান নির্ধারণকারী একটি এলোমেলো অংশ part নির্দিষ্ট অংশটি লজিস্টিক রিগ্রেশন এর লিঙ্ক ফাংশন দ্বারা সংজ্ঞায়িত করা হয়, অর্থাত্ । র্যান্ডম অংশ জন্য, এর সংজ্ঞায়িত করি সম্ভাব্যতা সঙ্গে একটি বের্নুলির বিতরণের জন্য সিডিএফ হতে । তারপরে আমরা প্রতিক্রিয়া ভেরিয়েবল ভাবতে পারি $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ নিম্নলিখিত তিনটি ধাপ দ্বারা উত্পাদিত হচ্ছে: $Y_i$

1.) $p_i = \text{expit}(\beta_o + \beta_1 x_i)$

2.) $q_i \sim\text{uniform(0,1)}$

3.) $Y_i = F^{-1}(q_i | p_i)$

তারপরে লজিস্টিক রিগ্রেশন-এর স্ট্যান্ডার্ড অনুমান হ'ল iid হয়। $q_i$

— ক্লিফ এবি
সূত্র

আপনি বেশ কয়েকটি ভাল বক্তব্য রেখেছেন, তবে আমি নিশ্চিত নই যে ইউনিফর্ম আইড

কথা বললে আরও বিভ্রান্তি না ঘটে। আমি বলব যে এটি স্ট্যান্ডার্ড বর্ণনার সাথে লেগে থাকা ভাল

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@ টিম: হ্যাঁ, উত্তরের দ্বিতীয় অংশটি একটি সংক্ষিপ্ত উত্তরের চেয়ে আকর্ষণীয় দিক নোট of তবে এটি দেখার জন্য এটি একটি কার্যকর উপায় হতে পারে; সর্বোপরি, এটিই মূলত আপনার কম্পিউটার কীভাবে এই মডেলগুলির ডেটা সিমুলেটেড করে!

— ক্লিফ এবি