বায়েশিয়ান লগিত মডেল - স্বজ্ঞাত ব্যাখ্যা?

আমাকে অবশ্যই স্বীকার করতে হবে যে আমি আমার ক্লাস, আন্ডারগ্রাড বা গ্রেডের কোনওটিতে আগে এই শব্দটির কথা শুনিনি।

লজিস্টিক রিগ্রেশন বায়েশিয়ান হওয়ার অর্থ কী? আমি নিয়মিত লজিস্টিক থেকে নীচের মতো বায়েশিয়ান লজিস্টিকের দিকে রূপান্তর সহ একটি ব্যাখ্যা খুঁজছি:

লিনিয়ার রিগ্রেশন মডেলটিতে এটি সমীকরণ: । $E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

লজিস্টিক রিগ্রেশন মডেলটিতে এটি সমীকরণ: । যখন y শ্রেণীবদ্ধ হয় এটি করা হয়। $\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

আমরা যা করেছি তা হ'ল কে । । $E(y)$ $\ln(\frac{E(y)}{1-E(y)})$

সুতরাং বায়েসীয় লজিস্টিক রিগ্রেশনে লজিস্টিক রিগ্রেশন মডেলটির কী হয়েছে? আমি অনুমান করছি এটি সমীকরণের সাথে করার মতো কিছু নয়।

এই বইয়ের পূর্বরূপটি সংজ্ঞায়িত বলে মনে হচ্ছে, তবে আমি সত্যিই বুঝতে পারি না। এই সমস্ত পূর্বে, সম্ভাবনা স্টাফ কি? কি ? কেউ দয়া করে বইটির অংশটি বা বায়েশিয়ান লগিট মডেলটিকে অন্য কোনওভাবে ব্যাখ্যা করতে পারেন? $\alpha$

দ্রষ্টব্য: এটি আগে জিজ্ঞাসা করা হয়েছিল তবে খুব ভাল উত্তর দেওয়া হয়নি বলে আমি মনে করি।

— BCLC
সূত্র

আমি এটি একটি উত্তরে রাখতে চাই না কারণ আমি মনে করি @ টিম এর বেশিরভাগ অংশ coveredেকে আছে। অন্যথায় দুর্দান্ত উত্তরটি থেকে নিখোঁজ হওয়া বিষয়টি হ'ল বায়েশীয় লজিস্টিক রিগ্রেশন এবং বায়েসিয়ান জেনারালাইজড লিনিয়ার মডেলগুলিতে (জিএলএম) আরও সাধারণভাবে পূর্বের বিতরণগুলি কেবল সহগের উপরই রাখা হয় না, তবে সেই সহগগুলির বৈচিত্র এবং সামঞ্জস্যের উপরেও রাখা হয়। এটি উল্লেখ করার জন্য অবিশ্বাস্যভাবে গুরুত্বপূর্ণ কারণ জিএলএমগুলিতে বায়সিয়ান পদ্ধতির অন্যতম প্রধান সুবিধা হ'ল উল্লেখ করার বৃহত্তর ট্র্যাকটেবিলিটি এবং অনেক ক্ষেত্রে সহগের সম্প্রদায়ের জন্য জটিল মডেলগুলিও ফিট করে।

— ব্রাশ ভারসাম্য

@ ব্র্যাশএকুইলিব্রিয়াম: আপনি লগইট মডেলের জন্য স্ট্যান্ডার্ড বায়েশিয়ান মডেলিংয়ের একটি সম্ভাব্য শ্রেণিবিন্যাসের প্রসারকে উল্লেখ করছেন। ইন আমাদের বই একটি জি-পূর্বে, আমরা উদাহরণস্বরূপ ব্যবহার 'র, পূর্বে যা সংশোধন করা হয়েছে সহভেদাংক ম্যাট্রিক্স covariates থেকে প্রাপ্ত করা হয় ।

β

$\beta$

X

$X$

— শি'আন

জি পূর্বে যথেষ্ট ফর্সা।

— ব্রাশ ভারসাম্য

বলেছিল, সমবায়ীদের ব্যাপারে এখনও একটা পূর্ব আছে !!!!!! আপনি যদি এটি নিয়ে আলোচনা না করেন তবে আপনি কীভাবে লজিস্টিক রিগ্রেশন সম্পূর্ণরূপে কাজ করে তা বর্ণনা করছেন না।

— ব্রাশ ভারসাম্য

উত্তর:

লজিস্টিক রিগ্রেশনকে লিনিয়ার সংমিশ্রণ হিসাবে বর্ণনা করা যেতে পারে

η = β_{0} + β_{1} X_{1} + . . . + β_{k} X_{k}

$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$

যে লিঙ্ক ফাংশন মাধ্যমে প্রেরণ করা হয় : $g$

g (E (Y)) = η

$g(E(Y)) = \eta$

যেখানে লিঙ্ক ফাংশন একটি লজিট ফাংশন

E (Y | X, β) = p = {logit}^{- 1} (η)

$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$

যেখানে একমাত্র মান নিতে এবং বিপরীত logit ফাংশন রূপান্তরগুলির সমন্বয় রৈখিক এই পরিসীমা করতে। এখানেই ক্লাসিকাল লজিস্টিক রিগ্রেশন শেষ হয়। $Y$ $\{0,1\}$ $\eta$

তবে আপনি পুনরাহ্বান যে ভেরিয়েবল যে একমাত্র মান নিতে জন্য চেয়ে হিসাবে বিবেচনা করা যেতে পারে । এই ক্ষেত্রে, লগইট ফাংশন আউটপুটটিকে "সাফল্য", অর্থাৎ শর্তযুক্ত সম্ভাবনা হিসাবে বিবেচনা করা যেতে পারে । বার্নৌলি বিতরণ এমন একটি বিতরণ যা কিছু প্যারামিটার সহ বাইনারি ফলাফলগুলি পর্যবেক্ষণের সম্ভাবনা বর্ণনা করে , তাই আমরা কে বর্ণনা করতে পারি $E(Y) = P(Y = 1)$ $\{0,1\}$ $E(Y | X,\beta)$ $P(Y = 1 | X,\beta)$ $P(Y=1|X,\beta)$ $p$ $Y$

y_{i} \sim Bernoulli (p)

$y_i \sim \text{Bernoulli}(p)$

সুতরাং লজিস্টিক রিগ্রেশন সহ আমরা কয়েকটি পরামিতি সন্ধান করি যা স্বাধীন ভেরিয়েবল সহ টোডেডার একটি রৈখিক সংমিশ্রণ তৈরি করে । ক্লাসিকাল রিগ্রেশন ইন (আমরা লিঙ্ক ফাংশনটি পরিচয় ফাংশন হিসাবে ধরে নিই) তবে মডেল যা values এর মান গ্রহণ করে তাই ফিট করার জন্য আমাদের রূপান্তর করতে হবে মধ্যে পরিসীমা। $\beta$ $X$ $\eta$ $E(Y|X,\beta) = \eta$ $Y$ $\{0,1\}$ $\eta$ $[0,1]$

এখন, পদ্ধতিতে লজিস্টিক রিগ্রেশন অনুমান করার জন্য আপনি লিনিয়ার রিগ্রেশন ( আল, ২০১২ দেখুন ) হিসাবে কিছু পরামিতি বাছাই করেছেন , তারপরে রৈখিক সংমিশ্রণকে রূপান্তর করতে লগইট ফাংশনটি ব্যবহার করুন , সুতরাং এটির আউটপুটটিকে এক হিসাবে ব্যবহার করুন বার্নোল্লি বিতরণের প্যারামিটার যা আপনার ভেরিয়েবলের বর্ণনা দেয় । সুতরাং, হ্যাঁ, আপনি আসলে সমীকরণ এবং লগইট লিঙ্ক ফাংশনটি ফ্রিকোয়েনশনবাদী মামলার মতোই ব্যবহার করেন, এবং বাকী কাজগুলি (যেমন প্রিয়ারগুলি বেছে নেওয়া) যেমন বেইশিয়ান পদ্ধতিতে লিনিয়ার রিগ্রেশন অনুমান করার মতো। $\beta_i$ $\eta$ $p$ $Y$

প্রিয়ারদের বাছাইয়ের সহজ পদ্ধতির মধ্যে রয়েছে সাধারণ বিতরণগুলি বেছে নেওয়া (তবে আপনি অন্যান্য বিতরণগুলিও ব্যবহার করতে পারেন, যেমন - বা আরও শক্তিশালী মডেলের জন্য ল্যাপ্লেস বিতরণ) এর পরামিতিগুলির জন্য এবং যা প্রিসেট বা নেওয়া হয় শ্রেণিবদ্ধ প্রেরকদের থেকে । এখন, মডেলের সংজ্ঞা থাকলে আপনি মডেলটি অনুমান করার জন্য মার্কভ চেইন মন্টি কার্লো সিমুলেশনটি সম্পাদন করতে JAGS এর মতো সফ্টওয়্যার ব্যবহার করতে পারেন । আমি সহজ লজিস্টিক মডেলের জন্য জ্যাগএস কোড পোস্ট করি নিচে ( আরও উদাহরণের জন্য এখানে দেখুন)। $t$ $\beta_i$ $\mu_i$ $\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

আপনি দেখতে পাচ্ছেন যে কোডটি সরাসরি মডেল সংজ্ঞাতে অনুবাদ করে। কি সফ্টওয়্যার করে এটা স্বাভাবিক গতকাল দেশের সর্বোচ্চ তাপমাত্রা থেকে কিছু মান স্বপক্ষে জন্য aএবং bতারপর, সেই মান ব্যবহার অনুমান করার জন্য pএবং অবশেষে সম্ভাবনা ফাংশন ব্যবহার মূল্যায়ন কিভাবে সম্ভবত আপনার ডেটা যারা পরামিতি দেওয়া হয় (এই যখন আপনি বায়েসের উপপাদ্য ব্যবহার করেন, দেখতে এখানে জন্য আরও বিশদ বিবরণ)।

বুনিয়াদি লজিস্টিক রিগ্রেশন মডেলকে হায়ারারিকিকাল মডেল ( হাইপারপ্রায়ার সহ ) ব্যবহার করে ভবিষ্যদ্বাণীকারীদের মধ্যে নির্ভরতা মডেল করতে বাড়ানো যেতে পারে । আপনি মাল্টিভারিয়েট নরমাল ডিস্ট্রিবিউশন থেকে আঁকতে পারেন যা আমাদের স্বাধীন ভেরিয়েবলের মধ্যে কোভারিয়েন্স about সম্পর্কিত তথ্য অন্তর্ভুক্ত করতে সক্ষম করে $\beta_i$ $\boldsymbol{\Sigma}$

(\begin{matrix} β_{0} \\ β_{1} \\ ⋮ \\ β_{k} \end{matrix}) \sim M V N ([\begin{matrix} μ_{0} \\ μ_{1} \\ ⋮ \\ μ_{k} \end{matrix}], [\begin{matrix} σ_{0}^{2} & σ_{0, 1} & \dots & σ_{0, k} \\ σ_{1, 0} & σ_{1}^{2} & \dots & σ_{1, k} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{k, 0} & σ_{k, 1} & \dots & σ_{k}^{2} \end{matrix}])

$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$

... তবে এটি বিশদে চলেছে, সুতরাং আসুন এখানেই থামুন।

এখানকার "বয়েসিয়ান" অংশটি প্রাইভরস বেছে নিচ্ছে, বয়েস উপপাদ্যটি ব্যবহার করছে এবং সম্ভাব্য শর্তে মডেল সংজ্ঞায়িত করছে। এর জন্য এখানে দেখুন "Bayesian মডেল" এর সংজ্ঞা এবং এখানে কিছু Bayesian পদ্ধতির উপর সাধারণ স্বজ্ঞা । আপনি যা খেয়াল করতে পারেন তা হল মডেলগুলি সংজ্ঞায়িত করা এই পদ্ধতির সাথে বেশ সোজা এবং নমনীয় flex

কুরুস্কে, জে কে, আগুইনিস, এইচ।, এবং জু, এইচ। (2012)। সময় এসেছে: সাংগঠনিক বিজ্ঞানে ডেটা বিশ্লেষণের জন্য বায়েশিয়ান পদ্ধতি। সাংগঠনিক গবেষণা পদ্ধতি, 15 (4), 722-752।

গেলম্যান, এ।, জাকুলিন, এ।, পিট্টো, জিএম, এবং সু, ওয়াই-এস। (2008)। লজিস্টিক এবং অন্যান্য রিগ্রেশন মডেলগুলির জন্য দুর্বল তথ্যযুক্ত ডিফল্ট পূর্ব বিতরণ। ফলিত পরিসংখ্যানগুলির অ্যানালস, 2 (4), 1360–1383।

— টিম
সূত্র

বৈকল্পিকগুলির জন্য আপনার প্রমাণ প্রয়োজন, কেবল সহগগুলি নয়।

— ব্রাশ ভারসাম্য

@ বিসিএলসি না, লজিস্টিক রিগ্রেশন লগিটের জন্য লিংক ফাংশন হিসাবে ব্যবহৃত হয় , যখন একটি লিনিয়ার সংমিশ্রণ , যেমন লিনিয়ার রিগ্রেশন জন্য পরিচয় ফাংশন তাই এটি জিএলএম এর কেবল একটি স্ট্যান্ডার্ড স্পেসিফিকেশন ।

g

$g$

η

$\eta$

η = β_{0} + β_{1} X_{1}

$\eta = \beta_0 + \beta_1 X_1$

g

$g$

E (Y) = η

$E(Y) = \eta$

— টিম

@ বিসিএলসি আমার উত্তরটিতে লিঙ্কগুলি পরীক্ষা করে দেখুন, তারা সাধারণভাবে বায়েশিয়ান পরিসংখ্যানের একটি ভূমিকা সরবরাহ করে। এটি একটি অনেক বিস্তৃত বিষয় যা আপনার প্রাথমিক প্রশ্নের মধ্যে উল্লেখ করা হয়েছে তবে আপনি আমার উত্তরে প্রদত্ত রেফারেন্সগুলিতে একটি সুন্দর ভূমিকা পেতে পারেন।

— টিম

@ টিম আমি সেখানে টাইপো করেছিলাম। প্রুফদের পাঠকরা পড়ার কথা। মূলত, সহগগুলি কেবল অজানা প্যারামিটার নয়। মাল্টিনোমিয়াল ডিস্ট্রিবিউশনেও একটি বৈকল্পিক কোভারিয়েন্স ম্যাট্রিক্স রয়েছে এবং সাধারণত আমরা এটি পরিচিত বলে ধরে নিই না।

— ব্রাশ ভারসাম্যহীন

"" বয়েসীয়ান "অংশটি প্রবীণদের বেছে নিয়েছে, বয়েস উপপাদ্যটি ব্যবহার করছে এবং সম্ভাবনাময় পদগুলিতে মডেল সংজ্ঞায়িত করছে।" এখানে একটি ভাল রেফারেন্স হ'ল গেলম্যান এট আল। লজিস্টিক এবং অন্য রিগ্রেশন মডেলের জন্য একটি স্বাস্থ্যহীন তথ্যপূর্ণ ডিফল্ট PRIOR বিতরণ stat.columbia.edu/~gelman/research/published/priors11.pdf

— ডাল্টন Hance

এই সমস্ত পূর্বে, সম্ভাবনা স্টাফ কি?

এটাই এটিকে বায়েশিয়ান করে তোলে। ডেটা জন্য জেনারেটাল মডেল একই; পার্থক্যটি হ'ল একটি বয়েসীয় বিশ্লেষণ আগ্রহের প্যারামিটারগুলির জন্য কিছু পূর্ব বিতরণ পছন্দ করে এবং উত্তরোত্তর বিতরণ গণনা করে বা আনুমানিক করে, যার উপর ভিত্তি করে সমস্ত অনুমান। বেয়েস বিধি দুটিটির সাথে সম্পর্কিত: উত্তরোত্তর সম্ভাব্য সময়ের চেয়ে সমানুপাতিক।

স্বজ্ঞাতভাবে, এই পূর্বে একটি বিশ্লেষক গণিতগত বিষয় বিষয় দক্ষতা বা পূর্বনির্ধারিত ফলাফল প্রকাশ করতে অনুমতি দেয়। উদাহরণস্বরূপ, আপনি যে পাঠ্যটি উল্লেখ করেছেন তা নোট করে যে পূর্ববর্তীটি একটি মাল্টিভারিয়েট স্বাভাবিক। সম্ভবত পূর্ববর্তী অধ্যয়নগুলি নির্দিষ্ট প্যারামিটারগুলির নির্দিষ্ট পরিসীমা প্রস্তাব করে যা নির্দিষ্ট পরামিতিগুলির সাথে প্রকাশ করা যায়। (নমনীয়তার সাথে দায়িত্ব আসে: একজন সন্দেহজনক শ্রোতার কাছে তাদের পূর্বের ন্যায্যতা প্রমাণ করতে সক্ষম হওয়া উচিত)) আরও বিস্তৃত মডেলগুলিতে নির্দিষ্ট প্রচ্ছন্ন পরামিতিগুলির সাথে টিউন করার জন্য কেউ ডোমেন দক্ষতা ব্যবহার করতে পারে। উদাহরণস্বরূপ, এই উত্তরে লিভারের উদাহরণটি উল্লেখ করুন । $\bf\beta$

কিছু ঘন ঘন মডেলগুলি একটি নির্দিষ্ট পূর্বের সাথে বায়েশিয়ার সমকক্ষের সাথে সম্পর্কিত হতে পারে, যদিও আমি নিশ্চিত নই যে এই ক্ষেত্রে এর সাথে মিলে যায়।

— শন ইস্টার
সূত্র

সানইস্টার, 'পূর্ব' শব্দটি কি ধরে নেওয়া বন্টনের জন্য ব্যবহৃত হয়? উদাহরণস্বরূপ, আমরা এক্স এর বা এর ধরে নিই (যদি আপনি হিসাবে বলতে চান তবে আপনি কি , , ..., পরিবর্তে বোঝাচ্ছেন ? আমি না ভাবেন যে বিতরণ আছে ...?) তবে তারা কি আবার অন্য বিতরণে ফিট করার চেষ্টা করি? 'আনুমানিক' বলতে কী বোঝ? আমার মনে হচ্ছে এটি 'ফিট' এর মতো নয়

β

$\beta$

β

$\beta$

β_{1}, β_{2}, . . ., β_{n}

$\beta_1, \beta_2, ..., \beta_n$

X_{1}

$X_1$

X_{2}

$X_2$

X_{n}

$X_n$

β

$\beta$

— বিসিএলসি

@ বিবিসিএলসি তাদের উত্তর দেওয়ার জন্য, আমি বয়েসিয়ান অনুমানের খালি প্রক্রিয়াটি শুরু করব এবং শর্তগুলি আমার হিসাবে যাব ঠিক হিসাবে সংজ্ঞায়িত করব: বেইসিয়ানরা সমস্ত আগ্রহের পরামিতিগুলিকে এলোমেলো পরিবর্তনশীল হিসাবে বিবেচনা করবে এবং তথ্যের আলোকে এই পরামিতিগুলি সম্পর্কে তাদের বিশ্বাস আপডেট করবে। পূর্বে বিতরণ ডেটা বিশ্লেষণ সামনে পরামিতি সম্পর্কে তাদের বিশ্বাস প্রকাশ; * পূর্ববর্তী বিতরণ * - বেইস বিধি অনুসারে, পূর্বের এবং সম্ভাবনার স্বাভাবিকীকৃত পণ্য prior পূর্ববর্তী এবং তথ্যের আলোকে পরামিতিগুলি সম্পর্কে অনিশ্চিত বিশ্বাসের সংক্ষিপ্তসার করে। উত্তরোত্তর গণনা করা হয় যেখানে ফিটিং ঘটে।

— শন ইস্টার 14 ই

@ বিসিএলসি এভাবে why পরামিতিগুলির বিতরণ কেন। অন্যান্য — সাধারণত সরল — বায়েশিয়ান মডেলগুলিতে, পোস্টেরিয়র ডিস্ট্রিবিউশনে একটি ফর্ম এক্সপ্রেশন থাকতে পারে। (ক বিটার পূর্বে সাথে একটি বের্নুলির দৈব চলক সালে , এর অবর একটি বিটা বন্টন, উদাহরণস্বরূপ জন্য।) কিন্তু যখন অধোদেশ বিশ্লেষণী প্রকাশ করা যাবে না, আমরা আনুমানিক তাদের সাধারণভাবে এমসিএমসি পদ্ধতি ব্যবহার করে।

β

$\beta$

p

$p$

p

$p$

— শন ইস্টার

ঠিক আছে আমি মনে করি সম্ভাবনার মতবাদে একটি সমস্যা সমাধানের দিকে একটি প্রবন্ধ পড়ার পরে আমি আপনাকে আরও ভালভাবে বুঝতে পেরেছি । ধন্যবাদ SeanEster

— BCLC

হাঁ। অনেক ক্ষেত্রে, সেই বিশ্লেষণ করে গণনা করা অসম্ভব।

P (B)

$P(B)$

— শন ইস্টার