শ্রেণিবদ্ধ লজিস্টিক রিগ্রেশন জন্য বার্নোল্লি প্যারামিটারে বিটা বিতরণ কেন ব্যবহার করবেন?

আমি বর্তমানে ক্রুশকের দুর্দান্ত "ডুয়িং বায়েসিয়ান ডেটা অ্যানালাইসিস" বইটি পড়ছি। তবে, শ্রেণিবিন্যাসিক লজিস্টিক রিগ্রেশন (অধ্যায় 20) এর অধ্যায়টি কিছুটা বিভ্রান্তিকর।

চিত্র 20.2 একটি শ্রেণিবিন্যাসিক লজিস্টিক রিগ্রেশন বর্ণনা করে যেখানে বার্নোল্লি প্যারামিটারকে সিগময়েড ফাংশনের মাধ্যমে রূপান্তরিত সহগের উপর একটি রৈখিক ফাংশন হিসাবে সংজ্ঞায়িত করা হয়েছে। অনলাইনে অন্যান্য উত্সগুলিতেও আমি দেখেছি এমন বেশিরভাগ উদাহরণে এইভাবে হায়ারারিকিকাল লজিস্টিক রিগ্রেশনটি উত্থিত হয়েছে বলে মনে হয়। উদাহরণস্বরূপ - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

তবে, ভবিষ্যদ্বাণীকারীরা নামমাত্র হয়ে গেলে, তিনি শ্রেণিবিন্যাসে একটি স্তর যুক্ত করেন - বার্নোল্লি প্যারামিটারটি এখন একটি বিটা বিতরণ (চিত্র 20.5) থেকে মু এবং কাপা দ্বারা নির্ধারিত পরামিতিগুলির সাথে আঁকা, যেখানে মিউ সহগরের লিনিয়ার ফাংশনের সিগময়েড রূপান্তর is , এবং কাপা আগে গামা ব্যবহার করে।

এটি অধ্যায় 9 এর মুদ্রা-উল্টানো উদাহরণের সাথে যুক্তিসঙ্গত এবং অভিন্ন বলে মনে হচ্ছে, তবে নামমাত্র ভবিষ্যদ্বাণীকারীদের বিটা বিতরণ যুক্ত করার সাথে কী করার আছে তা আমি দেখতে পাচ্ছি না। মেট্রিক প্রেডিকটারের ক্ষেত্রে কেউ কেন এটি করবে না এবং কেন নামমাত্র পূর্বাভাসকারীদের জন্য বিটা বিতরণ যুক্ত করা হলো?

সম্পাদনা: আমি যে মডেলগুলি উল্লেখ করছি তার স্পষ্টতা। প্রথমত, মেট্রিক প্রেডিকটার সহ একটি লজিস্টিক রিগ্রেশন মডেল (কোনও বিটা আগে নেই)। এটি শ্রেণিবদ্ধ লজিস্টিক রিগ্রেশন এর অন্যান্য উদাহরণগুলির মতো, যেমন উপরের বাগগুলির উদাহরণ:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

তারপরে নামমাত্র ভবিষ্যদ্বাণীকারীদের সাথে উদাহরণ। আমি এখানে হায়ারার্কির "নিম্ন" স্তরের ভূমিকা (বাইনোমিয়ালের পূর্বে লজিস্টিক ফলাফলকে বিটাতে অন্তর্ভুক্ত করে) এবং কেন এটি মেট্রিক উদাহরণের চেয়ে আলাদা হওয়া উচিত তা আমি বেশ বুঝতে পারি না।

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
সূত্র

উত্তর:

আপনি যে দুটি মডেলের তুলনা করেছেন তার অনেকগুলি বহিরাগত বৈশিষ্ট্য রয়েছে এবং আমি মনে করি আপনি নীচের দুটি সরলীকৃত মডেলের প্রসঙ্গে আপনার প্রশ্নটি আরও স্পষ্টভাবে পুনরায় সেট করতে পারেন:

মডেল 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

মডেল 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

আপনার প্রশ্নগুলি হ'ল: (1) বিটা বিতরণে কী ভূমিকা পালন করে; এবং সম্পর্কিত, (২) কীভাবে (যদি আদৌ) মডেল 2 মডেল 1 থেকে আলাদা?

পৃষ্ঠতলে এগুলি বেশ আলাদা মডেল হিসাবে উপস্থিত হয়, তবে বাস্তবে, উভয়ই মডেলের এর প্রান্তিক বিতরণ অভিন্নমডেল 1-এ বিতরণ Model যেখানে মডেল ২-এ এর প্রান্তিক পূর্ববর্তী বিতরণটি হ'ল: $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

সুতরাং মডেল 2 ব্যবহার করে প্রাপ্ত কোনও সুবিধা গণনাযোগ্য। মডেল 2- যোগ করার মতো শ্রেণিবদ্ধ মডেলগুলির কখনও কখনও স্যাম্পলিং পদ্ধতির দক্ষতা উন্নত করতে পারে; উদাহরণস্বরূপ, প্যারামিটারগুলির গোষ্ঠীগুলির মধ্যে শর্তসাপেক্ষ সংযোগ স্থাপনের মাধ্যমে (জ্যাক ট্যানারের উত্তর দেখুন) বা আগ্রহের পরামিতিগুলির মধ্যে পারস্পরিক সম্পর্ককে ভেঙে (গুগল "প্যারামিটার এক্সপেনশন")। $\theta_i$

— jmtroos
সূত্র

একটি বিটা বিতরণ থেকে বের্নুলির প্যারামিটার অঙ্কনের জন্য কারণ বিটা হয় অনুবন্ধী দ্বিপদ করতে। একটি সংঘবদ্ধ পূর্ব বিতরণ ব্যবহার উত্তরার সন্ধানে একটি বদ্ধ-ফর্ম সমাধান সক্ষম করে।

সম্পাদনা: স্পষ্ট করা। হয় মডেল কাজ করবে। এমনকি এমসিএমসির সাথেও, কনজুগেট প্রিয়ারগুলি রাখা এটি দরকারী কারণ এটি জেনেরিক স্যাম্পেলারগুলির চেয়ে আরও কার্যকর যে বিভিন্ন ধরণের বিতরণে বিশেষায়িত স্যাম্পলার ব্যবহারের অনুমতি দেয়। উদাহরণস্বরূপ, জ্যাগস ব্যবহারকারী ম্যানুয়াল সেকেন্ডটি দেখুন। 4.1.1 এবং সেকেন্ড 4.2।

— জ্যাক ট্যানার
সূত্র

আমার প্রশ্নে বইটি থেকে পর্যাপ্ত প্রসঙ্গ নাও থাকতে পারে, তবে এই বিশ্লেষণগুলি গীবস স্যাম্পলিংয়ের সাথে করা হয়, সুতরাং উত্তরোত্তর একটি বদ্ধ ফর্ম উপস্থাপনা প্রয়োজনীয় নয়। আমি যে উদাহরণটি যুক্ত করেছি, বার্নোল্লি প্যারামিটারটি বিটা বিতরণ হিসাবে ঠিক করা হয়নি, তবে রৈখিক ভবিষ্যদ্বাণীগুলির সিগময়েড রূপান্তর থেকে উদ্ভূত হয়, যা সাধারণত বিতরণ সহগ হয়। এইভাবেই অধ্যায়টিতে ক্রুসচেক পূর্ববর্তী উদাহরণটি (মেট্রিক প্রেডিকটার সহ) উপস্থাপন করেছেন (বার্নোল্লি প্যারামিটারটি সাধারণত বিতরণযোগ্য সহগগুলির সাথে রৈখিক ফাংশনের কেবলমাত্র সিগময়েড রূপান্তর)

— ইউজার 4733

@ ইউজার ৪73৩৩ জ্যাক ট্যানার বার্নৌলির নমুনাগুলির আগে বিটা কনজুগেট হওয়ার কথা ঠিক। এটি একটি কাকতালীয় চেয়ে বেশি মনে হয় যে এটি বেছে নেওয়া হয়েছিল। হ্যাঁ আপনি উত্তরোত্তর বিতরণ পেতে গীবস স্যাম্পলিং করছেন তবে একটি শ্রেণিবিন্যাসের মডেলটিতে একাধিক পূর্ব জড়িত রয়েছে এবং এটি এমনও হতে পারে যে আপনি হাইপারপ্যারামিটারে পূর্বের রাখছেন (পূর্ববর্তী বিতরণের পরিবারের জন্য একটি প্যারামিটার এটি একটি) আপনি যদি আগে চান তবে পূর্ববর্তী। সেই প্রসঙ্গে আপনি আগে একটি কঞ্জুগেট ব্যবহার করা সুবিধাজনক হতে পারেন

— your

আপনি কিছুটা ছোট্ট অংশ নিচ্ছেন যা কী চলছে তা বোঝার আমাদের ক্ষমতাকে ফাঁক তৈরি করে। আমাদের সাহায্য করার জন্য আপনার (

— মডেলদের

আমি উল্লেখ করছি এমন শ্রেণিবদ্ধ মডেলগুলিতে কিছু বিবরণ যুক্ত করে। আশা করি এটি সাহায্য করবে।

— user4733