আমি বহুজাতিক লজিস্টিক রিগ্রেশন করতে গ্ল্যাম অ্যালগরিদম ব্যবহার করতে পারি?

Question

আমি আমার প্রকল্পের পরিসংখ্যানগত বিশ্লেষণের জন্য স্পটফায়ার (এস ++) ব্যবহার করছি এবং একটি বৃহত ডেটা সেটের জন্য আমাকে বহু-জাতীয় লজিস্টিক রিগ্রেশন চালাতে হবে। আমি জানি সেরা অ্যালগরিদমটি ম্লগিত হত তবে দুর্ভাগ্যক্রমে এটি এস ++ এ উপলব্ধ নয়। তবে, এই প্রতিরোধের জন্য আমার কাছে গ্ল্যাম অ্যালগরিদম ব্যবহার করার বিকল্প রয়েছে। আমি এখানে দুটি বিষয় পরিষ্কার করতে চাই:

১.আমার বোঝাপড়াটি কি সঠিক যে গ্লামটি মাল্টিনোমিয়াল লজিস্টিক রিগ্রেশন চালাতে ব্যবহৃত হতে পারে?

1. পূর্ববর্তী প্রশ্নের উত্তর যদি হ্যাঁ হয় তবে গ্ল্যাম আলগোতে কোন পরামিতি ব্যবহার করা উচিত?

ধন্যবাদ,

Answer 1

হ্যাঁ, একটি পোইসন জিএলএম (লগ লিনিয়ার মডেল) দিয়ে আপনি বহুজাতিক মডেলগুলি ফিট করতে পারেন। সুতরাং বহুজাতিক লজিস্টিক বা লগ লিনিয়ার পোইসন মডেলগুলি সমতুল্য।

আপনি র্যান্ডম সংখ্যা দেখতে প্রয়োজন উপায়ে সঙ্গে পইসন র্যান্ডম ভেরিয়েবল যেমন μ আমি ঞ এবং নিম্নলিখিত নিম্নলিখিত লগ-রৈখিক মডেল উল্লেখ$y_{ij}$$μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

একটি বহুজাতিক লগাইট মডেল পেতে পরামিতিগুলি হ'ল:

প্রতিটি বহু-জাতীয় পর্যবেক্ষণের জন্য একটি প্যারামিটার , উদাহরণস্বরূপ ব্যক্তি বা গোষ্ঠী। এটি বহু-জাতীয় ডিনোমিনেটরগুলির যথাযথ প্রজননকে আশ্বাস দেয় এবং প্রকৃতপক্ষে পোইসন এবং মাল্টিনোমিয়াল মডেলের সমতুল্যতা প্রতিষ্ঠা করে। এগুলি বহুজাতিক সম্ভাবনাতে স্থির, তবে পয়সন সম্ভাবনায় এলোমেলো।$p_i$

প্রতিটি প্রতিক্রিয়া বিভাগের জন্য একটি প্যারামিটার । এইভাবে প্রতিটি প্রতিক্রিয়া বিভাগের জন্য গণনাগুলি আলাদা হতে পারে এবং মার্জিনগুলি অ-ইউনিফর্ম হতে পারে।$c_j$

আপনি যে বিষয়ে সত্যই আগ্রহী সেগুলি হল ইন্টারঅ্যাকশন শর্তাদি যা প্রতিক্রিয়া j এর লগ-প্রতিক্রিয়াগুলিতে x i এর প্রভাবগুলি উপস্থাপন করে$x_iβ_j$$x_i$$j$ ।

লগ-মতভেদ কেবল নির্ণিত হতে পারে । এটি লগের মতভেদ যা পর্যালোচনা আমি রেসপন্স ক্যাটাগরির তুলনায় প্রতিক্রিয়া বিভাগে পড়ব ।$\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$$k$

তারপর, MULTINOMIAL logit মডেল (ল্যাটিন অক্ষরে চিহ্নিত) মধ্যে পরামিতি সংশ্লিষ্ট লগ-রৈখিক মডেল পরামিতি মধ্যে পার্থক্য যেমন পাওয়া যেতে পারে, অর্থাত্ এবং$a_j = α_j-α_k$ ।$b_j = β_j-β_k$

Comments

ধন্যবাদ মোমো। এটি সত্যই সহায়ক। আমার সফ্টওয়্যারটি আমাকে জিএলএম অ্যালগরিদম চলাকালীন পরিবারকে "সম্ভাব্য" হিসাবে এবং লিঙ্কটিকে "লগ" হিসাবে বেছে নেওয়ার একটি বিকল্প সরবরাহ করে provides সুতরাং আমি মনে করি ঠিক এখানে যা প্রয়োজন।

— রাঘবেন্দ্র

Answer 2

হ্যাঁ আপনি করতে পারেন, এবং বাস্তবে এটি বহুসংখ্যক লজিস্টিক রিগ্রেশনের জন্য আর প্যাকেজ জিএলএমএনইটি হ'ল সংক্ষিপ্তভাবে। লগ-সম্ভাবনা ফাংশনটি লিখিতভাবে:

$$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$$

কোথায় পর্যবেক্ষণ উল্লেখ করে এবং গ MULTINOMIAL বিভাগ উল্লেখ করে এন আমি গ পর্যবেক্ষণ জন্য পর্যবেক্ষিত গণনা হয় আমি বিভাগ গ । পর্যবেক্ষণগুলি তাদের অনন্য covariate সংমিশ্রণ দ্বারা সংজ্ঞায়িত করা হয় - বা বিকল্পভাবে আমরা সদৃশগুলি অনুমতি দিতে পারি এবং প্রতিটি এন i সি = 1 সেট করতে পারি যাতে আমাদের বর্গীয় "বাইনারি" ডেটা থাকে (.... জানেন না বাইনারিটির বহুবস্ততা কী ... ..)। লজিস্টিক রিগ্রেশন জন্য সম্ভাব্যতা হিসাবে সংজ্ঞায়িত করা হয়:$i$$c$$n_{ic}$$i$$c$$n_{ic}=1$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$$

এটি সম্পূর্ণ র‌্যাঙ্কের প্যারামিটারাইজেশনের চেয়ে কম এবং আপনি যদি দণ্ডিত সম্ভাবনা (যেমন GLMNET) ব্যবহার করেন তবে এটি কার্যকর হতে পারে। আমরা নীতিগতভাবে পুরো বিটা ম্যাট্রিক্সে আইআরএলএস / নিউটন রাফসন) ব্যবহার করতে পারি ( β 1 , … , β সে ) , তবে আপনি অ-তির্যক ওজন ম্যাট্রিক্স দিয়ে শেষ করতে পারেন। বিকল্পভাবে আমরা "গিবস-স্টাইল" কে একটি বিভাগ ব্যতীত সমস্ত বিভাগ বিটা ঠিক করে এবং তারপরে কেবল সেই বিভাগের চেয়ে অনুকূল করে তুলতে পারি। তারপরে পরবর্তী বিভাগে এগিয়ে যান, ইত্যাদি on আপনি এটি দেখতে পারেন কারণ সম্ভাবনার ফর্ম রয়েছে$(\beta_1,\dots,\beta_{C})$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$$ $$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$$

$\beta_c$$W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$$(X^TWX)^{-1}X^TWY$

Comments

আমি আইআরএলএস কিউআর নিউটন বৈকল্পিকটি ব্যবহার করে বহু-জাতীয় লজিস্টিক রিগ্রেশন প্রয়োগ করার চেষ্টা করছি। কোডটি অন্যান্য জিএলএম মডেলগুলির জন্য কাজ করে, তবে কাজ করার জন্য ম্লগিট পেতে সক্ষম হয় নি। হবে$W$ সফটম্যাক্স ফাংশনটির জ্যাকবিয়ান হোন যা আমাকে কেবল পুনরাবৃত্তির চেয়ে একবারে চলেস্কির গণনা করতে দেয় $k$ফলাফল অনুযায়ী প্রতি সেট ওজনের প্রতিটি সেট সমাধান করার জন্য?

— জোসে বায়োয়ান সান্টিয়াগো ক্যাল্ডেরন

Given that it wouldn't be diagonal it would not scale well with large number of observations, no? If going "Gibbs-style", would subtracting the base category parameters from the $\beta$ matrix be done before or after prediction?

— José Bayoán Santiago Calderón

আপনি যখন "কলেজেস্কে একবার" বনাম "কোলেস্কি কে" কথা বলছেন তখন আপনাকে অবশ্যই খেয়াল করতে হবে যে ম্যাট্রিকগুলি বিভিন্ন মাত্রা - যদি সেখানে থাকে $p$ ভিতরে কলাম $X$ তারপরে "একবার" একটি ম্যাট্রিক্স আকারের জন্য $pk$ এবং "কে টাইমস" ম্যাট্রিক্স আকারের জন্য $p$

— probabilityislogic