কেবলমাত্র প্রান্তিক গণনা দেওয়া যৌথ বিতরণের সর্বাধিক সম্ভাবনা অনুমানকারী

যাক $p_{x,y}$ দুই শ্রেণীগত ভেরিয়েবল একটি যৌথ বন্টন হতে $X,Y$ , সঙ্গে $x,y\in\{1,\ldots,K\}$ । বলুন নমুনা এই ডিস্ট্রিবিউশন থেকে টানা হয়েছে, কিন্তু আমরা শুধু যথা জন্য প্রান্তিক গন্য দেওয়া হয়, : $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

দেওয়া for এর সর্বাধিক সম্ভাবনা অনুমানকারী ? এটা কি জানা? গণনামূলকভাবে সম্ভব? এমএল ছাড়া এই সমস্যাটির জন্য কি অন্য কোনও যুক্তিসঙ্গত পন্থা রয়েছে? $p_{x,y}$ $S_j,T_j$

— আরএস
সূত্র

মার্জিনগুলিতে যৌথ বিতরণ সম্পর্কিত তথ্য * আসলে থাকে না (প্রকৃতপক্ষে এটি কোপুলার বিষয়)।

$\:$ * বা কমপক্ষে খুব কমই - স্পষ্টতই মার্জিনগুলিতে কমপক্ষে কিছু তথ্য থাকে, যেহেতু অভ্যন্তরীণ গণনাগুলি তাদের মধ্যে পাওয়া মার্জিনকে অতিক্রম করতে পারে না you আপনার মনে কি একটি নির্দিষ্ট যৌথ বন্টন আছে? আপনি maximum-entropyট্যাগটি ব্যবহার করলেন কেন ? আপনি কি সর্বাধিক-এনট্রপি সমাধানের পরে?

— গ্লেন_বি -রিনস্টেট মনিকা

আমি কপুলার সাথে খুব বেশি পরিচিত নই। তারা কি বিভাগীয় মামলার পাশাপাশি ধরে রাখে? এর অর্থ কী হবে - যে একই মার্জিনের সাথে প্রতিটি যৌথ বিতরণে একই সম্ভাবনা থাকবে? (আমি সর্বোচ্চ-এনট্রপি ট্যাগ করেছি কারণ আমি ভেবেছিলাম এটি প্রাসঙ্গিক হতে পারে))

— আরএস

আমাদের কাছে এখনও একটি নির্দিষ্ট বিতরণীয় মডেল নেই, তাই আমরা

গণনা করার মতো অবস্থানে নেই । এখানে অসংখ্য সম্ভাবনা রয়েছে। আদেশযুক্ত শ্রেণিবদ্ধ মামলার জন্য কপুলাস বিদ্যমান (যদিও এটি অনন্য নয়) তবে কেন উত্থাপনের আমার লক্ষ্য ছিল প্রান্তিকর কেন সাধারণভাবে খুব বেশি তথ্যবহুল ছিল না তার জন্য অনুপ্রেরণা দেওয়া। শ্রেণিবদ্ধ-গণনা মামলার বিষয়ে, ফিশার মার্জিনগুলিকে যৌথ সম্পর্কে অপ্রয়োজনীয় হিসাবে বিবেচনা করেছিলেন, যেখানে ফিশার-ইরভিন সঠিক পরীক্ষা করেছিলেন। আপনি যদি সর্বোচ্চ এনট্রপি চান তবে আপনি সম্ভবত একটি সর্বাধিক এনট্রপি সমাধান পেতে পারেন, তবে আমি জানি না যে এটি সম্পর্কে খুব তথ্যপূর্ণ হবে ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Rininstate Monica

(সিটিডি) ... কাঠামো এমই বা এমএল উভয় ক্ষেত্রেই আমি মনে করি আপনার প্রথমে কোনও ধরণের মডেল দরকার, তা সে কিনা বাইভিয়ারেট মাল্টিনোমিয়াল, বাইভারিয়েট হাইপারজোমেট্রিক বা আরও কাঠামোযুক্ত কিছু। এই প্রশ্নটি দেখুন , যেখানে লেখক একটি উত্তরে একটি রেফারেন্স রাখে। এটা সাহায্য হতে পারে।

— গ্লেন_বি -রাইনস্টেট মনিকা

আমি একটি সাধারণ দ্বিবিড়ীয় বহুজাতিক বিতরণ বোঝাতে চাইছি। প্রশ্নটি সেই মামলার বিষয়ে কথা বলে যেখানে বিতরণের অঙ্কগুলি দেওয়া হয় এবং আমরা যৌথ বন্টন থেকে নমুনা দেখতে পাই। এখানে আমাদের নমুনার যোগফল রয়েছে। আমি মনে করি এমএল ক্ষেত্রে সমস্যাটি ভালভাবে সংজ্ঞায়িত হয়েছে (সমাধানটি অনন্য হতে পারে তবে আমি জানি না)।

— আরএস

উত্তর:

ডব্রা এট আল (২০০)) দ্বারা " এই জাতীয় সমস্যাটি মাল্টি-ওয়ে কন্টিনজেন্সি টেবিল উইথ ফিক্সড মার্জিনাল টটালস" পত্রিকায় অধ্যয়ন করা হয়েছিল । যাক মডেল পরামিতি বোঝাতে যাক প্রত্যেকের জন্য গন্য এর অলক্ষিত পূর্ণসংখ্যা টেবিল বোঝাতে যুগল, এবং দিন পূর্ণসংখ্যা টেবিল যার প্রান্তিক গন্য সমান সেট হতে । তাহলে প্রান্তিক গণনা পর্যবেক্ষণের সম্ভাবনা হ'ল: $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$ যেখানে মাল্টিনোমিয়াল স্যাম্পলিং বিতরণ। এটি এমএল এর সম্ভাবনা ফাংশনটি সংজ্ঞায়িত করে, তবে ছোট সমস্যা বাদে সরাসরি মূল্যায়ন অনিবার্য। তারা যে পদ্ধতির পরামর্শ দেয় তা হ'ল এমসিএমসি, যেখানে আপনি পর্যায়ক্রমে এবংupdate আপডেট করেন

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$

n

$\mathbf{n}$

θ

$\theta$ মেট্রোপলিস-হেস্টিংস গ্রহণযোগ্যতা অনুপাত অনুযায়ী একটি প্রস্তাব বিতরণ থেকে নমুনা তৈরি করে এবং পরিবর্তনটি গ্রহণ করে। এই উপর একটি আনুমানিক সর্বোচ্চ এটি অভিযোজিত হতে পারে

মন্টে কার্লো ই.এম. ব্যবহার করে।

θ

$\theta$

একটি ভিন্ন পদ্ধতির চেয়ে বেশি পরিমাণের আনুমানিক পরিবর্তন করতে বিভিন্ন পদ্ধতি ব্যবহার করা হবে । প্রান্তিক সীমাবদ্ধতার একটি ফ্যাক্টর গ্রাফ এবং অনুমান উপর যেমন এনকোড করা যেতে পারে প্রত্যাশা প্রচার ব্যবহার আউট বাহিত যেতে পারে। $\mathbf{n}$ $\theta$

এই সমস্যাটি কেন কঠিন এবং তুচ্ছ সমাধান স্বীকার করে না তা দেখতে, । টেকিং সারি অঙ্কের হিসাবে কলাম অঙ্কের হিসাবে, সেখানে গন্য এর দুটি সম্ভাব্য টেবিল আছেন: $S=(1,2), T=(2,1)$ $S$ $T$ অতএব সম্ভাবনা ফাংশন এই সমস্যার জন্য দ্য MLE হয়

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$ যা বামে টেবিলটি ধরে রাখার সাথে সম্পর্কিত। বিপরীতে হিসাব যে আপনার স্বাধীনতা অভিমানী দ্বারা পেতে হবে

যা একটি ছোট সম্ভাবনা মান আছে।

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$

— টম মিনকা
সূত্র

কোনও বিশ্লেষক সমাধান পাওয়া সম্ভব নয় কি?

— বেন কুহন

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

আমি সেখানে বিশ্লেষণাত্মক সমাধান বলে সন্দেহ করব না। আমি এই উদাহরণে একটি উদাহরণ যুক্ত করেছি।

— টম মিনকা

ধন্যবাদ। সম্ভবত এটি অসম্পূর্ণভাবে সত্য? তারপরে, মার্জিন মোটগুলিতে কন্ডিশনার হ'ল মার্জিন ডিস্ট্রিবিউশনগুলিতে কন্ডিশনার সমান (স্বাভাবিক করার পরে) এবং প্রতিটি অনাবৃত ইন্টিজার টেবিলের লগ-সম্ভাবনা তার এনট্রপির সাথে সমানুপাতিক। তখন হয়তো এইপি-র সাথে কিছু আছে?

— আরএস

@ গ্লেন_বি দ্বারা নির্দেশিত হিসাবে, এটি অপর্যাপ্তভাবে নির্দিষ্ট করা আছে। আপনি সম্ভাবনা পুরোপুরি নির্দিষ্ট না করে আপনি সর্বাধিক সম্ভাবনা ব্যবহার করতে পারবেন বলে আমি মনে করি না।

আপনি যদি স্বাধীনতা ধরে নিতে ইচ্ছুক হন, তবে সমস্যাটি বেশ সহজ (ঘটনাক্রমে, আমি মনে করি যে সমাধানটি সর্বাধিক এনট্রপি সমাধান হিসাবে পরামর্শ দেওয়া হয়েছে)। আপনি যদি নিজের সমস্যায় অতিরিক্ত কাঠামো চাপিয়ে দিতে রাজি না হন বা সক্ষম হন এবং আপনি এখনও কোষগুলির মানগুলির সাথে একরকম অনুমান চান, তবে আপনি ফ্র্যাচেট – হয়েফডিং কপুলার সীমা ব্যবহার করতে পারেন । অতিরিক্ত অনুমান ছাড়া, আমি মনে করি না যে আপনি আরও কিছু করতে পারেন।

— এফ টিসেল
সূত্র

এটির সম্ভাবনা বহুজাতিক হতে পারে। কেন যে অপর্যাপ্ত?

— আরএসএস

আমি এটি যেমন বুঝতে পারি, সম্ভাবনা হ'ল ডেটা দেওয়া পরামিতিগুলির একটি ফাংশন। এখানে, প্রতিটি কক্ষের জন্য আপনার মূল্য নেই, কেবলমাত্র প্রান্তিক, সুতরাং আপনার প্যারামিটারগুলির একটি ফাংশন নেই যা আপনি গণনা করতে পারবেন, একা সর্বোচ্চ করুন। মার্জিনের সাথে সামঞ্জস্যপূর্ণ বেশিরভাগ সেল কনফিগারেশন রয়েছে এবং প্রতিটি আলাদা আলাদা সম্ভাবনা দেয়।

— এফ টিসেল

p

$p$

p

$p$

$p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

ভুল জিনিস অনুসরণ:

$p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

পি = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), পি = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

$p_x$ $p_y$

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla এইচ (পি) = \underset{ট \in এক্স \cup ওয়াই}{Σ} λ_{ট} \nabla ছ_{ট} (পি)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

$g_k$

1 - লগ {পি}_{এক্স, Y} = λ_{এক্স} + + λ_{Y} ⟹ {পি}_{এক্স, Y} = ই^{1 - λ_{এক্স} - λ_{Y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

$\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

{পি}_{এক্স, Y} = {পি}_{এক্স} {পি}_{Y} ।

$p_{x,y} = p_xp_y.$

— বেন কুহান
সূত্র

প্রথম উদাহরণ হিসাবে: যা দেওয়া হয় তা প্রান্তিক গণনা , প্রান্তিক সম্ভাবনা নয়। আপনার বর্ণিত ক্ষেত্রে,

এর সম্ভাব্যতা

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

আপনি সম্ভাবনাগুলি ভুলভাবে গণনা করেছেন; উদাহরণস্বরূপ, আপনি দ্বিপদী সহগগুলি অন্তর্ভুক্ত করতে ভুলে গেছেন। তবে আপনি ঠিক বলেছেন যে দুটি ম্যাট্রিকই প্রান্তিক গণনাগুলির একই যৌথ বিতরণ দেয় যদিও তারা প্রান্তিক গুনের একই প্রান্তিক বিতরণ দেয়। (হায়!) আমি এ সম্পর্কে আরও চিন্তা করব।

— বেন কুহেন