ইভি অ্যালগরিদম থেকে বিভাজনে মিশ্রণ বিতরণের সাথে রূপান্তর

Question

আমি একটি মিশ্রণ মডেল যা আমি ডেটার একটি সেট দেওয়া সর্বোচ্চ সম্ভাবনা মূল্নির্ধারক খুঁজতে চান আছে এবং আংশিকভাবে পর্যবেক্ষিত তথ্য একটি সেট । আমি উভয় ই-পদক্ষেপ বাস্তবায়িত হয়েছে (প্রত্যাশা গণক দেওয়া এবং বর্তমান পরামিতি , এবং M-পদক্ষেপ), নেতিবাচক লগ-সম্ভাবনা প্রত্যাশিত দেওয়া কমান ।$x$$z$$z$$x$$\theta^k$$z$

যেহেতু আমি এটি বুঝতে পেরেছি, প্রতিটি পুনরাবৃত্তির জন্য সর্বাধিক সম্ভাবনা বৃদ্ধি পাচ্ছে, এর অর্থ হ'ল নেতিবাচক লগ-সম্ভাবনা অবশ্যই প্রতিটি পুনরাবৃত্তির জন্য হ্রাস পাবে? যাইহোক, আমি পুনরাবৃত্তি হিসাবে, অ্যালগরিদম প্রকৃতপক্ষে নেতিবাচক লগ-সম্ভাবনার হ্রাস মান উত্পাদন করে না। পরিবর্তে, এটি হ্রাস এবং বৃদ্ধি উভয়ই হতে পারে। উদাহরণস্বরূপ এটি রূপান্তর পর্যন্ত নেতিবাচক লগ-সম্ভাবনার মান ছিল:

এখানে কি আমি ভুল বুঝেছি?

এছাড়াও, সিমুলেটেড ডেটার জন্য যখন আমি প্রকৃত সুপ্ত (অরক্ষিত) ভেরিয়েবলগুলির সর্বাধিক সম্ভাবনা সম্পাদন করি, তখন আমার পুরোপুরি উপযুক্ত ফিট হয়, এতে বোঝা যায় যে কোনও প্রোগ্রামিং ত্রুটি নেই। ইএম অ্যালগরিদমের জন্য এটি প্রায়শই স্পষ্টভাবে সাবঅপটিমাল সমাধানগুলিতে রূপান্তরিত হয়, বিশেষত প্যারামিটারগুলির একটি নির্দিষ্ট উপসেটের জন্য (যেমন শ্রেণিবদ্ধ ভেরিয়েবলগুলির অনুপাত)। এটি সুপরিচিত যে অ্যালগরিদম স্থানীয় মিনিমা বা স্টেশনারি পয়েন্টগুলিতে রূপান্তর করতে পারে, সেখানে কোনও প্রচলিত অনুসন্ধানের তাত্ত্বিক বা তেমনি বৈশ্বিক ন্যূনতম (বা সর্বোচ্চ) সন্ধানের সম্ভাবনা বাড়ানোর জন্য রয়েছে । এই বিশেষ সমস্যার জন্য আমি বিশ্বাস করি যে মিসের অনেকগুলি শ্রেণিবিন্যাস রয়েছে কারণ দ্বিবিভক্ত মিশ্রণের মধ্যে দুটি বিতরণের একটির সম্ভাব্যতার সাথে মান গ্রহণ করা হয় (এটি আজীবনের মিশ্রণ যেখানে সত্যিকারের আজীবন পাওয়া যায়$T=z T_0 + (1-z)\infty$ যেখানে উভয় বিতরণের অন্তর্ভুক্ত নির্দেশ করে। সূচক অবশ্যই ডেটা সেটে সেন্সর করা আছে। $z$$z$

আমি যখন তাত্ত্বিক সমাধান (যা সর্বোত্তমের কাছাকাছি হওয়া উচিত) দিয়ে শুরু করব তার জন্য আমি একটি দ্বিতীয় চিত্র যুক্ত করেছি। তবে, যেমন দেখা যায় সম্ভাবনা এবং পরামিতিগুলি এই সমাধান থেকে স্পষ্টত নিকৃষ্টতর হিসাবে পরিবর্তিত হয়।

সম্পাদনা: পুরো ডেটাটি the যেখানে বিষয় জন্য একটি পর্যবেক্ষণের সময় , কোনও আসল ইভেন্টের সাথে সম্পর্কিত কিনা তা নির্দেশ করে অথবা যদি এটি সঠিক সেন্সর করা হয় (1 ইভেন্টটি চিহ্নিত করে এবং 0 টি ডান সেন্সারিংকে বোঝায়), হ'ল পর্যবেক্ষণের সময় (সম্ভবত 0) সূচক এবং অবশেষে হ'ল পর্যবেক্ষণটি জনসংখ্যার সাথে সম্পর্কিত (যেহেতু এর বিভাজনটি আমাদের কেবল 0 এবং 1 এর বিবেচনা করা দরকার)।$\mathbf{x_i}=(t_i,\delta_i,L_i,\tau_i,z_i)$$t_i$$i$$\delta_i$$L_i$$\tau_i$$z_i$

জন্য আমরা ঘনত্ব ফাংশন আছে , একইভাবে এটি লেজ বণ্টনের ফাংশনের সঙ্গে যুক্ত করা হয় । জন্য সুদের ঘটনা সৃষ্টি হবে না। যদিও কোন আছে এই ডিস্ট্রিবিউশন সঙ্গে যুক্ত, আমরা এটা হতে সংজ্ঞায়িত , এইভাবে এবং । এটি নিম্নলিখিত সম্পূর্ণ মিশ্রণ বিতরণও দেয়:$z=1$$f_z(t)=f(t|z=1)$$S_z(t)=S(t|z=1)$$z=0$$t$$\inf$$f(t|z=0)=0$$S(t|z=0)=1$

$f(t) = \sum_{i=0}^{1}p_if(t|z=i) = pf(t|z=1)$ এবং $S(t) = 1 - p + pS_z(t)$

আমরা সম্ভাবনার সাধারণ ফর্মটি সংজ্ঞায়িত করতে এগিয়ে যাই:

$L(\theta;\mathbf{x_i}) = \Pi_i \frac{f(t_i;\theta)^{\delta_i}S(t_i;\theta)^{1-\delta_i}}{S(L_i)^{\tau_i}}$

এখন কেবলমাত্র আংশিকভাবে পর্যবেক্ষণ করা হবে যখন , অন্যথায় এটি অজানা। পূর্ণ সম্ভাবনা হয়ে যায়$z$$\delta=1$

$L(\theta,p;\mathbf{x_i}) = \Pi_i \frac{\big((p f_z(t_i;\theta))^{z_i}\big)^{\delta_i}\big((1-p)^{(1-z_i)}(p S_z(t_i;\theta))^{z_i}\big)^{1-\delta_i}}{\big((1-p)^{(1-z_i)}(p S_z(L_i;\theta))^{z_i}\big)^{\tau_i}}$

যেখানে হ'ল আনুষঙ্গিক বিতরণের ওজন (সম্ভবত কিছু লিঙ্ক ফাংশন দ্বারা কিছু covariates এবং তাদের নিজ নিজ সহগের সাথে যুক্ত)। বেশিরভাগ সাহিত্যে এটি নিম্নলিখিত লগলিস্টিভিলিটিতে সহজতর হয়েছে$p$

$\sum \Big( z_i \ln(p) + (1-p) \ln(1-p) - \tau_i\big(z_i \ln(p) + (1-z_i)\ln(1-p)\big) + \delta_i z_i f_z(t_i;\theta) + (1-\delta_i) z_i S_z(t_i;\theta) - \tau_i S_z(L_i;\theta)\Big)$

জন্য এম-পদক্ষেপ , এই ফাংশন বড় করা হয়, যদিও 1 বৃহদায়ন পদ্ধতিতে তার সম্পূর্ণতা নয়। পরিবর্তে আমরা নই যে ।$l(\theta,p; \cdot) = l_1(\theta,\cdot) + l_2(p,\cdot)$

K: th + 1 ই-পদক্ষেপের জন্য , আমাদের অবশ্যই (আংশিক) অব্যাহত সুপ্ত পরিবর্তনশীল এর প্রত্যাশিত মানটি খুঁজে বের করতে হবে । আমরা সত্যটি ব্যবহার করি যে , তারপরে ।$z_i$$\delta=1$$z=1$

$E(z_i|\mathbf{x_i},\theta^{(k)},p^{(k)}) = \delta_i + (1-\delta_i) P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})$

এখানে আমরা$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i}) =\frac{P(\mathbf{x_i};\theta^{(k)},p^{(k)}|z_i=1)P(z_i=1;\theta^{(k)},p^{(k)})}{P(\mathbf{x_i};\theta^{(k)},p^{(k)})}$

যা আমাদের$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})=\frac{pS_z(t_i;\theta^{(k)})}{1 - p + pS_z(t_i;\theta^{(k)})}$

(এখানে নোট করুন যে , সুতরাং কোনও পর্যবেক্ষণযোগ্য ইভেন্ট নেই, সুতরাং data ডেটার সম্ভাবনাটি লেজ বিতরণ ফাংশন দ্বারা দেওয়া হয়।$\delta_i=0$$\mathbf{x_i}$

Comments

আপনি কি দয়া করে প্রথম থেকেই আমাদের সমস্যার ভেরিয়েবলগুলি এবং আপনার ই এবং এম সমীকরণগুলি লিখতে পারেন?

— আলবার্তো

অবশ্যই, আমি ই এবং এম-পদক্ষেপ সম্পর্কিত আরও বিশদ সহ প্রশ্নটি সম্পাদনা করেছি

— গুড গাই মাইক

স্পষ্ট করার জন্য, চক্রান্ত করা মানগুলি অসম্পূর্ণ ডেটার জন্য আনুমানিক মানগুলি দিয়ে পূর্ণ এমএলই হয়।

— ভাল ছেলে মাইক

কী ? আমি বুঝতে পারি না "যদিও এই বিতরণের সাথে কোনও যুক্ত নেই, আমরা এটি ইনফ হিসাবে সংজ্ঞায়িত করেছি ..."। $S_z$

— wij

ইএম অ্যালগরিদম সরাসরি প্রত্যাশিত সম্পূর্ণ ডেটা সম্ভাবনা সর্বাধিক করে তোলে তবে পর্যবেক্ষণ-উপাত্ত সম্ভাবনার বৃদ্ধির গ্যারান্টি দিতে পারে। আপনি পর্যবেক্ষণ-ডেটা সম্ভাবনা বৃদ্ধি পরীক্ষা করছেন?

— র্যান্ডেল

Answer 1

EM এর লক্ষ্য হল পর্যবেক্ষণ করা ডেটা লগ-সম্ভাবনা সর্বাধিক করা,

$$l(\theta) = \sum_i \ln \left[ \sum_{z} p(x_i, z| \theta) \right]$$

দুর্ভাগ্যক্রমে, প্রতি শ্রদ্ধার সাথে এটি অনুকূলকরণ করা কঠিন হয়ে পড়ে । পরিবর্তে, ইএম বারবার সহায়িকা ফাংশন গঠন করে এবং সর্বাধিক করে তোলে$\theta$

$$Q(\theta , \theta^t) = \mathbb{E}_{z|\theta^t} \left (\sum_i \ln p(x_i, z_i| \theta) \right)$$

যদি সর্বাধিক করে , EM গ্যারান্টি দেয়$\theta^{t+1}$$Q(\theta, \theta^t)$

$$l(\theta^{t+1}) \geq Q(\theta^{t+1}, \theta^t) \geq Q(\theta^t, \theta^t) = l(\theta^t)$$

আপনি যদি সঠিকভাবে এটি কেন জানতে চান তবে মরফির মেশিন লার্নিংয়ের বিভাগ 11.4.7 : একটি সম্ভাব্য দৃষ্টিভঙ্গি একটি ভাল ব্যাখ্যা দেয়। যদি আপনার বাস্তবায়ন এই অসমতাগুলি পূরণ করে না তবে আপনি কোথাও ভুল করেছেন a বলার মত জিনিস

আমার পুরো ফিটের খুব কাছাকাছি রয়েছে, এটি নির্দেশ করে যে কোনও প্রোগ্রামিং ত্রুটি নেই

বিপদজনক. প্রচুর অপ্টিমাইজেশন এবং শেখার অ্যালগরিদমগুলির সাথে, ভুল করা খুব সহজ তবে এখনও বেশিরভাগ সময় সঠিক-চেহারা উত্তর পাওয়া যায়। আমি অন্তর্নিহিত একটি অনুজ্ঞান হ'ল এই অ্যালগরিদমগুলি অগোছালো ডেটা নিয়ে কাজ করার উদ্দেশ্যে করা হয়েছিল, তাই এগুলিও বাগের সাথে ভালভাবে আচরণ করার জন্য অবাক হওয়ার কিছু নেই!

---

আপনার প্রশ্নের অর্ধেক অংশে,

বৈশ্বিক সর্বনিম্ন (বা সর্বাধিক) সন্ধানের সম্ভাবনা বাড়ানোর জন্য কি প্রচলিত অনুসন্ধানের তাত্পর্যপূর্ণ বা একইভাবে রয়েছে?

এলোমেলো পুনঃসূচনা সহজতম পদ্ধতির; পরবর্তী সহজতম সম্ভবত প্রাথমিক পরামিতিগুলির উপর অ্যানিলিং অনুকরণ করা হয়। আমি ডেটিমিনিস্টিক অ্যানেলিং নামে পরিচিত ইএম এর একটি বৈকল্পিক সম্পর্কেও শুনেছি , তবে আমি এটি ব্যক্তিগতভাবে ব্যবহার করি নি তাই এ সম্পর্কে আপনাকে বেশি কিছু বলতে পারে না।

Comments

সুন্দর উত্তর (+1)। এটি আরও ভাল হবে, যদি আপনি আনুষ্ঠানিক উল্লেখগুলি অন্তর্ভুক্ত করেন (বিশেষত, একটি আংশিক উদ্ধৃত উত্স "মেশিন লার্নিং: একটি সম্ভাব্য দৃষ্টিভঙ্গি") to

— আলেকসান্দ্র ব্লেক

উত্তরের জন্য আপনাকে অনেক ধন্যবাদ। আমি খুঁজে পেয়েছি যে আলগোরিদিম কোডে কোনও ত্রুটি সমাধানের পরে এখন সঠিকভাবে রূপান্তর করতে পারে তবে আমি যখন আমার কাটা তথ্যকে বাদ দিই। নাহলে তা বেঁচে যায়। আমি বিশ্বাস করি এটি কিছু ত্রুটির ফলাফল।

— গুড গাই মাইক

প্রকৃতপক্ষে, সমস্যাটি হ'ল আমি "ভিন্নধর্মী কাটছাঁটি" এর সাথে লেনদেন করি, অর্থাত্ প্রতিটি পর্যবেক্ষণের জন্য সর্বসম্মতভাবে কাটা থ্রেশহোল্ডের পরিবর্তে প্রতিটি পর্যবেক্ষণের জন্য স্বতন্ত্র ট্রান্সকেশন পয়েন্ট । আমি সাহিত্যে কখনই এই সেটিংসগুলির মুখোমুখি হয়েছি বা খুঁজে পাইনি, সুতরাং আমি এটি যাচাই করতে পারি না যে আমি এটি সঠিকভাবে সমাধান করছি। আপনি যদি কোনও সুযোগে এই সেটিংটি দেখতে পেতেন, তবে আমি সেই উল্লেখগুলি একবার দেখে নিতে চাই! $L_i$

— গুড গাই মাইক