একটি মাল্টিভারিয়েট সাধারণ বিতরণের শর্তসাপেক্ষ বিতরণগুলি ডেরাইভ করা


114

আমাদের কাছে একটি মাল্টিভারিয়েট সাধারণ ভেক্টর Y∼N(μ,Σ) । পার্টিশন বিবেচনা করুন μ এবং Y মধ্যে

μ=[μ1μ2]
Y=[y1y2]

একটি অনুরূপ পার্টিশন দিয়ে Σ মধ্যে

[Σ11Σ12Σ21Σ22]
তারপর, (y1|y2=a) , দ্বিতীয়টি দেওয়া প্রথম পার্টিশনের শর্তসাপেক্ষ বিতরণ হ'ল N(μ¯,Σ¯) অর্থ সঙ্গে
μ¯=μ1+Σ12Σ22−1(a−μ2)
এবং সহভেদাংক ম্যাট্রিক্স
Σ¯=Σ11−Σ12Σ22−1Σ21

আসলে এই ফলাফলগুলি উইকিপিডিয়ায়ও সরবরাহ করা হয়েছে, তবে কীভাবে μ¯ এবং Σ¯ কীভাবে উত্পন্ন হয় তা আমার কোনও ধারণা নেই । এই ফলাফলগুলি গুরুত্বপূর্ণ, যেহেতু এগুলি কালম্যান ফিল্টারগুলি প্রাপ্ত করার জন্য গুরুত্বপূর্ণ পরিসংখ্যান সূত্র । কেউ কি আমাকে μ¯ এবং \ ওভারলাইন \ ig সিগমা der প্রাপ্ত করার অনুক্রমের পদক্ষেপ সরবরাহ করতে পারেন Σ¯? আপনাকে অনেক ধন্যবাদ!


24
ধারণা শর্তসাপেক্ষ ঘনত্ব সংজ্ঞা ব্যবহার করা । আপনি জানেন যে যৌথ a একটি দ্বিখণ্ডিত স্বাভাবিক এবং প্রান্তিক a একটি স্বাভাবিক তবে আপনাকে কেবল মানগুলি প্রতিস্থাপন করতে হবে এবং অপ্রীতিকর বীজগণিত করতে হবে। এই নোটগুলি কিছুটা সহায়ক হতে পারে। এখানে সম্পূর্ণ প্রমাণ। f(y1|y2=a)=fY1,Y2(y1,a)fY2(a)fY1,Y2fY2

1
আপনার দ্বিতীয় লিঙ্কটি প্রশ্নের উত্তর দেয় (+1)। এটিকে উত্তর হিসাবে যুক্ত করুন না কেন?
— gui11aume

1
আমি এটি উপলব্ধি করতে পারি নি, তবে আমি মনে করি শর্তাধীন পিসিএতে আমি এই সমীকরণটি স্পষ্টভাবে ব্যবহার করছি। শর্তসাপেক্ষ পিসিএ-র রূপান্তর প্রয়োজন যা কার্যকরভাবে শর্তসাপেক্ষ covariance ম্যাট্রিক্স গণনা করছে এ এর ​​কিছু পছন্দ দেওয়া(I−A′(AA′)−1A)Σ
— জন

@ প্রলিটিনেটর - আপনার পদ্ধতির জন্য আসলে উডবারি ম্যাট্রিক্স পরিচয় এবং ব্লক-ভিত্তিক ম্যাট্রিক্স বিপরীতের জ্ঞান প্রয়োজন। এর ফলে অযথা জটিল ম্যাট্রিক্স বীজগণিত হয়।
— সম্ভাব্যতা

2
@ প্রোব্যাবিলিটিস্লোগিক আসলে ফলাফলটি আমার দেওয়া লিঙ্কটিতে প্রমাণিত হয়েছে। তবে আপনি যদি এটি অন্যান্য পদ্ধতির তুলনায় আরও জটিল মনে করেন তবে এটি সম্মানজনক। এছাড়াও, আমি আমার মন্তব্যে একটি অনুকূল সমাধান দেওয়ার চেষ্টা করছিলাম না । এছাড়াও, আমার মন্তব্য ম্যাক্রোর জবাবের আগের ছিল (যা আপনি দেখতে পাওয়ায় আমি উত্সাহিত করেছি)।

উত্তর:


111

মন্তব্যগুলিতে প্রলিনেটরের লিঙ্ক (+1) এর মতো আপনি স্পষ্টভাবে নিষ্ঠুর শক্তি দ্বারা শর্তাধীন ঘনত্ব গণনা করে এটি প্রমাণ করতে পারেন। তবে, এমন একটি উপপাদ্যও রয়েছে যা বলে যে একটি মাল্টিভারিয়েট সাধারণ বিতরণের সমস্ত শর্তযুক্ত বিতরণ স্বাভাবিক। অতএব, যা বাকি আছে তা হ'ল গড় ভেক্টর এবং কোভেরিয়েন্স ম্যাট্রিক্স গণনা করা। আমার মনে আছে আমরা কলেজের একটি টাইম সিরিজ শ্রেণিতে চতুরতার সাথে তৃতীয় ভেরিয়েবল সংজ্ঞায়িত করে এবং এর বৈশিষ্ট্যগুলি ব্যবহার করে লিংকের ব্রুট ফোর্স সলিউশন (যতক্ষণ না আপনি ম্যাট্রিক্স বীজগণিতের সাথে স্বাচ্ছন্দ্য বোধ করছেন) এর চেয়ে আরও সহজভাবে ফলাফলটি অর্জন করার মাধ্যমে এটি অর্জন করেছি। আমি স্মৃতি থেকে যাচ্ছি তবে এটি এমন কিছু ছিল:


যাক প্রথম পার্টিশন এবং হতে দ্বিতীয়। এখন যেখানে । এখন আমরা লিখতে পারিx1x2z=x1+Ax2A=−Σ12Σ22−1

cov(z,x2)=cov(x1,x2)+cov(Ax2,x2)=Σ12+Avar(x2)=Σ12−Σ12Σ22−1Σ22=0

অতএব এবং আনকোরিলেটেড ও, যেহেতু তারা যৌথভাবে স্বাভাবিক, তারা স্বাধীন । এখন, স্পষ্টভাবে , সুতরাং এটি অনুসরণ করেzx2E(z)=μ1+Aμ2

E(x1|x2)=E(z−Ax2|x2)=E(z|x2)−E(Ax2|x2)=E(z)−Ax2=μ1+A(μ2−x2)=μ1+Σ12Σ22−1(x2−μ2)

যা প্রথম অংশটি প্রমাণ করে। কোভেরিয়েন্স ম্যাট্রিক্সের জন্য, এটি নোট করুন

var(x1|x2)=var(z−Ax2|x2)=var(z|x2)+var(Ax2|x2)−Acov(z,−x2)−cov(z,−x2)A′=var(z|x2)=var(z)

এখন আমরা প্রায় সম্পন্ন করেছি:

var(x1|x2)=var(z)=var(x1+Ax2)=var(x1)+Avar(x2)A′+Acov(x1,x2)+cov(x2,x1)A′=Σ11+Σ12Σ22−1Σ22Σ22−1Σ21−2Σ12Σ22−1Σ21=Σ11+Σ12Σ22−1Σ21−2Σ12Σ22−1Σ21=Σ11−Σ12Σ22−1Σ21

যা দ্বিতীয় অংশ প্রমাণ করে।

দ্রষ্টব্য: এখানে ব্যবহৃত ম্যাট্রিক্স বীজগণিতের সাথে খুব বেশি পরিচিত নয় তাদের জন্য এটি একটি দুর্দান্ত উত্স ।

সম্পাদনা করুন: এখানে ব্যবহৃত একটি সম্পত্তি এটি ম্যাট্রিক্স কুকবুকে নেই (গুড ক্যাচ @ ফ্লাইনিপিং) কোভারিয়েন্স ম্যাট্রিক্স সম্পর্কে উইকিপিডিয়া পৃষ্ঠায় সম্পত্তি 6: এটি হল দুটি এলোমেলো ভেক্টর- , স্কেলারের ক্ষেত্রে অবশ্যই তবে মেট্রিকগুলি আলাদাভাবে সাজানো হওয়ায় ভেক্টরগুলির জন্য এরা আলাদা ইনসোফার।x,y

var(x+y)=var(x)+var(y)+cov(x,y)+cov(y,x)
cov(X,Y)=cov(Y,X)

এই উজ্জ্বল পদ্ধতির জন্য ধন্যবাদ! একটি ম্যাট্রিক্স বীজগণিত আমার পরিচিত বলে মনে হচ্ছে না, আমি খোলার সূত্রটি কোথায় খুঁজে ? আপনি যে লিঙ্কটি পাঠিয়েছেন তা আমি এটি পাইনি। var(x1+Ax2)
— উড়ন্ত শূকর

@ ফ্লাইনিংগ, আপনাকে স্বাগতম আমি বিশ্বাস করি যে এটি ম্যাট্রিক্স কুকবুকে লিখিত নয় এমন এলোমেলো ভেক্টরগুলির যোগফলের বিস্তারের অতিরিক্ত সম্পত্তির সাথে মিলিত সমীকরণগুলির ফলস্বরূপ - আমি এই উত্তরে আমার উত্তরটি যুক্ত করেছি - ধরার জন্য ধন্যবাদ যে! (291),(292)
— ম্যাক্রো

13
এটি একটি খুব ভাল উত্তর (+1), তবে পদ্ধতির ক্রম অনুসারে উন্নত হতে পারে। আমরা এই বলে শুরু করি যে আমরা সম্পূর্ণ ভেক্টরের এর একটি লিনিয়ার সংমিশ্রণটি চাই যা 2 এর সাথে স্বতন্ত্র / । এটি কারণ আমরা যার অর্থ এবং । এগুলি পরিবর্তে এবং মত প্রকাশের দিকে । এর অর্থ আমাদের নেওয়া উচিত । এখন আমাদের প্রয়োজন । যদি হয় তবে আমাদের উচিতz=Cx=C1x1+C2x2x2p(z|x2)=p(z)var(z|x2)=var(z)E(z|x2)=E(z)var(C1x1|x2)E(C1x1|x2)C1=Icov(z,x2)=Σ12+C2Σ22=0Σ22C2=−Σ12Σ22−1 ।
— সম্ভাব্যতা ব্লগ

1
@ জেকাউং - এটি প্রমাণ করছে না যে এটি এটি এই মানটিতে সেট করে , যাতে আমরা এমন একটি অভিব্যক্তি পাই যা আমরা জানতে চাইব ভেরিয়েবলগুলি ধারণ করে। C1=I
— সম্ভাব্যতাসংক্রান্ত

1
@ জেকাউং আমিও এই বিবৃতিটি বেশ বুঝতে পারি না। আমি এইভাবে বুঝতে পারি: যদি , তবে । সুতরাং এর মানটি একরকম একটি নির্বিচার স্কেল। সুতরাং আমরা সরলতার জন্য সেট । cov(z,x2)=0cov(C1−1z,x2)=C1−1cov(z,x2)=0C1C1=I
— কেন টি

6

ম্যাক্রোর উত্তরটি দুর্দান্ত, তবে এখানে একটি আরও সহজ উপায় যা আপনাকে শর্তাধীন বিতরণ জোর দিয়ে বাইরের কোনও উপপাদ্য ব্যবহার করার প্রয়োজন হয় না। এটিতে একটি ফর্মের মধ্যে মহানালোবিস দূরত্ব লেখার সাথে জড়িত রয়েছে যা কন্ডিশনার বিবৃতিটির জন্য আর্গুমেন্ট ভেরিয়েবলকে পৃথক করে এবং তারপরে সাধারণ ঘনত্বকে ফ্যাক্টরিজ করে।


শর্তসাপেক্ষ ভেক্টরের জন্য মহানালবিস দূরত্ব পুনরায় লিখন: এই উত্পন্নকরণটি একটি ম্যাট্রিক্স ইনভার্সন সূত্র ব্যবহার করে যা স্কুর পরিপূরক । বিপরীত-বৈকল্পিক ম্যাট্রিক্সটি লিখতে আমরা প্রথমে ব্লকওয়াইস ইনভার্সন সূত্রটি ব্যবহার করি:ΣS=Σ11−Σ12Σ22−1Σ21

Σ−1=[Σ11Σ12Σ21Σ22]−1=[Σ11∗Σ12∗Σ21∗Σ22∗],

কোথায়:

Σ11∗=ΣS−1 Σ12∗=−ΣS−1Σ12Σ22−1,Σ21∗=−Σ22−1Σ12ΣS−1Σ22∗=Σ22−1Σ12ΣS−1Σ12Σ22−1. 

এই সূত্রটি ব্যবহার করে আমরা এখন মহানালোবিস দূরত্বটি লিখতে পারি:

(y−μ)TΣ−1(y−μ)=[y1−μ1y2−μ2]T[Σ11∗Σ12∗Σ21∗Σ22∗][y1−μ1y2−μ2]=(y1−μ1)TΣ11∗(y1−μ1)+(y1−μ1)TΣ12∗(y2−μ2)+(y2−μ2)TΣ21∗(y1−μ1)+(y2−μ2)TΣ22∗(y2−μ2)=(y1−(μ1+Σ12Σ22−1(y2−μ2)))TΣS−1(y1−(μ1+Σ12Σ22−1(y2−μ2)))=(y1−μ∗)TΣ∗−1(y1−μ∗),

কোথায়:

μ∗≡μ1+Σ12Σ22−1(y2−μ2),Σ∗≡Σ11−Σ12Σ22−1Σ21.

নোট করুন যে এই ফলাফলটি একটি সাধারণ ফলাফল যা এলোমেলো ভেক্টরগুলির স্বাভাবিকতা অনুমান করে না। এটি মহানালোবিস দূরত্বকে নতুন করে ফ্রেমিংয়ের একটি কার্যকর উপায় দেয় যাতে এটি পচনের কেবলমাত্র একটি ভেক্টরের (অন্যটি গড় ভেক্টর এবং ভেরিয়েন্স ম্যাট্রিক্সের সাথে শোষিত) সম্মানের সাথে চতুষ্কোণ রূপ হয়।


শর্তসাপেক্ষ বিতরণ ডেরাইভিং : এখন যেহেতু আমাদের উপর মহানালবিস দূরত্বের জন্য উপরের ফর্মটি রয়েছে, বাকিটি সহজ। আমাদের আছে:

p(y1|y2,μ,Σ)∝y1p(y1,y2|μ,Σ)=N(y|μ,Σ)∝y1exp⁡(−12(y−μ)TΣ−1(y−μ))=exp⁡(−12(y1−μ∗)TΣ∗−1(y1−μ∗))∝y1N(y1|μ∗,Σ∗).

এটি প্রতিষ্ঠিত করে যে শর্তসাপেক্ষ বন্টনটিও নির্দিষ্ট শর্তাধীন গড় ভেক্টর এবং শর্তসাপেক্ষ ভেরিয়েন্স ম্যাট্রিক্সের সাথে প্রচুর পরিমাণে স্বাভাবিক হয়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.