শর্তসাপেক্ষে গাউসীয় বিতরণের পিছনে অন্তর্দৃষ্টি কী?


46

ধরুন যে XN2(μ,Σ) । তারপর শর্তাধীন বিতরণ X1 প্রদত্ত যে X2=x2 বহুচলকীয় স্বাভাবিকভাবে গড় সঙ্গে বিতরণ করা হয়:

E[P(X1|X2=x2)]=μ1+σ12σ22(x2μ2)

এবং ভ্যারিয়েন্স:

Var[P(X1|X2=x2)]=σ11σ122σ22

এটি উপলব্ধি করে যে আমাদের আরও তথ্য হওয়ায় বৈচিত্রটি হ্রাস পাবে। কিন্তু গড় সূত্রের পিছনে অন্তর্দৃষ্টি কী? শর্তসাপেক্ষে X1 এবং X2 ফ্যাক্টরের মধ্যে সমবায় কীভাবে বোঝায়?


2
আপনার প্রশ্নের সহজভাবে হয় 'কেন নয় শর্তাধীন বিতরণ = গড় হল μ1 '?
গুং - মনিকা পুনরায়

@ গুং: হলে এটি সত্য x2=μ2। কিন্তু কেন হয় σ11 এবং σ22 জড়িত?
eroeijr

3
প্রাকৃতিক ( "আদর্শায়িত") এককে আমরা লিখতে Xi=μ1+σiZi যেখানে σi=σii । এই পদগুলিতে শর্তসাপেক্ষ বিতরণ হ'ল সাধারনতE(Z1|Z2)=ρZ2এবংρ=σ12/(σ1σ2).সত্য যে|ρ|1কে "গড় বিপরীতমুখী" বা"গড়ের প্রতি প্রতিক্রিয়া" বলা হয়: এটির১৩০ বছর পূর্বে বিস্তৃত প্রযুক্তিগত এবং জনপ্রিয় সাহিত্য রয়েছে।
হোবার

2
বলুন, এরোইজর, এই পোস্টটি কি আপনার? (শুরুতে 'অতিথি' বাদে নামের মধ্যে আলাদা আলাদা মিল রয়েছে)) এটি যদি আপনার হয় তবে আপনার দুটি অ্যাকাউন্ট একীভূত করতে এবং আপনার যে পয়েন্টগুলি রয়েছে সেটিতে বড় বোনাস নেওয়ার কথা বলা উচিত।
Glen_b

2
@ গ্লেন_ বি এর পরামর্শ অনুসারে, আপনার যদি একাধিক (নিবন্ধভুক্ত) অ্যাকাউন্ট থাকে তবে দয়া করে stats.stackexchange.com/contact এ ফর্মটি পূরণ করুন এবং তাদের মার্জ করার অনুরোধ করুন।
chl

উত্তর:


57

সংক্ষিপ্তসার

প্রশ্নের প্রতিটি বক্তব্য উপবৃত্তের সম্পত্তি হিসাবে বোঝা যায়। শুধুমাত্র সম্পত্তি bivariate সাধারন বন্টন প্রয়োজন হয় যে বিশেষ ঘটনা এই যে কোনো রয়েছে মান এর bivariate সাধারন বন্টন যা --for এক্স এবং ওয়াই আনকোরিলেটেড - এর শর্তাধীন ভ্যারিয়েন্স ওয়াই উপর নির্ভর করে না এক্স । (এটি ঘুরে দাঁড়ায় এই সত্যের তাত্ক্ষণিক পরিণতি যে পারস্পরিক সম্পর্কের অভাব যৌথভাবে স্বাভাবিক পরিবর্তনশীলগুলির জন্য স্বাধীনতার পরিচয় দেয়))X,YXYYX

নিম্নোক্ত বিশ্লেষণটি সূক্ষ্মভাবে দেখায় যে উপবৃত্তের সম্পত্তি কী জড়িত এবং প্রাথমিক ধারণাগুলি এবং সহজতম সম্ভাব্য পাটিগণিতগুলি সহজেই মনে রাখার উদ্দেশ্যে উদ্দেশ্যে ব্যবহার করে প্রশ্নের সমস্ত সমীকরণ প্রাপ্ত করে।


বিজ্ঞপ্তিগতভাবে প্রতিসম বিতরণ

প্রশ্নের বিতরণটি বিভরিয়েট সাধারণ বিতরণের পরিবারের সদস্য। এগুলি সমস্ত স্ট্যান্ডার্ড বাইভারিয়েট নরমাল, যা দুটি অসামঞ্জস্যিত স্ট্যান্ডার্ড সাধারণ বিতরণ (এর দুটি স্থানাঙ্ক গঠন করে) বর্ণনা করে from

চিত্র 1: স্ট্যান্ডার্ড বিভারিয়েট স্বাভাবিক বিতরণ

বাম দিকটি হ'ল স্ট্যান্ডার্ড বাইভারিয়েট স্বাভাবিক ঘনত্বের একটি ত্রাণ প্লট। ডান দিকটি সিউডো -3 ডি তে একই দেখায়, সামনের অংশটি কেটে ফেলা হয়েছে।

এটি একটি বৃত্তাকার সমান্তরাল বিতরণের একটি উদাহরণ : ঘনত্ব কেন্দ্রীয় বিন্দু থেকে দূরত্বের সাথে পরিবর্তিত হয় তবে সেই বিন্দু থেকে দূরে দিকের সাথে নয়। সুতরাং, এর গ্রাফের রূপরেখাগুলি (ডানদিকে) বৃত্ত।

বেশিরভাগ অন্যান্য দ্বিখণ্ডিত সাধারণ বিতরণগুলি বৃত্তাকারভাবে প্রতিসম নয়, তবে: তাদের ক্রস-বিভাগগুলি উপবৃত্তাকার। এই উপবৃত্তগুলি অনেক বিভাজন পয়েন্ট মেঘের বৈশিষ্ট্যযুক্ত আকারের মডেল

চিত্র 2: প্লট করা হয়েছে আরেকটি দ্বিখণ্ডিত সাধারণ বিতরণ

এই সহভেদাংক ম্যাট্রিক্স সঙ্গে bivariate সাধারন বিতরণের পোর্ট্রেট এটা তোলে পারস্পরিক সম্পর্কের সহগের সঙ্গে ডেটার জন্য একটি মডেল-2/3Σ=(123231).2/3


উপবৃত্তগুলি কীভাবে তৈরি করবেন

একটি দীর্ঘবৃত্ত - এর প্রাচীনতম সংজ্ঞা অনুসারে - একটি শঙ্কু বিভাগ, যা একটি বৃত্ত যা অন্য বিমানে প্রক্ষেপণ দ্বারা বিকৃত হয়। অভিক্ষেত্রের প্রকৃতি বিবেচনা করে, যেমনটি ভিজ্যুয়াল আর্টিস্টরা করেন, আমরা এটিকে বিকৃতিগুলির ক্রমে পরিণত করতে পারি যা সহজেই বুঝতে এবং গণনা করা সহজ।

প্রথমে, সঠিকভাবে দৈর্ঘ্য না হওয়া পর্যন্ত বৃত্তটি প্রসারিত করুন (বা, প্রয়োজনে, এটি ছেঁকে নিন) উপবৃত্তের দীর্ঘ অক্ষটি কী হবে তা বরাবর:

পদক্ষেপ 1: প্রসারিত করুন

এরপরে, এই উপবৃত্তটির গৌণ অক্ষটি বরাবর সঙ্কুচিত (বা প্রসারিত) করুন:

পদক্ষেপ 2: গ্রাস

তৃতীয়ত, এটির কেন্দ্রের চারপাশে এটির চূড়ান্ত অভিযোজনে ঘোরান:

পদক্ষেপ 3: ঘোরান

শেষ অবধি, এটি পছন্দসই স্থানে স্থানান্তর করুন:

পদক্ষেপ 4: শিফট

এই সমস্ত affine রূপান্তর। (প্রকৃতপক্ষে, প্রথম তিনটি লিনিয়ার ট্রান্সফর্মেশন ; চূড়ান্ত শিফট এটিকে সংযুক্ত করে তোলে)) কারণ এফাইন ট্রান্সফর্মেশনগুলির সংমিশ্রণটি (সংজ্ঞা অনুসারে) এখনও affine, চেনাশোনা থেকে চূড়ান্ত উপবৃত্ত পর্যন্ত নেট বিকৃতি একটি affine রূপান্তর। তবে এটি কিছুটা জটিল হতে পারে:

যৌগিক রূপান্তর

উপবৃত্তের (প্রাকৃতিক) অক্ষগুলিতে কী ঘটেছিল তা লক্ষ্য করুন: শিফট এবং চেপে তৈরি করার পরে এগুলি (অবশ্যই) আবর্তিত হয়েছিল এবং অক্ষের সাথেই স্থানান্তরিত হয়েছিল। এই অক্ষগুলি আঁকানো না হলেও আমরা সহজেই দেখতে পাই , কারণ এগুলি নিজেই উপবৃত্তের প্রতিসাম্যের অক্ষ of

আমরা বিভাজনীয় সাধারণ পরিবারের মতো বিকৃত বিজ্ঞপ্তিযুক্ত প্রতিসম বিতরণগুলি বোঝার জন্য উপবৃত্তগুলি সম্পর্কে আমাদের বোঝার প্রয়োগ করতে চাই। দুর্ভাগ্যক্রমে, এই বিকৃতিগুলির সাথে একটি সমস্যা আছে : তারা এবং y অক্ষের মধ্যে পার্থক্যকে সম্মান করে না । পদক্ষেপ 3 এ ঘূর্ণন যে ধ্বংস। ভীরু এ লুক ব্যাকগ্রাউন্ড মধ্যে গ্রিডের তুল্য: এই প্রদর্শনী কি একটি গ্রিড ঘটবে (জাল 1 / 2xy1/2উভয় দিকে) যখন এটি বিকৃত হয়। প্রথম চিত্রটিতে মূল উল্লম্ব রেখার মধ্যবর্তী ব্যবধান (শক্ত দেখানো) দ্বিগুণ করা হয়েছে। দ্বিতীয় চিত্রটিতে মূল অনুভূমিক রেখার (ফাঁকা দেখানো) মধ্যবর্তী ব্যবধানটি একটি তৃতীয়াংশ দ্বারা সঙ্কুচিত হয়। তৃতীয় চিত্রটিতে গ্রিড স্পেসিংগুলি পরিবর্তন করা হয় না, তবে সমস্ত লাইন ঘোরানো হয়। চতুর্থ চিত্রটিতে তারা ডানদিকে এবং ডানে সরে যায়। চূড়ান্ত চিত্র, নেট ফলাফল দেখায়, এই প্রসারিত, সঙ্কুচিত, ঘোরানো, স্থানান্তরিত গ্রিড প্রদর্শন করে। ধ্রুব স্থানাঙ্কের মূল শক্ত লাইনগুলি আর উল্লম্ব হয় না।x

কী ধারণা --one এটা বলতে venture পারে রিগ্রেশন মূল অংশ - একটি উপায় যা বৃত্ত একটি উপবৃত্ত মধ্যে বিকৃত করা যেতে পারে যে নেই উল্লম্ব লাইন আবর্তিত ছাড়া । যেহেতু ঘূর্ণনটি অপরাধী ছিল, আসুন আমরা তাড়া করে কেটে দেখি কীভাবে কোনও ঘোরানোর জন্য উপস্থিত না হয়ে কীভাবে ঘোরানো উপবৃত্ত তৈরি করা যায় !

বর্ধিত উপবৃত্ত

এটি একটি স্কিউ রূপান্তর। এটি আসলে একবারে দুটি কাজ করে:

  • এটা সংকুচিত দিক (একটি পরিমাণ দ্বারা λ বলো)। এটি এক্স- এক্সিসকে একা ফেলে দেয়।yλx

  • (x,y)xρ(x,y)(x,y+ρx)

xy=ρxy=x|ρ|1ρ

y=x

  • ρx(1,0)(1,ρ)

  • (ρ,1)

এই বিন্দুটি কোথায় শুরু হয়েছিল?

  • x2+y2=1xρ(ρ,1ρ2)

  • (ρ,y)(ρ,λy)(ρ,λy+ρ×ρ)

(ρ,λ1ρ2+ρ2)=(ρ,1)λ=1ρ2ρ

ρ0, 3/10, 6/10,9/10,

মনের উপরে স্পষ্ট ছবির ন্যায় ছাপ

ρ


আবেদন

আমরা রিগ্রেশন করতে প্রস্তুত। রিগ্রেশন সম্পাদন করার জন্য একটি স্ট্যান্ডার্ড, মার্জিত (তবুও সহজ) পদ্ধতিটি পরিমাপের নতুন ইউনিটে প্রথমে আসল ভেরিয়েবলগুলি প্রকাশ করা হয়: আমরা তাদের মাধ্যমগুলিকে কেন্দ্র করে এবং তাদের মানক বিচ্যুতিগুলি ইউনিট হিসাবে ব্যবহার করি। এটি বিতরণের কেন্দ্রটিকে উত্সে স্থানান্তরিত করে এবং এর সমস্ত উপবৃত্তাকার রূপগুলি 45 ডিগ্রি (উপরে বা নীচে) স্লেন্ট করে।

x0x0y1ρ2ρxρxx

  • y0

  • ρxxρxy=ρx

xy=ρx

x

আমরা সহজেই আরও বলতে পারি:

  • (X,Y)Y|X(1ρ2)2=1ρ2

  • 1ρ2ρx

1x1ρ2

ρΣXYXYXY(X,Y)

ε=YρX

ε0Y0ρXρX

3 ডি প্লট শর্তযুক্ত বিতরণ এবং সর্বনিম্ন-স্কোয়ার লাইন দেখাচ্ছে

xρ=1/2

অতএব

E(XY)=E(X(ρX+ε))=ρE(X2)+E(Xε)=ρ(1)+0=ρ.

X1XεX(ε)ε0

ρXY


উপসংহার

x(X,Y)xyμxμyσxσy

  • (μx,μy)

  • {(x,ρx)},

  • ρσyρ/σx

ফলস্বরূপ রিগ্রেশন লাইনের সমীকরণ

y=σyρσx(xμx)+μy.
  • Y|Xσy2(1ρ2)Y|X(X,Y)X=(XμX)/σxY=(YμY)/σY

Y|X1

  • Σσ11=σx2, σ12=σ21=ρσxσy,σ22=σy2,Y|X

σy2(1ρ2)=σ22(1(σ12σ11σ22)2)=σ22σ122σ11.

প্রযুক্তিগত নোট

y

(1ρρ1)=AA

কোথায়

A=(10ρ1ρ2).

আরও ভালভাবে পরিচিত বর্গমূলটি হ'ল প্রাথমিকভাবে বর্ণিত (স্কিউ রূপান্তরের পরিবর্তে একটি ঘূর্ণন জড়িত); এটি একটি একক মান পচন দ্বারা উত্পাদিত এবং এটি মূল উপাদান বিশ্লেষণে (পিসিএ) একটি বিশিষ্ট ভূমিকা পালন করে:

(1ρρ1)=BB;

B=Q(ρ+1001ρ)Q

Q=(12121212)45

সুতরাং, পিসিএ এবং রিগ্রেশন মধ্যে পার্থক্য পারস্পরিক সম্পর্ক ম্যাট্রিক্সের দুটি বিশেষ বর্গ শিকড় মধ্যে পার্থক্য নেমে আসে।


1
সুন্দর ছবি এবং দুর্দান্ত বর্ণনা। আপডেটে কয়েকটি বাক্য ছিল যা অপূর্ণ ছিল (যেমন আপনি মূলত আপনি কী বলতে যাচ্ছিলেন তা জানতেন, তবে চূড়ান্ত শব্দটিতে স্থির হননি)।
কার্ডিনাল

1
@ কার্ডিনাল ধন্যবাদ আমি এটি পুনরায় পড়ব এবং এ জাতীয় জিনিসগুলির পাশাপাশি অনিবার্য টাইপগুলির সন্ধান করব। আপনি অবশ্যই লক্ষ্য করেছেন এমন অন্যান্য বিষয়গুলি উল্লেখ করার জন্য আপনি অত্যন্ত বিনয়ী, যেমন প্রকাশের কিছু ফাঁক। বৃহত্তমটি হ'ল আমি প্রকৃতপক্ষে দেখিনি যে এই উপবৃত্তগুলি 45 ডিগ্রি কোণে রয়েছে (সমানভাবে, ইউনিট বর্গাকারে খোদাই করা); আমি কেবল ধরে নিয়েছি। আমি এখনও একটি সহজ বিক্ষোভ খুঁজছি। অন্যটি হ'ল কেউ যদি ভাবতে পারেন যে স্কু রূপান্তরটি মূল প্রসারিত-স্কিজে-রোটেট-শিফ্টের চেয়ে আলাদা বিতরণ তৈরি করতে পারে - তবে এটি এটি দেখানো সহজ নয় যে এটি হয় না।
whuber

3
এটা সত্যিই আকর্ষণীয়। এটি লিখে সময় দেওয়ার জন্য ধন্যবাদ।
বিল

অ্যাপ্লিকেশনগুলির প্রথম অনুচ্ছেদে এটি লিখিত আছে: "আমরা তাদেরকে তাদের কেন্দ্র করে রাখি এবং তাদের মানক বিচ্যুতিগুলি ইউনিট হিসাবে ব্যবহার করি This এটি বিতরণের কেন্দ্রটিকে উত্সে স্থানান্তরিত করে এবং এর সমস্ত উপবৃত্তাকার সূচকে 45 ডিগ্রি বিচ্ছিন্ন করে তোলে, তবে আমি করি না ' t কীভাবে বুঝতে পারে যে কীভাবে তাদের ভেরিয়েবলগুলি কেন্দ্র করে তাদের কেন্দ্রগুলি উত্সে স্থানান্তরিত করে এবং 45 ডিগ্রিতে সারিবদ্ধ করে?
কাউশাল 28

@ যখন আপনি ইউনিট চেনাশোনা (মানকযুক্ত নমুনা সেট) দিয়ে শুরু করেন, আপনি বলেন পারস্পরিক সম্পর্ক 0, সুতরাং আমি ধারণা করি, আমরা একটি চক্র মতো পাইf(X,Y)=e12(x2+y2)f(X,Y)f(X)f(Y)

21

YX=xiXX1X20X2x1যেখানে আপনি বহু বিতরণ বিতরণ মাধ্যমে 'কাটছেন'। নীচের চিত্রটি বিবেচনা করুন:

এখানে চিত্র বর্ণনা লিখুন

X1X2X2X1μX2|X1=25μX2|X1=45

σ22ΣX2σ2σ

y^i

β^1=Cov(x,y)Var(x)
σ12/σ22μX2|X1=xiμX2μX2 x2iX1X2

আপনি যদি আরও ভেরিয়েবলের শর্ত রাখেন তবে কি হবে? আপনি কেবল গড় এবং বৈকল্পিক থেকে অতিরিক্ত পদ যুক্ত এবং বিয়োগ করবেন?

2
YXy^i=Xiβ^β^=(XTX)1XTY

গ্রাফটি তৈরি করতে আপনি কী ব্যবহার করেছেন? ম্যাথামেটিকাল?
এমপিটকাস

@ এমপিক্টাস, আমার গ্রাফ নাকি ভুবার? আমি বিশ্বাস করি যে সে ম্যাথমেটিকা, তবে আমি উপরেরটি ডব্লু / আর। তৈরি করেছি (যদিও কুরুচিপূর্ণ কোড ...)
গুং - মনিকা পুনরায় স্থাপন করুন

1
@ এমপিক্টাস, আমি কখনই আমার কোডটিকে "দুর্দান্ত" হিসাবে বর্ণনা করা উচিত তা কল্পনা করতে পারি না ... স্বাভাবিক বক্ররেখা আঁকা w / dnorm(y)। আমি কেবল আউটপুটটি 25& এ যোগ করি এবং & 45হিসাবে ব্যবহার করি x
গুং - মনিকা পুনরায়

3

X1X2σ1,2>0X2X2X1X1

X2=x2>μ2X2X1σ1,2>0X1X2X2X1

E{X1|X2=x2}=μ1+σ1,2σ2,2(x2μ2)
X2E{X1|X2=x2}>μ1

X1X2

BLP{X1|X2=x2}=μ1+σ1,2σ2,2(x2μ2)
BLP

x2μ2σ12/σ22

1
x2>μ2E(X1|X2=x2)<μ1σ1,2>0

1
"স্বজ্ঞাত" "" অ-পরিমাণগত "বোঝায় না: দুজনে এক সাথে যেতে পারেন। একটি স্বজ্ঞাত যুক্তি খুঁজে পাওয়া প্রায়শই কঠিন যে পরিমাণগত ফলাফল দেয়, তবে প্রায়শই এটি করা যায় এবং এই জাতীয় যুক্তি সন্ধানের প্রক্রিয়া সর্বদা আলোকিত হয়।
whuber

শেষ অনুচ্ছেদে পুনরায়: আমি জানতে পেরেছি যে সাধারণ বিতরণটি তেমন বিশেষ নয়: বৃত্তাকারভাবে প্রতিসম সংশ্লেষের বিতরণে সর্বাধিক রূপান্তরিত যে পরিবারগুলি তৈরি হয়েছিল তারা হ'ল বিশেষ (যার মধ্যে অনেকগুলি রয়েছে)।
whuber

@ শুভ এটি বেশ আকর্ষণীয়। আপনার কি কোনও লিঙ্ক বা উদ্ধৃতি আছে?
বিল
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.