বেয়েস রিগ্রেশন: স্ট্যান্ডার্ড রিগ্রেশন এর তুলনায় এটি কীভাবে হয়?

বায়সিয়ান রিগ্রেশন সম্পর্কে আমি কিছু প্রশ্ন পেয়েছি:

হিসাবে একটি মানক রিগ্রেশন দেওয়া হয়েছে । যদি আমি এটিকে কোনও বায়েশিয়ান রিগ্রেশনে পরিবর্তন করতে চাই তবে আমার কি এবং উভয়ের জন্য পূর্ব বিতরণ দরকার (বা এটি এভাবে কাজ করে না)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
স্ট্যান্ডার্ড রিগ্রেশন-এ এবং একক মান পাওয়ার জন্য অবশিষ্টাংশকে ছোট করার চেষ্টা করা হবে । এটি কীভাবে বেয়েস রিগ্রেশন হয়? $\beta_0$ $\beta_1$

আমি এখানে সত্যিই অনেক সংগ্রাম:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

সম্ভাব্যতা বর্তমান ডেটাসেট থেকে এসেছে (সুতরাং এটি আমার রিগ্রেশন প্যারামিটার তবে একক মান হিসাবে নয় তবে সম্ভাবনা বন্টন হিসাবে, তাই না?) পূর্ববর্তীটি পূর্বের গবেষণা থেকে আসে (আসুন আমরা বলি)। সুতরাং আমি এই সমীকরণ পেয়েছি:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

সঙ্গে আমার সম্ভাবনা বা অবর হচ্ছে (বা এই মাত্র সম্পূর্ণভাবে ভুল)? $\beta_1$

আমি কেবল বুঝতে পারি না যে কীভাবে স্ট্যান্ডার্ড রিগ্রেশনটি একটি বেয়েসে রূপান্তরিত হয়।

regression bayesian

— TinglTanglBob
সূত্র

উত্তর:

সাধারণ লিনিয়ার রিগ্রেশন মডেল

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

এর পিছনে সম্ভাব্য মডেলটির নিরিখে লেখা যেতে পারে

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

অর্থাত নির্ভরশীল পরিবর্তনশীল সাধারন বন্টনের গড় দ্বারা parametrized অনুসরণ যে একটি রৈখিক ফাংশন, দ্বারা parametrized , এবং মানক চ্যুতির দ্বারা । যদি আপনি সাধারণ ন্যূনতম স্কোয়ারগুলি ব্যবহার করে এমন মডেলটি অনুমান করেন তবে আপনার সম্ভাব্য সূত্রটি নিয়ে মাথা ঘামানোর দরকার নেই, কারণ আপনি পরামিতিগুলির সর্বোত্তম মানগুলি পূর্বাভাসিত মানগুলিতে ফিট করা মানগুলির স্কোয়ার ত্রুটিগুলি হ্রাস করে সন্ধান করছেন। অন্যদিকে, আপনি সর্বাধিক সম্ভাবনার প্রাক্কলন ব্যবহার করে এই জাতীয় মডেলটি অনুমান করতে পারেন , যেখানে আপনি সম্ভাবনা কার্যটি সর্বাধিক করে প্যারামিটারগুলির সর্বোত্তম মানগুলি সন্ধান করবেন where $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

যেখানে হল পয়েন্টগুলিতে মূল্যায়ন করা সাধারণ বিতরণের একটি ঘনত্ব ফাংশন, এবং স্ট্যান্ডার্ড বিচ্যুতি দ্বারা প্যারামেট্রাইজড । $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

বায়েসীয় পদ্ধতিতে একা সম্ভাবনা ফাংশন সর্বাধিক করার পরিবর্তে, আমরা প্যারামিটারগুলির জন্য পূর্বের বিতরণ অনুমান করব এবং বেয়েস উপপাদ ব্যবহার করব

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

সম্ভাবনা ফাংশন উপরের মতো একই, তবে পরিবর্তিত পরিবর্তনগুলি হ'ল আপনি অনুমিত প্যারামিটারগুলির জন্য পূর্ববর্তী কিছু বিতরণ ধরে নিয়েছেন এবং সেগুলি সমীকরণে অন্তর্ভুক্ত করুন $\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"কি বিতরণ?" সীমিত সীমাহীন পছন্দ থাকার কারণে এটি একটি আলাদা প্রশ্ন। জন্য পরামিতি তুমি, উদাহরণস্বরূপ কিছু দ্বারা parametrized স্বাভাবিক ডিস্ট্রিবিউশন অনুমান hyperparameters , অথবা -distribution আপনি গুরুতর মুদ্রার উলটা পিঠ, অথবা অভিন্ন বন্টন অনুমান করা যদি আপনি অনেক অনুমানের করা চাই না চান, কিন্তু আপনি অনুমান করতে চান যে প্যারামিটারগুলি একটি "প্রদত্ত পরিসরে কোনও কিছু" ইত্যাদি হতে পারে ইত্যাদি আপনাকে কিছু পূর্ব বন্টন ধরে নিতে হবে যা শূন্যের চেয়ে বড় হতে বাধ্য, কারণ মানক বিচ্যুতিটি ইতিবাচক হওয়া দরকার। এটি জন কে ক্রুশকে নীচে চিত্রিত হিসাবে মডেল গঠনের দিকে নিয়ে যেতে পারে। $\alpha,\beta$ $t$ $\sigma$

(উত্স: http://www.indiana.edu/~kruschke/BMLR/ )

সর্বাধিক সম্ভাবনার ক্ষেত্রে আপনি প্রতিটি প্যারামিটারের জন্য একক অনুকূল মানটির সন্ধান করছিলেন, বয়েসীয় উপপাদ্য প্রয়োগ করে আপনি প্যারামিটারগুলির উত্তরোত্তর বিতরণ পেয়েছেন Bay চূড়ান্ত অনুমানটি আপনার ডেটা এবং আপনার প্রিরিয়ারদের কাছ থেকে প্রাপ্ত তথ্যের উপর নির্ভর করবে , তবে আপনার ডেটাতে যত বেশি তথ্য থাকবে, তত কম প্রভাবশালী ব্যক্তিরা রয়েছেন ।

লক্ষ্য করুন যে ইউনিফর্ম প্রিয়ারগুলি ব্যবহার করার সময়, তারা স্বাভাবিককরণের ধ্রুবকগুলি বাদ দেওয়ার পরে নেয়। এটি একমাত্র সম্ভাবনা ফাংশনের সাথে বয়েস উপপাদ্যকে আনুপাতিক করে তোলে, সুতরাং উত্তরোত্তর বিতরণ সর্বাধিক সম্ভাবনা অনুমানের ঠিক একই পয়েন্টে পৌঁছে যাবে। এর পরে যা আছে, ইউনিফর্ম প্রিয়ারগুলির অধীনে অনুমানটি সাধারণ ন্যূনতম স্কোয়ারগুলি ব্যবহারের সমান হবে কারণ স্কোয়ার ত্রুটিগুলি হ্রাস করা সাধারণ সম্ভাবনা সর্বাধিক করার সাথে সম্পর্কিত । $f(\theta) \propto 1$

কিছু ক্ষেত্রে বয়েসীয় পদ্ধতির কোনও মডেল অনুমান করার জন্য আপনি সংঘবদ্ধ প্রিয়ারগুলি ব্যবহার করতে পারেন , সুতরাং উত্তরোত্তর বিতরণ সরাসরি উপলভ্য ( এখানে উদাহরণ দেখুন )। তবে বেশিরভাগ ক্ষেত্রেই উত্তরোত্তর বিতরণ সরাসরি উপলভ্য হবে না এবং আপনাকে মডেলটি অনুমান করার জন্য মার্কভ চেইন মন্টি কার্লো পদ্ধতি ব্যবহার করতে হবে ( লিনিয়ার রিগ্রেশন প্যারামিটারগুলি অনুমান করার জন্য মেট্রোপলিস-হেস্টিংস অ্যালগরিদম ব্যবহারের এই উদাহরণটি দেখুন )। অবশেষে, আপনি শুধুমাত্র পরামিতি বিন্দু অনুমান আগ্রহী, আপনি ব্যবহার করতে পারে সর্বোচ্চ আরোহী প্রাক্কলন , অর্থাত্

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

লজিস্টিক রিগ্রেশনটির আরও বিশদ বিবরণের জন্য আপনি বেয়েশিয়ার লগইট মডেলটি পরীক্ষা করতে পারবেন - স্বজ্ঞাত ব্যাখ্যা? থ্রেড।

আরও শেখার জন্য আপনি নিম্নলিখিত বইগুলি পরীক্ষা করতে পারেন:

ক্রেশকে, জে। (2014) বায়েশিয়ান ডেটা বিশ্লেষণ করছেন: আর, জেএজিএস এবং স্ট্যান সহ একটি টিউটোরিয়াল। একাডেমিক প্রেস।

গেলম্যান, এ।, কার্লিন, জেবি, স্টার্ন, এইচএস, এবং রুবিন, ডিবি (2004)। বায়েশিয়ান ডেটা বিশ্লেষণ। চ্যাপম্যান অ্যান্ড হল / সিআরসি।

— টিম
সূত্র

+1 প্রশ্নটি যেভাবে বর্ণিত হয়েছে তা বিবেচনা করে আমি সম্ভবত এই দার্শনিক পার্থক্যের উপরে আরও জোর দিয়েছি: সাধারণ ন্যূনতম স্কোয়ার এবং সর্বাধিক সম্ভাবনা অনুমানের ক্ষেত্রে, " জন্য সেরা মানগুলি কী কী (সম্ভবত পরবর্তী জন্য) $\beta_i$ এই প্রশ্নটি দিয়ে আমরা শুরু করছি ব্যবহার করুন)? " যদিও পুরো বায়েশিয়ান পদ্ধতির মধ্যে আমরা "অজানা মান সম্পর্কে কী বলতে ?" $\beta_i$ এই প্রশ্নটি দিয়ে শুরু ? এবং তারপরে পয়েন্টের প্রাক্কলন প্রয়োজন হলে সর্বাধিক কোনও পোস্টেরিয়েরি বা উত্তরোত্তর ব্যবহার করতে এগিয়ে যেতে পারেন।

— জিয়েক

+1 টি। বয়েসিয়ান এবং ওএলএস পদ্ধতির মধ্যে সম্পর্ক স্পষ্ট করার জন্য আরও একটি বিষয় উল্লেখ করতে কার্যকর হতে পারে যে ওএলএসকে পূর্বের ফ্ল্যাটের অধীনে (অন্তত আমি যতদূর বুঝতে পারি) উত্তর হিসাবে বোঝা যায়। আপনার উত্তরে যদি আপনি এটি কিছুটা ব্যাখ্যা করতে পারেন তবে দুর্দান্ত হবে।

— অ্যামিবা

@ আমেবা এটি একটি ভাল বিষয়, আমি এটি সম্পর্কে চিন্তা করব। তবে অন্যদিকে, আমি উত্তরটি বহিরাগতভাবে দীর্ঘ করতে চাই না, তাই বিশদে যাওয়ার একটি বিষয় রয়েছে।

— টিম

আমোবা এফওয়াইআই, আমি এ সম্পর্কে একটি সংক্ষিপ্ত মন্তব্য যুক্ত করেছি।

— টিম

একটি ডেটা সেট যেখানে যেখানে , একটি বয়েশিয়ান লিনিয়ার রেজিস্ট্রেশন মডেলগুলির সমস্যা নিম্নলিখিত উপায়: $D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

পূর্ববর্তী:

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ ভেক্টর হয় , তাই পূর্ববর্তী বন্টন একটি বহুচলকীয় গসিয়ান হয়; এবং হ'ল পরিচয় ম্যাট্রিক্স। $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

সম্ভাবনা:

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

আমরা ধরে নিই যে $Y_i \perp Y_j | w, i \neq j$

আপাতত আমরা বৈকল্পিক, এবং পরিবর্তে নির্ভুলতা ব্যবহার করব । আমরা ধরে নেব যে পরিচিত। $a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

পূর্ববর্তীটি

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

এবং সম্ভাবনা

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

যেখানে এবং একটি হল ম্যাট্রিক্স যেখানে আমি-তম সারি । $y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

তারপর অবর হয়

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

অনেক গণনার পরে আমরা এটি আবিষ্কার করি

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

যেখানে ( হ'ল যথার্থ ম্যাট্রিক্স) $\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

লক্ষ্য করুন যে নিয়মিত রৈখিক রিগ্রেশন এর to এর সমান , এটি কারণ গাউসের পক্ষে, গড়টি মোডের সমান। $\mu$ $w_{MAP}$

এছাড়াও, আমরা উপর কিছু বীজগণিত তৈরি করতে পারি এবং নীচের সাম্যতা পেতে পারি ( ): $\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

এবং সাথে তুলনা করুন : $w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

অতিরিক্ত পূর্বের সাথে মিলে যায়। যখন বিশেষ মামলায়, রিজ রিগ্রেশন জন্য অভিব্যক্তি অনুরূপ । রিজ রিগ্রেশন আরও সাধারণ কারণ কৌশলটি অনুচিত প্রিয়ারদের বাছাই করতে পারে (বায়েশীয় দৃষ্টিকোণে)। $\mu$ $\lambda = \frac{b}{a}$

ভবিষ্যদ্বাণীমূলক উত্তরোত্তর বিতরণের জন্য:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

এটি গণনা করা সম্ভব

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

তথ্যসূত্র: লুন এট আল। বুগস বুক

জেজিএস / স্ট্যানের মতো MCMC সরঞ্জাম ব্যবহারের জন্য ক্রুশকের ডোনিং বেয়েসিয়ান ডেটা বিশ্লেষণ চেক করুন

— jpneto
সূত্র

ধন্যবাদ jpneto। আমি অনুভব করি যে এটি একটি দুর্দান্ত উত্তর, তবে আমি গণিত জ্ঞানের অভাবের কারণে এটি এখনও বুঝতে পারি না। তবে আমি কিছু গণিত-দক্ষতা অর্জনের পরে অবশ্যই এটি আবার

— পড়ব

এটি খুব সুন্দর, তবে ধারণাটি যে নির্ভুলতাটি জানা যায় তা কিছুটা অস্বাভাবিক। বৈকল্পিকের জন্য বিপরীত গামা বিতরণ, যেমন নির্ভুলতার জন্য গামা বিতরণ অনুমান করা কি আরও সাধারণ বিষয় নয়?

— ডেল্টাভ

+1 টি। "কৌশলটি অনুচিত প্রিয়ারকে বেছে নিতে পারে বলে" রিজ রিগ্রেশন আরও সাধারণ হয় "তার উপরে আপনি আরও কিছু মন্তব্য করতে পারেন? আমি পাই না। আমি ভেবেছিলাম আরআর = গাউসিয়ান (যথাযথ) আগে ।

w

$w$

— অ্যামিবা বলেছেন

@ অ্যামিবা: গাউসিয়ান পূর্ববর্তী ডাব্লু তবে শূন্য হতে পারে যার ফলস্বরূপ একটি অনুচিত ফলস্বরূপ, এমএলই এর ফলাফল।

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

— jpneto

@ ডেলটাইভ: অবশ্যই, যখন আমাদের কোনও পরামিতি সম্পর্কে অনিশ্চয়তা থাকে আমরা সেইটিকে পূর্বের সাথে মডেল করতে পারি। জ্ঞাত নির্ভুলতার অনুমান হ'ল একটি বিশ্লেষণাত্মক সমাধান খুঁজে পাওয়া সহজ করে তোলা। সাধারণত, সেই বিশ্লেষণাত্মক সমাধানগুলি সম্ভব হয় না এবং আমাদের অবশ্যই এমসিএমসি বা কিছু বৈকল্পিক কৌশলগুলির মতো প্রায় অনুমান ব্যবহার করতে হবে।

— jpneto