আরএমএল-এর জন্য কি কোনও বায়েশিয়ান ব্যাখ্যা বিদ্যমান?

আরএমএল-এর একটি বেইসিয়ান ব্যাখ্যা কি পাওয়া যায়? আমার অন্তর্নিহিত হিসাবে, আরএএমএল তথাকথিত বোধগম্য বায়াস অনুমানের পদ্ধতির সাথে একটি দৃ li় উপমা বহন করে , এবং আমি অবাক হই যে যদি একরকম অ্যাসিম্পটোটিক সমতুল্যতা (কিছু উপযুক্ত প্রবক্তার অধীনে বলা হয়) প্রদর্শিত হয়েছে। উভয় গবেষণামূলক বায়েসের এবং REML মত 'আপোস' প্রাক্কলন মুখে গ্রহণ পন্থা বলে মনে হচ্ছে উত্পাত পরামিতি , উদাহরণস্বরূপ।

মূলত, আমি এই প্রশ্নটি যা চেয়েছি তা হ'ল উচ্চ-স্তরের অন্তর্দৃষ্টি যা এই ধরণের যুক্তি দেয়। অবশ্যই, কিছু কারণে এই প্রকৃতির একটি আর্গুমেন্ট যদি না পারেন, থেকে কার্যকররূপে REML জন্য পশ্চাদ্ধাবন করা, কেন এই তাই এছাড়াও স্বাগত অন্তর্দৃষ্টি প্রদান করা হবে তার জন্য একটি ব্যাখ্যা!

bayesian asymptotics reml

— ডেভিড সি নরিস
সূত্র

এই কাগজটি প্রাসঙ্গিক বলে মনে হচ্ছে: ফৌলি জে (1993)। সীমাবদ্ধ সর্বাধিক সম্ভাবনা কীভাবে উপার্জন করা যায় তা দেখানোর একটি সহজ যুক্তি। জে ডেইরি সায়। 76, 2320–2324। 10,3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/...

— djw

উত্তরোত্তর বিতরণের সাথে সম্পর্কিত অনুমানকারীদের জন্য বায়েশীয় ব্যাখ্যাগুলি কেবল বায়েশীয় বিশ্লেষণের কাঠামোর মধ্যে বিদ্যমান। সুতরাং, আরএএমএল অনুমানকারীকে কেবলমাত্র বয়েশিয়ান ব্যাখ্যা দেওয়া যেতে পারে (অর্থাত্ উত্তরোত্তর থেকে নেওয়া অনুমানকারী হিসাবে একটি ব্যাখ্যা) যদি আমরা কোনও সম্পর্কিত লগ-পোস্টেরিয়র হওয়ার জন্য আরএমএল বিশ্লেষণে সীমাবদ্ধ লগ-সম্ভাবনা গ্রহণ করি বেয়েস বিশ্লেষণ; এই ক্ষেত্রে আরএএমএল অনুমানকটি বায়সীয় তত্ত্বের সাথে সম্পর্কিত বয়েসীয় ব্যাখ্যা সহ একটি এমএপি অনুমানক হবে ।

আরএএমএল অনুমানকারীকে এমএপি অনুমানকারী হিসাবে সেট করা: আরএএমএল বিশ্লেষণে সীমাবদ্ধ লগ-সম্ভাবনা কীভাবে কোনও বেইস বিশ্লেষণে লগ-পোস্টেরিয়র হিসাবে সেট করা যায় তা দেখতে অপেক্ষাকৃত সহজ। এটি করার জন্য, আমাদের লগ-পূর্বে আরএইএমএল প্রক্রিয়া দ্বারা সরানো লগ-সম্ভাবনার অংশটির নেতিবাচক হওয়া দরকার। ধরুন আমাদের লগ-সম্ভাবনা রয়েছে যেখানে হচ্ছে অবশিষ্ট লগ-সম্ভাবনা এবং হ'ল সুদের প্যারামিটার ( আমাদের উপদ্রব পরামিতি হিসাবে)। পূর্বে সেটিং সংশ্লিষ্ট অবর দেয়: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

এটি আমাদের দেয়:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

এই ফলাফলটি আমাদের আরএএমএল অনুমানকারীকে এমএপি অনুমানকারী হিসাবে ব্যাখ্যা করতে দেয়, তাই আরএমএল অনুমানকারকের যথাযথ বায়েশিয়ান ব্যাখ্যাই হ'ল এটি অনুমানকারী যা উপরের পূর্বের অধীনে উত্তর ঘনত্বকে সর্বাধিক করে তোলে ।

আরইএমএল অনুমানকারীকে বায়েশিয়ান ব্যাখ্যা দেওয়ার পদ্ধতির চিত্র তুলে ধরে আমরা এখন লক্ষ করেছি যে এই পদ্ধতির সাথে কিছু বড় সমস্যা রয়েছে। একটি সমস্যা হ'ল লগ-সম্ভাবনা উপাদান ব্যবহার করে তৈরি করা হয় যা ডেটার উপর নির্ভর করে। সুতরাং, এই ব্যাখ্যাটি অর্জনের জন্য প্রয়োজনীয় "পূর্ব" কোনও বাস্তব পূর্বের নয়, এমন একটি ক্রিয়াকলাপের অর্থে যা ডেটা দেখার আগে গঠন করা যেতে পারে। আরেকটি সমস্যা হ'ল পূর্বেরটি প্রায়শই অনুচিত (যেমন, এটি একটিতে সংহত হয় না) এবং প্যারামিটারের মানগুলি চরম হয়ে যাওয়ার সাথে সাথে এটি ওজনে বাড়তে পারে। (আমরা নীচে এর উদাহরণ দেখাব।) $\ell_*(\theta, \nu)$

এই সমস্যাগুলির ভিত্তিতে, কেউ যুক্তি দিতে পারে যে আরইএমএল অনুমানের জন্য কোনও যুক্তিসঙ্গত বায়েশিয়ান ব্যাখ্যা নেই । বিকল্পভাবে, কেউ তর্ক করতে পারে যে আরইএমএল অনুমানক এখনও উপরের বায়েশিয়ান ব্যাখ্যাকে বজায় রাখে, একটি "পূর্ব" এর অধীনে সর্বাধিক পোস্টেরিয়েরি অনুমানক যা যথাযথভাবে নির্দিষ্ট আকারে পর্যবেক্ষণ করা ডেটার সাথে একত্রিত করতে হবে এবং এটি অত্যন্ত অনুচিত হতে পারে।

সাধারণ ডেটা সহ চিত্র: আরএমএল অনুমানের সর্বোত্তম উদাহরণটি হ'ল সাধারণ ডেটা যেখানে আপনি নির্ভুলতায় আগ্রহী এবং গড় একটি উপদ্রব পরামিতি। এই ক্ষেত্রে আপনার লগ-সম্ভাবনা ফাংশন রয়েছে: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

আরএমএল-তে আমরা এই লগ-সম্ভাবনাকে দুটি উপাদানগুলিতে বিভক্ত করি:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

আমরা যথাযথ প্যারামিটারের জন্য আরএমএল অনুমানকটি বেঁচে থাকার সম্ভাবনা সর্বাধিক করেই পাই, যা বৈকল্পিকতার জন্য একটি পক্ষপাতহীন অনুমানকারী দেয়:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

এই ক্ষেত্রে, আরএএমএল অনুমানক "পূর্ববর্তী" ঘনত্বের জন্য কোনও এমএপি অনুমানের সাথে মিল রাখবে:

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

আপনি দেখতে পাচ্ছেন, এই "পূর্ব" প্রকৃতপক্ষে পর্যবেক্ষণ করা ডেটা মানগুলির উপর নির্ভর করে, সুতরাং তথ্যটি দেখার আগে এটি প্রকৃতপক্ষে গঠিত হতে পারে না। তদুপরি, আমরা দেখতে পাচ্ছি যে এটি স্পষ্টতই একটি "অনুচিত" যা পূর্বে এবং এর চূড়ান্ত মানকে আরও বেশি করে ওজন দেয় । (প্রকৃতপক্ষে, এটি পূর্বেরটি বেশ ভালো kers প্রাক্কলনকারী যা পূর্বের অধীনে উত্তোলন সর্বাধিক করে তোলে। $\theta$ $\nu$

— বেন - মনিকা পুনরায় স্থাপন করুন
সূত্র

কী অপরিসীম সাফ উত্তর! আমি মনে করি ফলস্বরূপ আমি আরএএমএলকে আরও ভালভাবে বুঝতে পেরেছি, যা অনেকাংশেই আমার মূল লক্ষ্য ছিল। আপনার যুক্তি খোলার ক্ষেত্রে আপনার ব্যবহারটি শনাক্তকরণটি মূলত শনাক্তকরণের জন্য, তারপরে আগে 'সমাধান' করার জন্য। তারপরে আপনি সেই পূর্বে ধ্বংস করতে এগিয়ে যান, যা আমার কাছে REML এর বিপরীতে পরিচালিত সমালোচনার (বায়েশীয় দৃষ্টিকোণ থেকে) লাগে। সুন্দর করে!

— ডেভিড সি নরিস

হ্যাঁ, এটিই আমি ব্যবহার করি। উপমা অনুসারে, আমরা সাধারণত এমএলইকে একই পদ্ধতিতে বায়েশিয়ান ব্যাখ্যা দিয়ে থাকি --- অর্থাত্, নির্ধারণ করে যে এমএলই এমএপিটি আগে একটি ইউনিফর্মের অধীনে এমএপি is সুতরাং সাধারণভাবে, যখন আমরা কোনও ফাংশন সর্বাধিকীকরণের মাধ্যমে গঠিত একটি ধ্রুপদী অনুমানের বায়সীয় অ্যানালগটি খুঁজতে চাই, তখন আমরা কেবল সেই ফাংশনটি উত্তরোত্তর স্থির করে এবং তারপরে পূর্বের জন্য সমাধান করি। এটি যদি আগে থেকে বোধগম্য হয় তবে আমাদের একটি ভাল বায়েশিয়ান ব্যাখ্যা রয়েছে; যদি পূর্বেরটি পাগল হয় (আরএএমএল এর মতো) তবে আমাদের পক্ষে একটি ভাল যুক্তি রয়েছে যে কোনও ভাল বায়েশিয়ান ব্যাখ্যা নেই।

— বেন - মনিকা পুনরায় ইনস্টল করুন