নেস্টেড ভের-কোভার মডেলগুলির মধ্যে বেছে নেওয়ার জন্য কেন কাউকে আরএমএল (এমএল পরিবর্তে) ব্যবহার করতে হবে?

লিনিয়ার মিশ্রিত মডেলগুলির এলোমেলো প্রভাব সম্পর্কে মডেল নির্বাচনের বিভিন্ন বিবরণগুলি আরএএমএল ব্যবহারের নির্দেশ দেয়। আমি কিছু স্তরে আরএমএল এবং এমএল এর মধ্যে পার্থক্য জানি, তবে কেন এমএল পক্ষপাতদুষ্ট তাই কেন আরএমএল ব্যবহার করা উচিত তা আমি বুঝতে পারি না। উদাহরণস্বরূপ, এমএল ব্যবহার করে একটি সাধারণ বিতরণ মডেলের ভেরিয়েন্স প্যারামিটারে এলআরটি পরিচালনা করা কি ভুল (নীচের কোডটি দেখুন)? মডেল নির্বাচনের ক্ষেত্রে এমএল হওয়ার চেয়ে কেন পক্ষপাতহীন হওয়া বেশি জরুরি তা আমি বুঝতে পারি না। আমি মনে করি চূড়ান্ত উত্তরটি "হওয়া উচিত কারণ মডেল নির্বাচন এমএল এর চেয়ে আরএমএল-এর সাথে আরও ভাল কাজ করে" তবে আমি এর চেয়ে আরও কিছুটা জানতে চাই। আমি এলআরটি এবং এআইসির ডেরিভেশনগুলি পড়িনি (এগুলি পুরোপুরি বুঝতে আমি যথেষ্ট ভাল নই), তবে যদি আরএমএল স্পষ্টভাবে ডেরিভেজে ব্যবহার করা হয় তবে কেবল এটি জেনে রাখা সত্য যে যথেষ্ট হবে (যেমন,

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

— টাল
সূত্র

আরএমএল এবং এআইসি সম্পর্কে আপনার এই প্রশ্নটির দিকে নজর দেওয়া উচিত ।

— এলভিস

উত্তর:

খুব সংক্ষিপ্ত উত্তর: আরএমএল একটি এমএল, সুতরাং আরএমএল ভিত্তিক পরীক্ষা যাই হোক না কেন সঠিক is আরএমএল সহ ভেরিয়েন্স প্যারামিটারগুলির অনুমান যেমন আরও ভাল, এটি ব্যবহার করা স্বাভাবিক।

আরএমএল কেন একটি এমএল? উদাহরণস্বরূপ বিবেচনা করুন , সহ একটি মডেল , এবং স্থির প্রভাবগুলির ভেক্টর, এলোমেলো প্রভাবগুলির ভেক্টর এবং

Y = X β + Z u + e

$Y = X\beta + Zu + e \def\R{\mathbb{R}}$

X \in R^{n \times p}

$X\in\R^{n\times p}$

Z \in R^{n \times q}

$Z\in\R^{n\times q}$

β \in R^{p}

$\beta \in \R^p$

u \sim N (0, τ I_{q})

$u \sim \mathcal N(0, \tau I_q)$

e \sim N (0, σ^{2} I_{n})

$e \sim \mathcal N(0, \sigma^2 I_n)$ । নির্দিষ্ট প্রভাবগুলি "অপসারণ" এর বিপরীতে

বিবেচনা করে সীমাবদ্ধ সম্ভাবনা পাওয়া যায় । আরও সুনির্দিষ্টভাবে বলা যাক,

যেমন

এবং

(অর্থাৎ,

এর কলামগুলি ভেক্টর স্পেসের অরথনাল ভিত্তিক

এর কলাম দ্বারা উত্পন্ন স্থান ); তারপরে

n - p

$n-p$

C \in R^{(n - p) \times n}

$C \in \R^{(n-p)\times n}$

C X = 0

$CX = 0$

C C^{'} = I_{n - p}

$CC' = I_{n-p}$

C^{'}

$C'$

X

$X$

সঙ্গে

, এবং সম্ভাবনা

দেওয়া

বিধিনিষেধযুক্ত সম্ভাবনা নেই।

C Y = C Z u + ϵ

$CY = CZ u + \epsilon$

ϵ \sim N (0, σ^{2} I_{n - p})

$\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$

τ, σ^{2}

$\tau, \sigma^2$

C Y

$CY$

— এলভিস
সূত্র

চমৎকার উত্তর (+1), আমি কি ম্যাট্রিক্স

গড় হিসাবে মডেল উপর নির্ভরশীল বলা সঠিক ? সুতরাং আপনি কেবল একই

ম্যাট্রিক্সের জন্য আরএমএল অনুমানের তুলনা করতে পারেন ?

C

$C$

C

$C$

হ্যাঁ,

উপর নির্ভর করে (আমি এটি পরিষ্কার করার জন্য এক মিনিটের মধ্যে উত্তরটি সম্পাদনা করব), সুতরাং আপনার নেস্টেড মডেলগুলির স্থির প্রভাবগুলির সাথে একই পরিবর্তনশীল হওয়া দরকার have

C

$C$

X

$X$

— এলভিস

REML হয় না একটি এমএল! এমএল স্বতন্ত্র একটি প্রদত্ত সম্ভাব্যতা মডেল জন্য সংজ্ঞায়িত করা হয় কিন্তু REML নির্দিষ্ট প্রভাব একখান উপর নির্ভরশীল। উদাহরণস্বরূপ ডগ বেটসের এই মন্তব্যটি দেখুন (পাশাপাশি আর-সিগ-মিশ্র-মডেলগুলিতে অনেক historicalতিহাসিক মন্তব্য )।

— লিভিয়াস

@ লিভিয়াস আমি মনে করি যে আমার উত্তরটি সীমাবদ্ধ সম্ভাবনা কীভাবে তৈরি হয় তা পরিষ্কারভাবে বলেছে states এটা তোলে হয় একটি সম্ভাবনা, এটা ঠিক সম্ভাবনা পরিলক্ষিত দেওয়া নয়

মডেল প্রথম প্রদর্শিত সমীকরণ লেখা, কিন্তু অভিক্ষিপ্ত ভেক্টর দেওয়া

মডেল দ্বিতীয় লেখা প্রদর্শিত সমীকরণ। আরএমএল হ'ল এই সম্ভাবনা থেকে প্রাপ্ত এমএল।

Y

$Y$

C Y

$CY$

— এলভিস

আমি মনে করি যে এটি ইস্যুতে ডিবেটসের প্রতিবাদের মূল বিষয়: এটি একটি ভিন্ন মডেল, এবং এটি এমন একটি মডেল যার তুলনা করা কঠিন কারণ মডেল এবং প্যারামিটারাইজেশন একে অপরের সাথে জড়িত। সুতরাং আপনি কম্পিউটিং করছি না আপনার মূল মডেল জন্য এমএল কিন্তু এমএল জন্য একটি ভিন্ন মডেল আপনার মূল মডেল একটি নির্দিষ্ট একখান থেকে উদ্ভূত। সুতরাং নেস্টেড ফিক্সড-এফেক্টস স্ট্রাকচার সহ আরআইএমএল-লাগানো মডেলগুলি আর নেস্টেড মডেল নয় (যেমন আপনি উপরে উল্লেখ করেছেন)। তবে এমএল-লাগানো মডেলগুলি এখনও বাসাযুক্ত, কারণ আপনি নির্দিষ্ট মডেলটিতে সম্ভাবনা সর্বাধিক বাড়িয়ে তুলছেন।

— লিভিয়াস

সম্ভাবনা অনুপাতের পরীক্ষাগুলি পরিসংখ্যান অনুমানের পরীক্ষা যা দুটি সম্ভাবনার অনুপাতের উপর ভিত্তি করে। তাদের বৈশিষ্ট্যগুলি সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) সাথে লিঙ্কযুক্ত। (উদাহরণস্বরূপ সাধারণ লোকের দিক থেকে সর্বাধিক সম্ভাবনা অনুমান (এমএলই) )।

আপনার যদি (প্রশ্ন দেখুন) আপনাকে দুই নেস্টেড Var-COVAR মডেলের মধ্যে '' পছন্দ করে 'চাই, আসুন আপনি একটি মডেল যেখানে Var-COVAR হয় মধ্যে নির্বাচন করতে চান বলে এবং একটি মডেল যেখানে Var-COVAR হয় যেখানে দ্বিতীয়টি (সাধারণ মডেল) হ'ল প্রথমটির (সাধারণ একটি) একটি বিশেষ কেস। $\Sigma_g$ $\Sigma_s$

পরীক্ষা সম্ভাবনা অনুপাত উপর ভিত্তি করে তৈরি । কোথায় এবং হয় সর্বাধিক সম্ভাবনা অনুমানকারী। $LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$ $\hat{\Sigma}_s$ $\hat{\Sigma}_g$

পরিসংখ্যান হ'ল অ্যাসেম্পোটোটিকালি (!) । $LR$ $\chi^2$

সর্বাধিক সম্ভাবনার অনুমানকারীগুলি সুসংগত হিসাবে পরিচিত, তবে অনেক ক্ষেত্রে তারা পক্ষপাতদুষ্ট। এই ভ্যারিয়েন্স MLE estimators ক্ষেত্রে দেখা যায় এবং , এটা দেখায় যে তারা পক্ষপাতমূলক হয় হতে পারে। এর কারণ এগুলি ডেটা থেকে প্রাপ্ত একটি অর্থ ব্যবহার করে গণনা করা হয়, যেমন এই 'আনুমানিক গড়' এর চারপাশে ছড়িয়ে পড়াটি সত্যিকারের গড়ের চারপাশের চেয়ে ছোট হয় (উদাহরণস্বরূপ স্ট্যান্ডার্ড বিচ্যুতির গণনা করার সময় দ্বারা বিভক্ত করার স্বজ্ঞাত ব্যাখ্যা ? ) $\hat{\Sigma}_s$ $\hat{\Sigma}_g$ $n-1$

পরিসংখ্যাত উপরে বৃহৎ নমুনা এ, এই মাত্র যে, বৃহৎ নমুনা জন্যই এবং তাদের আসল মান মিলিত (MLE সামঞ্জস্যপূর্ণ হয়)। (দ্রষ্টব্য: উপরের লিঙ্কে, খুব বড় নমুনাগুলির জন্য, এন বা বাই দ্বারা ভাগ করা (এন -1) কোনও পার্থক্য করবে না) $LR$ $\chi^2$ $\hat{\Sigma}_s$ $\hat{\Sigma}_g$

ছোট নমুনার জন্য, MLE আনুমানিক এবং পক্ষপাতমূলক হবে এবং সেইজন্য বিতরণের হবে পথভ্রষ্ট থেকে , যখন REML অনুমান পক্ষপাতিত্বহীন অনুমান দেব এবং , তাই যদি আপনি ব্যবহার , ভের-কোভার মডেল নির্বাচনের জন্য, আরএমএল অনুমান করে তারপরে ছোট ছোট নমুনাগুলির জন্য আরও ভালভাবে দ্বারা সন্নিকটে হবে $\hat{\Sigma}_s$ $\hat{\Sigma}_g$ $LR$ $\chi^2$ $\Sigma_s$ $\Sigma_g$ $LR$ $\chi^2$ ।

দ্রষ্টব্য যে কেবলমাত্র একই মডেলের মডেলগুলির নেস্টেড ভের-কোভার কাঠামোর মধ্যে বেছে নেওয়ার জন্য আরইএমএল ব্যবহার করা উচিত, বিভিন্ন উপায়ে মডেলগুলির জন্য, আরইএমএল উপযুক্ত নয়, বিভিন্ন উপায়ে মডেলদের জন্য এমএল ব্যবহার করা উচিত।

Σ_{s}

$\Sigma_s$

Σ_{g}

$\Sigma_g$

Σ_{s}

$\Sigma_s$

Σ_{g}

$\Sigma_g$

χ^{2}

$\chi^2$

ক্লিফ এবি, এই বিবৃতিটির নীচে এটি ব্যাখ্যা করা হয়েছে এবং এটিই আপনাকে আরএমএল ব্যবহার করতে হবে।

-4

আমার কাছে একটি উত্তর আছে যা পরিসংখ্যানের চেয়ে সাধারণ জ্ঞানের সাথে আরও বেশি কিছু করতে পারে। আপনি যদি এসএএস-তে প্রোস মিক্সডে একবার দেখে থাকেন তবে অনুমানটি ছয়টি পদ্ধতিতে করা যেতে পারে:

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

তবে আরএমএল ডিফল্ট। কেন? স্পষ্টতই, ব্যবহারিক অভিজ্ঞতার সাথে দেখা গেছে যে এটির সেরা পারফরম্যান্স রয়েছে (উদাহরণস্বরূপ, রূপান্তর সমস্যার ক্ষুদ্রতম সম্ভাবনা)। সুতরাং, যদি আপনার লক্ষ্য আরএএমএল এর সাথে অর্জনযোগ্য হয় তবে অন্য পাঁচটি পদ্ধতির বিপরীতে আরএমএল ব্যবহার করা বোধগম্য।

— জেমস
সূত্র

এটিতে 'বৃহত নমুনা তত্ত্ব' এবং এমএলই অনুমানের পক্ষপাতদুষ্টতা আছে, আমার উত্তর দেখুন।

"এটি এসএএস-এ ডিফল্ট" এই সাইটে কোনও "কেন" প্রশ্নের কোনও গ্রহণযোগ্য উত্তর নয়।

— পল

এসএএস দ্বারা ডিফল্টরূপে সরবরাহিত মিশ্র মডেলের জন্য পি-মানগুলি আর এর জন্য lme4 লাইব্রেরিতে ডিজাইনের মাধ্যমে উপলভ্য নয় কারণ অবিশ্বস্ত ( স্টেট.ইথজি.ইচ / পিপারমেল / আর- হেল্প / ২০০6- মাই /৯৯47656565.h . ইচটিএমএল )। সুতরাং "ডিফল্ট এসএএস" এমনকি ভুল হতে পারে।

— টিম