যখন মিশ্র মডেলগুলিতে গ্রুপগুলি এলোমেলো বনাম হিসাবে স্থির করা হয় তখন opeাল অনুমানের মধ্যে বড় মতবিরোধ

Question

আমি বুঝতে পারি যে আমরা যখন র‌্যান্ডম এফেক্টস (বা মিশ্র প্রভাব) মডেলগুলি ব্যবহার করি তখন আমরা বিশ্বাস করি যে কয়েকটি গ্রুপিং ফ্যাক্টারে কিছু মডেল প্যারামিটারগুলি এলোমেলোভাবে পরিবর্তিত হয়। আমার এমন একটি মডেল ফিট করার আকাঙ্ক্ষা রয়েছে যেখানে একটি গ্রুপিং ফ্যাক্টর জুড়ে প্রতিক্রিয়াটি স্বাভাবিক এবং কেন্দ্রীভূত করা হয়েছে (পুরোপুরি নয়, তবে খুব কাছের) তবে একটি স্বাধীন পরিবর্তনশীল xকোনওভাবেই সামঞ্জস্য করা হয়নি। এটি আমাকে নীচের পরীক্ষায় নিয়ে গেছে ( মনগড়া ডেটা ব্যবহার করে) তা নিশ্চিত করার জন্য যে আমি সত্যিই সেখানে উপস্থিত ছিলাম তবে আমি যে ফলাফলটি খুঁজছিলাম তা সন্ধান করতে পারি। আমি একটি র্যান্ডম ইন্টারসেপ্ট (সংজ্ঞায়িত গ্রুপগুলি জুড়ে ) এবং একটি নির্দিষ্ট প্রভাবের ভবিষ্যদ্বাণী হিসাবে ফ্যাক্টর এফের সাথে একটি দ্বিতীয় স্থির প্রভাব মডেল সহ একটি মিশ্র ইফেক্ট মডেল চালিয়েছি । আমি মিশ্রিত ইফেক্ট মডেল এবং বেস ফাংশনের জন্য আর প্যাকেজটি ব্যবহার করেছিflmerlm()স্থির প্রভাব মডেল জন্য। নিম্নলিখিত ডেটা এবং ফলাফল হয়।

লক্ষ্য করুন y, গোষ্ঠী নির্বিশেষে, প্রায় 0 পরিবর্তিত হয়। এবং এটি গ্রুপের মধ্যে xনিয়মিত পরিবর্তিত হয় y, তবে গ্রুপের চেয়ে অনেক বেশি পরিবর্তিত হয়y

> data
      y   x f
1  -0.5   2 1
2   0.0   3 1
3   0.5   4 1
4  -0.6  -4 2
5   0.0  -3 2
6   0.6  -2 2
7  -0.2  13 3
8   0.1  14 3
9   0.4  15 3
10 -0.5 -15 4
11 -0.1 -14 4
12  0.4 -13 4

আপনি যদি ডেটা নিয়ে কাজ করতে আগ্রহী হন তবে এখানে dput()আউটপুট রয়েছে:

data<-structure(list(y = c(-0.5, 0, 0.5, -0.6, 0, 0.6, -0.2, 0.1, 0.4, 
-0.5, -0.1, 0.4), x = c(2, 3, 4, -4, -3, -2, 13, 14, 15, -15, 
-14, -13), f = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 3L, 3L, 3L, 
4L, 4L, 4L), .Label = c("1", "2", "3", "4"), class = "factor")), 
.Names = c("y","x","f"), row.names = c(NA, -12L), class = "data.frame")

মিশ্র প্রভাবগুলির মডেল ফিটিং:

> summary(lmer(y~ x + (1|f),data=data))
Linear mixed model fit by REML 
Formula: y ~ x + (1 | f) 
   Data: data 
   AIC   BIC logLik deviance REMLdev
 28.59 30.53  -10.3       11   20.59
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.00000  0.00000 
 Residual             0.17567  0.41913 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.120992   0.069
x           0.008643   0.011912   0.726

Correlation of Fixed Effects:
  (Intr)
x 0.000 

আমি নোট করি যে ইন্টারসেপ্ট ভেরিয়েন্স উপাদানটি অনুমান করা হয় 0, এবং গুরুত্বপূর্ণভাবে আমার xকাছে এটি কোনও উল্লেখযোগ্য ভবিষ্যদ্বাণীকারী নয় y।

পরবর্তী আমি fএলোমেলো ইন্টারসেপ্টের জন্য গ্রুপিং ফ্যাক্টরের পরিবর্তে ভবিষ্যদ্বাণী হিসাবে ফিক্সড এফেক্ট মডেলটি ফিট করি :

> summary(lm(y~ x + f,data=data))

Call:
lm(formula = y ~ x + f, data = data)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.16250 -0.03438  0.00000  0.03125  0.16250 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.38750    0.14099  -9.841 2.38e-05 ***
x            0.46250    0.04128  11.205 1.01e-05 ***
f2           2.77500    0.26538  10.457 1.59e-05 ***
f3          -4.98750    0.46396 -10.750 1.33e-05 ***
f4           7.79583    0.70817  11.008 1.13e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.1168 on 7 degrees of freedom
Multiple R-squared: 0.9484, Adjusted R-squared: 0.9189 
F-statistic: 32.16 on 4 and 7 DF,  p-value: 0.0001348 

এখন আমি লক্ষ্য করেছি যে, যেমনটি প্রত্যাশা করা হয়েছিল, xতা একটি উল্লেখযোগ্য ভবিষ্যদ্বাণী y।

আমি যা খুঁজছি তা হ'ল এই পার্থক্য সম্পর্কিত স্বজ্ঞাততা। এখানে কীভাবে আমার চিন্তাভাবনা ভুল? কেন আমি ভুলভাবে xএই উভয় মডেলের জন্য একটি গুরুত্বপূর্ণ পরামিতি খুঁজে প্রত্যাশা করি তবে কেবলমাত্র এটি স্থির প্রভাবের মডেলটিতে দেখি?

Comments

কেবল দ্রুত চিহ্নিত করতে চাই যে আরআর = 0 (যেমন / আরআর কোনও প্রকারভেদ ব্যাখ্যা করে না) র্যান্ডম এফেক্টস সেটআপের সাথে কিছু ভুল। এটি দেওয়া, এটি আশ্চর্যজনক নয় যে xপরিবর্তনশীলটি উল্লেখযোগ্য নয়। আমি সন্দেহ করি যে এটি একই ফলাফল (সহগুণ এবং এসই) আপনি দৌড়তে পারতেন lm(y~x,data=data)। নির্ণয়ের জন্য আর কোনও সময় নেই, তবে এটি উল্লেখ করতে চেয়েছিলেন।

— এফাইন

@ আফাইন এটি একটি ভাল পয়েন্ট। সুতরাং আমি মনে করি এখানে আমার আগ্রহ এটির কারণেই এলোমেলোভাবে এলোমেলোভাবে প্রভাবটি আলাদা করে নি। আপনি বা অন্য কারও যদি পরবর্তী সময়ে কোনও মন্তব্য থাকে, আমি এটি স্বাগত জানাই! ধন্যবাদ।

— ndoogan

Answer 1

এখানে বেশ কয়েকটি জিনিস চলছে। এটি আকর্ষণীয় বিষয়, তবে এটির সমস্ত কিছু ব্যাখ্যা করতে মোটামুটি সময় / স্থান লাগবে।

প্রথমত, আমরা যদি ডেটা প্লট করি তবে এগুলি বোঝা অনেক সহজ হয়ে যায় । এখানে একটি বিচ্ছুরিত প্লট রয়েছে যেখানে ডেটা পয়েন্টগুলি দলবদ্ধভাবে বর্ণিত colored অতিরিক্তভাবে, প্রতিটি গ্রুপের জন্য আমাদের আলাদা আলাদা গ্রুপ-নির্দিষ্ট রেগ্রেশন লাইন রয়েছে, পাশাপাশি ড্যাশড সাহসী একটি সাধারণ রিগ্রেশন লাইন (গ্রুপ উপেক্ষা করে) রয়েছে:

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

স্থির-প্রভাব মডেল

$x$$x$$x$$x$$x$$x$$x$$y$$t$

$x$$x$$x$lm()

মিশ্র মডেল

$x$$x$$x$$x$

$x$

এখানে সাধারণ রিগ্রেশন মডেল (প্লটের ড্যাশড সাহসী রেখা) এর সহগ রয়েছে:

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x  
   0.008333     0.008643  

আপনি দেখতে পাচ্ছেন, এখানে সহগগুলি আমরা মিশ্র মডেলটিতে যা পেয়েছি তার সমান। এটি হ'ল আমরা যা প্রত্যাশা করেছিলাম ঠিক সেহেতু যেমন আপনি ইতিমধ্যে উল্লেখ করেছেন, পূর্বের উল্লিখিত অনুপাত / আন্তঃ শ্রেণীর পারস্পরিক সম্পর্ক 0 তৈরি করে আমাদের কাছে এলোমেলো ইন্টারসেপ্টগুলির জন্য 0 বৈকল্পিকের অনুমান আছে। সুতরাং এই ক্ষেত্রে মিশ্র মডেল অনুমানগুলি কেবলমাত্র সাধারণ লিনিয়ার রিগ্রেশন অনুমান, এবং আমরা প্লটটিতে দেখতে পাচ্ছি, এখানে theালটি ক্লাস্টারের opালের চেয়ে কম কম উচ্চারণযোগ্য।

এটি আমাদের একটি চূড়ান্ত ধারণামূলক ইস্যুতে নিয়ে আসে ...

কেন এলোমেলো ইন্টারসেপ্টের বৈকল্পিক 0 হিসাবে ধরা হয়?

এই প্রশ্নের উত্তরে কিছুটা প্রযুক্তিগত এবং কঠিন হয়ে উঠার সম্ভাবনা রয়েছে, তবে আমি এটিকে যতটা সম্ভব সহজ এবং ননটেকনিকাল রাখার চেষ্টা করব (আমাদের উভয়ের পক্ষে!)। তবে এটি এখনও কিছুটা দীর্ঘ-বায়ুযুক্ত হতে পারে।

আমি ইতিমধ্যে আন্তঃ-শ্রেণীর সম্পর্কের ধারণাটি উল্লেখ করেছি। এটি এর নির্ভরতা সম্পর্কে চিন্তা করার অন্য উপায়$y$(বা, আরও সঠিকভাবে, মডেলের ত্রুটিগুলি) ক্লাস্টারিং স্ট্রাকচার দ্বারা প্ররোচিত। অন্তর্-শ্রেণীর পারস্পরিক সম্পর্ক আমাদের জানায় যে ডেটাসেটের কোথাও থেকে আঁকা দুটি ত্রুটির গড় মিলের তুলনায় একই ক্লাস্টার থেকে গড়ে গড়ে দুটি ত্রুটি কীভাবে হয় (যেমন, একই ক্লাস্টারে থাকতে পারে বা নাও হতে পারে)। একটি ইতিবাচক আন্ত-শ্রেণীর পারস্পরিক সম্পর্ক আমাদের বলে যে একই ক্লাস্টার থেকে ত্রুটিগুলি একে অপরের সাথে তুলনামূলকভাবে আরও বেশি মিলে যায়; যদি আমি একটি ক্লাস্টার থেকে একটি ত্রুটি আঁকি করি এবং এটির উচ্চ মান থাকে তবে আমি উপরে সুযোগটি আশা করতে পারি যে একই ক্লাস্টার থেকে আমি পরবর্তী ত্রুটিটিও একটি উচ্চ মানের হতে পারে। যদিও কিছুটা কম সাধারণ, অন্তর্-শ্রেণীর পারস্পরিক সম্পর্কও নেতিবাচক হতে পারে; একই ক্লাস্টার থেকে আঁকা দুটি ত্রুটি কম সমান (উদাহরণস্বরূপ, মান বাদে আরও আলাদাভাবে) সাধারণত পুরো ডেটাসেট জুড়ে প্রত্যাশিত।

আমরা যে মিশ্র মডেলটি বিবেচনা করছি তা তথ্যগুলিতে নির্ভরতা উপস্থাপনের জন্য আন্তঃ-শ্রেণীর পারস্পরিক সম্পর্ক পদ্ধতি ব্যবহার করছে না। পরিবর্তে এটি বৈকল্পিক উপাদানগুলির ক্ষেত্রে নির্ভরতা বর্ণনা করে । যতক্ষণ না আন্তঃ-শ্রেণীর পারস্পরিক সম্পর্ক ইতিবাচক থাকে ততক্ষণ এগুলি ঠিক আছে। এই ক্ষেত্রে, আন্তঃ শ্রেণীর পারস্পরিক সম্পর্ক সহজেই বৈকল্পিক উপাদানগুলির ক্ষেত্রে রচনা করা যেতে পারে, বিশেষত মোট বৈকল্পিকের জন্য র্যান্ডম ইন্টারসেপ্ট পরিবর্তনের পূর্বে উল্লিখিত অনুপাত হিসাবে। ( আন্তঃ-শ্রেণীর সম্পর্কের উইকি পৃষ্ঠাটি দেখুনএ সম্পর্কে আরও তথ্যের জন্য।) তবে দুর্ভাগ্যক্রমে ভেরিয়েন্স-উপাদানগুলির মডেলগুলির এমন পরিস্থিতিতে পরিস্থিতি মোকাবেলায় আমাদের একটি কঠিন সময় রয়েছে যেখানে আমাদের নেতিবাচক আন্তঃ-শ্রেণীর সম্পর্ক রয়েছে। সর্বোপরি, বৈকল্পিক উপাদানগুলির ক্ষেত্রে আন্তঃ-শ্রেণীর পারস্পরিক সম্পর্ক লেখার সাথে এটি ভিন্নতার অনুপাত হিসাবে লেখা জড়িত, এবং অনুপাতটি নেতিবাচক হতে পারে না।

$y$$y$$y$, যদিও বিভিন্ন ক্লাস্টার থেকে আঁকা ত্রুটিগুলি আরও মাঝারি পার্থক্য রাখে)) সুতরাং আপনার মিশ্র মডেল যা করছেন, অনুশীলনে, মিশ্র মডেলগুলি প্রায়শই এই ক্ষেত্রে কী করে: এটি অনুমানগুলি দেয় যা নেতিবাচক আন্তঃ-শ্রেণীর সম্পর্কের সাথে সামঞ্জস্যপূর্ণ যেমন এটি জড়ো করতে পারে তবে এটি 0 টির নীচের সীমানায় থামে (এই সীমাবদ্ধতাটি সাধারণত মডেল ফিটিং অ্যালগরিদমে প্রোগ্রাম করা হয়)। সুতরাং আমরা 0 এর আনুমানিক র্যান্ডম ইন্টারসেপ্ট ভেরিয়েন্সটি দিয়ে শেষ করি যা এখনও খুব ভাল অনুমান নয়, তবে আমরা এই ভেরিয়েন্স-উপাদান ধরণের মডেলটি পেতে পারি তত কাছাকাছি।

তাহলে আমরা কি করতে পারি?

$x$

$x$

$x$$x_b$$x$$x_w$$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
> 
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML 
Formula: y ~ x_b + x_w + (1 | f) 
   Data: dat 
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000 
 Residual             0.010898 0.10439 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b  
x_b 0.000       
x_w 0.000  0.000

$x_w$$x_b$$y$$x$$x$$x_b$$t$-স্ট্যাটিস্টিক বড়। এটিও আশ্চর্যের কারণ কারণ এলোমেলো গ্রুপের প্রভাবগুলির কারণে সাধারণ রিগ্রেশন মডেলটির সাথে প্রচুর পরিমাণে ভেরিয়েন্স খেয়ে র্যান্ডম গ্রুপ ইফেক্টের কারণে এই মিশ্র মডেলের অবশিষ্টাংশগুলি অনেক ছোট far

পরিশেষে, র্যান্ডম ইন্টারসেপ্টগুলির পরিবর্তনের জন্য আমাদের কাছে এখনও 0 এর একটি অনুমান রয়েছে, কারণগুলি আমি পূর্ববর্তী বিভাগে বিশদভাবে ব্যাখ্যা করেছি। আমি কমপক্ষে অন্য কোনও সফ্টওয়্যারটিতে স্যুইচ না করে আমরা সে সম্পর্কে যা করতে পারি তা সত্যই আমি নিশ্চিত lmer()নই এবং আমি এই চূড়ান্ত মিশ্র মডেলটিতে আমাদের অনুমানগুলিকে এখনও কতটা প্রতিকূলভাবে প্রভাবিত করতে চলেছে তা সম্পর্কে আমি নিশ্চিত নই। হতে পারে অন্য কোনও ব্যবহারকারী এই সমস্যা সম্পর্কে কিছু চিন্তাভাবনা নিয়ে আঁকতে পারেন।

তথ্যসূত্র

• বেল, এ।, এবং জোন্স, কে। (2014)। স্থির প্রতিক্রিয়া ব্যাখ্যা: সময়-সিরিজ ক্রস-বিভাগীয় এবং প্যানেল ডেটা র্যান্ডম এফেক্টস মডেলিং। রাষ্ট্রবিজ্ঞান গবেষণা ও পদ্ধতি। পিডিএফ
• বাফুমি, জে।, এবং গেলম্যান, এই (2006)। ভবিষ্যদ্বাণীকারী এবং গোষ্ঠী প্রভাবগুলির সাথে সম্পর্কিত হলে মাল্টিলেভেল মডেলগুলি ফিট করে। পিডিএফ

Comments

এটি একটি খুব চিন্তাশীল এবং সহায়ক প্রতিক্রিয়া। আমি এই রেফারেন্সগুলি জুড়ে আসিনি; তাদের শিরোনামগুলি আমার অন্বেষণের এই মুহুর্তে অবশ্যই পড়তে হবে strike আমি আপনাকে একটি বিয়ার পাওনা!

— ndoogan

বেল অ্যান্ড জোন্স রেফ দুর্দান্ত ছিল। একটি জিনিস যার জন্য আমি অপেক্ষা করছিলাম, এবং আপনার সম্পর্কে একটি ধারণা থাকতে পারে, তা হ'ল এইগুলির মধ্যে-মধ্যবর্তী বিভাজনগুলি সহজেই সাধারণ রৈখিক মিশ্র মডেলগুলিতে প্রসারিত হয় । এগুলি তাদের মতো করা উচিত বলে মনে হয় তবে আমি বুঝতে পেরেছিলাম যে লজিস্টিক রিগ্রেশন মডেলটিতে কোভারিয়েট সেন্টারিং শর্তযুক্ত লজিস্টিক মডেলটির সমান নয়, যা আমি স্থির প্রভাব লিনিয়ার মডেলের বাইনারি ফলাফল এনালগ হিসাবে গ্রহণ করি। কোন মন্তব্য?

— ndoogan

কোনও প্রান্তিক মডেল ফিটিং কি নেতিবাচক বৈকল্পিকের জন্য অনুমতি দেয় না যা lmeডিফল্টরূপে বাধা দেয় > = 0 হতে? দেখুন এই প্রশ্নের এবং তার নির্বাচিত উত্তর , অর্থাৎ মাধ্যমে একটি যৌগ simmetry পারস্পরিক সম্পর্ক ঝুলানো glsহইয়া বা সেটিং correlation = corCompSymm(form = ~1|f)মধ্যেlme

— FairMiles

@ ফায়ারমাইলস সম্ভবত ... আপনি কেন চেষ্টা করে দেখুন না এবং এই মন্তব্য থ্রেডে ফলাফল পোস্ট করবেন না?

— জেক ওয়েস্টফল

আবার ধন্যবাদ, @ জ্যাকওয়েস্টফল। কয়েক মাস ধরে আমি প্রায় 3 বার এটি পড়েছি এবং এটি প্রতিবার বিভিন্ন উপায়ে সহায়তা করেছে।

— ndoogan

Answer 2

যথেষ্ট মননের পরে, আমি বিশ্বাস করি যে আমি আমার নিজের উত্তরটি আবিষ্কার করেছি। আমি বিশ্বাস করি যে একনোমেট্রিশিয়ান আমার স্বাধীন পরিবর্তনশীলটিকে অন্তঃসত্ত্বা হিসাবে সংজ্ঞায়িত করবে এবং এইভাবে স্বাধীন এবং নির্ভরশীল ভেরিয়েবল উভয়ের সাথেই সম্পর্কযুক্ত হবে। এই ক্ষেত্রে, সেই ভেরিয়েবলগুলি বাদ দেওয়া বা অনাবৃত রয়েছে । যাইহোক, আমি সেই গোষ্ঠীগুলি পর্যবেক্ষণ করি যার মধ্যে বাদ দেওয়া চলকগুলি পৃথক হওয়া উচিত।

আমি বিশ্বাস করি ইকোনোমেট্রিশিয়ান একটি নির্দিষ্ট প্রভাবের মডেলটির পরামর্শ দেবেন । এটি হল, এমন একটি মডেল যা প্রতিটি গ্রুপিং স্তরের জন্য একটি ডামি অন্তর্ভুক্ত করে (বা এমন একটি সমতুল্য বিশদ যা মডেলটির শর্ত দেয় যে অনেক গ্রুপিং ডমি প্রয়োজন হয় না) এই ক্ষেত্রে। একটি স্থির প্রভাব মডেল সহ, আশা এই যে সমস্ত অনাবদ্ধ এবং সময়-অবিস্মরণীয় ভেরিয়েবলগুলি গ্রুপের (বা পৃথক পৃথক) প্রকরণের বাইরে কন্ডিশনার মাধ্যমে নিয়ন্ত্রণ করা যায়। প্রকৃতপক্ষে, আমার প্রশ্নের দ্বিতীয় মডেল হুবহু একটি স্থির প্রভাব মডেল, এবং এটি আমার প্রত্যাশা অনুমান করে।

আমি এমন মন্তব্যগুলিকে স্বাগত জানাই যা এই পরিস্থিতিতে আরও আলোকিত করবে।