মিশ্র মডেলগুলিতে প্যারামিটার অনুমান সম্পর্কে অন্তর্দৃষ্টি (শর্তাধীন মোডগুলির তুলনায় ভেরিয়েন্স পরামিতি)

আমি অনেকবার পড়েছি যে র্যান্ডম এফেক্টস (বিএলইউপিএস / শর্তসাপেক্ষ মোডগুলি, বলুন, বিষয়গুলি) কোনও রৈখিক মিশ্র প্রভাবগুলির মডেলগুলির পরামিতি নয় তবে পরিবর্তে আনুমানিক বৈকল্পিকতা / কোভারিয়েন্স প্যারামিটার থেকে নেওয়া যেতে পারে। যেমন রিইনহোল্ড ক্লিগল এট আল al (২০১১) রাষ্ট্র:

র্যান্ডম এফেক্টস হ'ল সাবজেক্টের গ্র্যান্ড মানে আরটি থেকে বিচ্যুতি এবং ফিক্স-এফেক্ট প্যারামিটারগুলি থেকে সাবজেক্টের বিচ্যুতি। এগুলিকে স্বতন্ত্র এবং সাধারণভাবে 0 এর গড় দিয়ে বিতরণ করা হয় বলে মনে করা হয় যে এগুলি এলোমেলো প্রভাবগুলি এলএমএমের পরামিতি নয় - কেবল তাদের রূপ এবং সমবায়ুগুলি। [...] সাবজেক্টের ডেটার সাথে মিলিয়ে এলএমএম প্যারামিটারগুলি প্রতিটি বিষয়ের জন্য এলোমেলো প্রভাবের "পূর্বাভাস" (শর্তসাপেক্ষ মোড) তৈরি করতে ব্যবহার করা যেতে পারে।

কেউ কি এলোমেলো ব্যাখ্যা দিতে পারে যে এলোমেলো প্রভাবগুলির (কো) প্রকরণের প্যারামিটারগুলি এলোমেলো প্রভাবগুলি ব্যবহার না করে / প্রাক্কলিত না করে কীভাবে অনুমান করা যায়?

mixed-model intuition blup

— statmerkur
সূত্র

উত্তর:

একটি সাধারণ রৈখিক মিশ্র মডেল বিবেচনা করুন, উদাহরণস্বরূপ একটি র্যান্ডম ইন্টারসেপ্ট মডেল যেখানে আমরা বিভিন্ন বিষয়ে এর উপর এর নির্ভরতা অনুমান করি এবং ধরে নিই যে প্রতিটি বিষয়ের নিজস্ব র্যান্ডম ইন্টারসেপ্ট রয়েছে:এখানে ইন্টারসেপ্টগুলি গাউসীয় বিতরণ থেকে আগত বলে চিহ্নিত করা হয়েছে এবং এলোমেলো আওয়াজটি গাউসিয়ানইন সিনট্যাক্স এই মডেল হিসেবে লেখা যেতে হবে । $y$ $x$

Y = একটি + + খ এক্স + + গ_{আমি} + + ε ।

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

গ_{আমি} ~ এন (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

ε ~ এন (0, σ^{2}) ।

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

উপরোক্ত বিষয়গুলি নিম্নরূপে পুনর্লিখন করা শিক্ষামূলক:

\begin{matrix} Y | গ ~ এন (একটি + + খ এক্স + + গ, σ^{2}) \\ গ ~ এন (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

একই সম্ভাব্য মডেলটি নির্দিষ্ট করার এটি আরও একটি আনুষ্ঠানিক উপায়। এই সূত্র থেকে আমরা সরাসরি দেখতে পাচ্ছি যে এলোমেলো প্রভাব "পরামিতি" নয়: এগুলি র্যান্ডম ভেরিয়েবল। সুতরাং এর মানগুলি না জেনে আমরা কীভাবে বৈকল্পিক পরামিতিগুলি অনুমান করতে পারি ? $c_i$ $c$

নোট যে প্রথম সমীকরণ উপরে বর্ণনা শর্তসাপেক্ষ বিতরণের দেওয়া । যদি আমরা এবং এর বিতরণ জানি , তবে আমরা একীকরণের মাধ্যমে নিঃশর্ত বিতরণ কাজ করতে পারি । আপনি এটি সম্পূর্ণ সম্ভাবনার আইন হিসাবে জানেন । উভয় বিতরণ যদি গাউসিয়ান হয় তবে ফলস্বরূপ শর্তহীন বিতরণটিও গাউসিয়ান। $y$ $c$ $c$ $y\mid c$ $y$ $c$

এক্ষেত্রে নিঃশর্ত বিতরণ কেবল , তবে আমাদের পর্যবেক্ষণগুলি এটি থেকে আইআইডি নমুনাগুলি নয় কারণ এখানে প্রতি বিষয় একাধিক পরিমাপ রয়েছে। এগিয়ে যাওয়ার জন্য, আমরা পুরো বিতরণের বিবেচনা করতে হবে -dimensional ভেক্টর : সব পর্যবেক্ষণ যেখানে a এবং গঠিত একটি ব্লক- ম্যাট্রিক্স । আপনি অন্তর্দৃষ্টি জিজ্ঞাসা করেছিলেন তাই আমি গণিত এড়াতে চাই। গুরুত্বপূর্ণ বিষয় হ'ল এই সমীকরণটি $\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

Y ~ এন (একটি + + খ এক্স, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$ কি আর চলবে! এই কি এক আসলে পর্যবেক্ষিত ডেটাতে ফিট, এবং যে কারণেই এক বলছেন যে মডেল পরামিতি নয়।

c_{i}

$c_i$

পরামিতি যখন , , , এবং হইয়া আছে, এক শর্তাধীন বিতরণ কাজ করে দেখতে পারেন প্রত্যেকের জন্য । আপনি মিশ্র মডেল আউটপুটে যা দেখছেন তা হ'ল এই বিতরণের মোডগুলি, শর্তযুক্ত মোডগুলি aka $a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

আমি এই উত্তর পছন্দ। প্রশ্নটিও আমার পছন্দ হয়েছে। ব্যক্তিগতভাবে, আমি এখনও মেকানিজমিতে লড়াই করছি (এলএমইএম এর সমাধান করে এমন অ্যালগরিদমগুলি অধ্যয়ন করার জন্য আমি আসলে কখনই এর যত্ন নিই নি)। সুতরাং আমি অনুমান করি যে এলোমেলো প্রভাবের পার্থক্য থেকে আমি কল্পনা করি যে একটি ক্ষুদ্র উদাহরণ এটি কার্যকর হতে পারে। আমি এটি নিজে তৈরি করার বিষয়ে বিবেচনা করছি, তবে সম্ভবত এমন সংস্থান রয়েছে যা ইতিমধ্যে এরকম উদাহরণগুলি দেখায় (যে কেউ?)

Y ~ এন (একটি + + খ এক্স, σ^{2} আমি)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

Y ~ এন (একটি + + খ এক্স, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— সেক্সটাস এম্পেরিকাস

@ স্ট্যাটমারকুর তাউ একটি প্যারামিটার; আমার উত্তরের শেষ সূত্রে এখনও তাউ অন্তর্ভুক্ত রয়েছে। গুরুত্বপূর্ণ বিষয়টি হ'ল শেষ সূত্রে অন্তর্ভুক্ত নেই । আমরা কেবল দুটি সমীকরণ একত্রিত করি যেমন বাইরে পড়ে (প্রযুক্তিগতভাবে আমরা উপর একীকরণ করি )। তারপরে আমরা মডেলটি ফিট করি, যার অর্থ আমরা তাউ এবং অন্যান্য পরামিতিগুলি ফিট করি।

c

$c$

c

$c$

c

$c$

— অ্যামিবা বলছেন 22

আমি মনে করি আমি কেবল ইন্টিগ্রেশন পদক্ষেপ পাচ্ছি না। @ মার্তিজন ওয়েটারিংস যেহেতু একটি সামান্য (আর কোড) উদাহরণ বা রেফারেন্স দেখিয়েছিল এটির মাধ্যমে এটি দুর্দান্ত হতে পারে!

— স্ট্যাটমুরকুর

আমার উত্তরটি স্বীকার করার জন্য এবং আমাকে @ স্ট্যাটমারকুরকে অনুদান দেওয়ার জন্য ধন্যবাদ, তবে এটি খুব খারাপ যে এটি অস্পষ্ট থেকে যায়। আমি একটি উদাহরণ চিন্তা করার চেষ্টা করব। উত্তরটি আপডেট করার সময় আমি আপনাকে পিং করব।

— অ্যামিবা

@ স্ট্যাটমারকুর এই প্রশ্নের উত্তরে আমি একটি মিশ্র প্রভাবগুলির মডেলটির ম্যানুয়াল গণনা প্রদর্শন করি (সম্ভাবনা ফাংশনটি লেখার অর্থে ম্যানুয়াল, অপ্টিমাইজেশনটি এখনও আর এর একটি আদর্শ অপ্টিমাইজেশন ফাংশন দ্বারা সম্পন্ন করা হয়) stats.stackexchange.com/a/ 337348/164061

— সেক্সটাস

আপনি সহজেই স্থির-প্রতিক্রিয়া ব্যবহার করে র্যান্ডম-এফেক্টের উপর নির্ভর না করে বৈকল্পিক এবং কোভারিয়েন্স প্যারামিটারগুলি অনুমান করতে পারেন ( স্থির-প্রভাব বনাম এলোমেলো-প্রভাবগুলির জন্য একটি আলোচনার জন্য এখানে দেখুন ; এই শর্তগুলির বিভিন্ন সংজ্ঞা রয়েছে এই বিষয়টি সম্পর্কে সচেতন হন)।

প্রতিটি গ্রুপের জন্য (বা প্রতিটি সময়কালের জন্য বা আপনি এলোমেলো-প্রভাব হিসাবে ব্যবহার করার জন্য যা ভাবছেন তা যাচাই করে; এটি রূপান্তরের অভ্যন্তরের সমতুল্য ) যুক্ত (বাইনারি) সূচক পরিবর্তনশীল যুক্ত করে স্থির-প্রভাবগুলি সহজেই পাওয়া যায় । এটি আপনাকে সহজেই স্থির-প্রতিক্রিয়াগুলি অনুমান করতে দেয় (যা প্যারামিটার হিসাবে দেখা যায়)।

ফিক্সড-এফেক্টস অনুমানের জন্য আপনাকে স্থির-প্রতিক্রিয়াগুলির বিতরণের একটি ধারণা গ্রহণের প্রয়োজন হয় না, আপনি সহজেই স্থির-প্রতিক্রিয়াগুলির বৈচিত্রটি অনুমান করতে পারেন (যদিও এই গোষ্ঠীটি প্রতিটি গ্রুপের মধ্যে পর্যবেক্ষণের সংখ্যাটি যদি ছোট হয় তবে তারা হ্রাস করে) এলোমেলো-প্রভাবগুলির তুলনায় অনেক বড় বৈকল্পিক ব্যয়ের জন্য পক্ষপাতিত্ব কারণ আপনি এই সূচক ভেরিয়েবলগুলি যুক্ত করার মাধ্যমে প্রতিটি গ্রুপের জন্য এক ডিগ্রি স্বাধীনতা হারাবেন)। আপনি স্থির-প্রতিক্রিয়াগুলির বিভিন্ন সেটগুলির মধ্যে বা স্থির-প্রভাব এবং অন্যান্য কোভারিয়েটগুলির মধ্যেও সমযোজ্যের অনুমান করতে পারেন। আমরা উদাহরণস্বরূপ জার্মান বুন্দেসলিগায় প্রতিযোগিতামূলক ভারসাম্য এবং সহকারী ম্যাচিং নামে একটি গবেষণাপত্রে আরও ভাল ফুটবল খেলোয়াড়রা ক্রমবর্ধমান আরও ভাল দলের হয়ে খেলছেন কিনা তা অনুমান করার জন্য done

এলোমেলো-প্রভাবগুলির সমবায় সম্পর্কে পূর্ব ধারণা অনুমিত হওয়া দরকার। ক্লাসিকাল এলোমেলো-প্রভাবগুলির মডেলগুলিতে, আপনি ধরে নেন যে এলোমেলো-প্রভাবগুলি একটি ত্রুটির মতো এবং তারা অন্যান্য সমবায় থেকে স্বতন্ত্র (যাতে আপনি তাদের উপেক্ষা করতে পারেন এবং ওএলএস ব্যবহার করতে পারেন এবং অনুমানগুলি যদি অন্য প্যারামিটারের জন্য এখনও অকার্যকর অনুমানের সাথে সামঞ্জস্য হন তবে এলোমেলো-প্রভাবের মডেলটি সত্য বলে ধরেছে)।

আরও প্রযুক্তিগত তথ্য এখানে পাওয়া যায় । অ্যান্ড্রু গেলম্যানের কাছে তাঁর সুন্দর বই ডেটা বিশ্লেষণে এ সম্পর্কে রিগ্রেশন এবং মাল্টিলেভেল / হায়ারারিকাল মডেলগুলি ব্যবহার করে আরও অনেক স্বজ্ঞাত কাজ রয়েছে

— আরনে জোনাস ওয়ার্ন্কে
সূত্র

আমি এলোমেলো প্রভাবগুলির (কো) বৈকল্পিক পরামিতিগুলি উল্লেখ করছি (আমার সম্পাদনা দেখুন)।

— পরিসংখ্যানসূচক

আমি মনে করি না এটি প্রশ্নের উত্তর দেয়।

— অ্যামিবা বলেছেন মনিকাকে