সংক্ষিপ্ত উত্তর হল আপনার অনুমান সত্য কখন এবং শুধুমাত্র যখন একটি ইতিবাচক ভিতরে-বর্গ পারস্পরিক সম্পর্ক তথ্য । মহিমান্বিতভাবে বলতে গেলে, বেশিরভাগ ক্লাস্টারযুক্ত ডেটাসেটগুলি বেশিরভাগ সময় ইতিবাচক আন্ত-শ্রেণীর পারস্পরিক সম্পর্ক দেখায়, যার অর্থ অনুশীলনে সাধারণত আপনার অনুমানটি সত্য। তবে যদি আন্তঃ-শ্রেণীর পারস্পরিক সম্পর্ক 0 হয় তবে আপনি যে দুটি ক্ষেত্রে উল্লেখ করেছেন তা সমান তথ্যপূর্ণ tive যদি ভিতরে-বর্গ কোরিলেশন নেতিবাচক , তাহলে এটি আসলে কম তথ্যপূর্ণ আরো বিষয়ের উপর কম পরিমাপ গ্রহণ; আমরা আমাদের পছন্দ করতে চাই (প্যারামিটার অনুমানের প্রকরণটি হ্রাস করার ক্ষেত্রে) কোনও একক বিষয়ে আমাদের সমস্ত পরিমাপ নিতে take
পরিসংখ্যানগতভাবে দুটি দৃষ্টিভঙ্গি রয়েছে যার থেকে আমরা এটি সম্পর্কে ভাবতে পারি: একটি র্যান্ডম-ইফেক্টস (বা মিশ্র ) মডেল , যা আপনি আপনার প্রশ্নে উল্লেখ করেছেন বা একটি প্রান্তিক মডেল , যা এখানে কিছুটা তথ্যপূর্ণ হয়ে শেষ হয়।
র্যান্ডম-এফেক্টস (মিশ্র) মডেল
বলুন আমাদের কাছে সাবজেক্টের একটি সেট রয়েছে যার কাছ থেকে আমরা প্রতিটি । তারপরে ম সাবজেক্টের ম পরিমাপের একটি সাধারণ র্যান্ডম-ইফেক্ট মডেল হতে পারে
যেখানে স্থির বাধা, এ র্যান্ডম সাবজেক্ট ইফেক্ট (সহ) বৈকল্পিক ), পর্যবেক্ষণ-স্তরের ত্রুটি শব্দটি (বৈকল্পিক ), এবং পরবর্তী দুটি এলোমেলো পদটি স্বতন্ত্র।এম ঞ আমি Y আমি ঞ = β + + U আমি + + ই আমি ঞ , β তোমার দর্শন লগ করা আমিএনমিঞআমি
Yআমি জে= β+ ইউআমি+ ইআমি জে,
βতোমার দর্শন লগ করাআমি ই আমি ঞ σ 2 ইσ2তোমার দর্শন লগ করাইআমি জেσ2ই
এই মডেলটিতে জনসংখ্যার গড় উপস্থাপন করে এবং একটি ভারসাম্যপূর্ণ ডেটাসেট (অর্থাত্ প্রতিটি বিষয় থেকে সমান সংখ্যক পরিমাপ) সহ আমাদের সেরা অনুমানটি কেবল নমুনা গড়। সুতরাং আমরা যদি এই অনুমানের জন্য একটি ছোট বৈকল্পিক বোঝাতে "আরও তথ্য" গ্রহণ করি, তবে মূলত আমরা জানতে চাই যে নমুনার বৈচিত্রটি কীভাবে এবং উপর নির্ভরশীল । বীজগণিতের একটি বিট সঙ্গে আমরা এটি কাজ করতে পারেন
n এম ভার ( 1βএনমি
var ( 1n মিΣআমিΣঞYআমি জে)= ভার ( 1n মিΣআমিΣঞβ+ ইউআমি+ ইআমি জে)= 1এন2মি2var ( ∑আমিΣঞতোমার দর্শন লগ করাআমি+ + ΣআমিΣঞইআমি জে)= 1এন2মি2( মি।)2Σআমিভার ( ইউআমি) + + ΣআমিΣঞvar ( ঙ)আমি জে))= 1এন2মি2( এন মি।)2σ2তোমার দর্শন লগ করা+ এন মি σ2ই)= σ2তোমার দর্শন লগ করাএন+ +σ2ইএনমি।
this এই অভিব্যক্তিটি পরীক্ষা করে, আমরা দেখতে পাচ্ছি যে
যখনই কোনও বিষয়ের বৈচিত্র রয়েছে (যেমন, ), বিষয়ের সংখ্যা বৃদ্ধি করা ( ) এই উভয় ছোট করে দেবে, এবং সংখ্যা বাড়িয়ে তুলবে বিষয় প্রতি পরিমাপের (
n মিσ2তোমার দর্শন লগ করা> 0এনমি) দ্বিতীয় মেয়াদটি কেবল ছোট করে তুলবে। (বহু-সাইট প্রতিলিপি প্রকল্পগুলি ডিজাইনের জন্য এটির ব্যবহারিক জড়িততার জন্য,
আমি কিছুক্ষণ আগে লিখেছিলাম এই ব্লগ পোস্টটি দেখুন ))
এখন আপনি জানতে চেয়েছিলেন যে মোট পর্যবেক্ষণের সংখ্যা স্থির রেখে আমরা বা বা বৃদ্ধি বা হ্রাস করার পরে কী হয় । সুতরাং যে আমরা বিবেচনা একটি ধ্রুবক হতে, তাই পুরো ভ্যারিয়েন্স অভিব্যক্তি মাত্র মত দেখায় যে
যা সম্ভব যখন যত ছোট মত বৃহৎ হিসাবে সম্ভব (সর্বাধিক , ক্ষেত্রে , যার অর্থ আমরা প্রতিটি বিষয় থেকে একক পরিমাপ করি)।মিএন মি σ 2 ইউএনn মিএন এন = এন এম এম = 1
σ2তোমার দর্শন লগ করাএন+ ধ্রুবক ,
এনn = n মিমি = 1
আমার সংক্ষিপ্ত উত্তরটি আন্তঃ-শ্রেণীর পারস্পরিক সম্পর্ককে বোঝায়, তবে এটি কোথায় ফিট করে? এই সাধারণ এলোমেলো-প্রভাবের মডেলটিতে -শ্রেণীর পারস্পরিক সম্পর্ক
( এখানে একটি স্কেচ )। সুতরাং আমরা as হিসাবে ভেরিয়েন্স সমীকরণটি উপরে লিখতে পারি
এটি আসলে কোনও যোগ করে না আমরা ইতিমধ্যে উপরে যা দেখেছি তার অন্তর্দৃষ্টি, তবে এটি আমাদের বিস্মিত করে তোলে: যেহেতু অন্তর্-শ্রেণীর পারস্পরিক সম্পর্কটি একটি উদ্দীপনা সহকারের সহগ, এবং পারস্পরিক সম্পর্ক সহগগুলি নেতিবাচক হতে পারে, তবে কী ঘটবে (এবং এর অর্থ কী হবে) যদি আন্তঃ শ্রেণীর হয় পারস্পরিক সম্পর্ক নেতিবাচক ছিল? Var(1
ρ = σ2তোমার দর্শন লগ করাσ2তোমার দর্শন লগ করা+ + σ2ই
var ( 1n মিΣআমিΣঞYআমি জে) = σ2তোমার দর্শন লগ করাএন+ + σ2ইn মি= ( ρ)এন+ 1 - ρn মি) (σ2তোমার দর্শন লগ করা+ + σ2ই)
এলোমেলো-প্রভাবের মডেলটির প্রসঙ্গে, নেতিবাচক আন্ত-শ্রেণীর পারস্পরিক সম্পর্ক আসলেই বোঝা যায় না, কারণ এটি করে যে বিষয়টির বৈকল্পিকতা কোনওভাবে নেতিবাচক (আমরা সমীকরণ থেকে দেখতে পাচ্ছি , এবং এখানে এবং এখানে যেমন ব্যাখ্যা করা হয়েছে ) ... তবে রূপগুলি নেতিবাচক হতে পারে না! তবে এর অর্থ এই নয় যে একটি নেতিবাচক আন্ত-শ্রেণীর পারস্পরিক সম্পর্কের ধারণাটি বোঝায় না; এর ঠিক অর্থ হ'ল এলোমেলো-প্রভাবের মডেলটির এই ধারণাটি প্রকাশ করার কোনও উপায় নেই, যা এই মডেলের ব্যর্থতা, ধারণাটির নয়। এই ধারণাটি পর্যাপ্তভাবে প্রকাশ করার জন্য আমাদের প্রান্তিক মডেলটি বিবেচনা করা উচিত। ρσ2তোমার দর্শন লগ করাρ
প্রান্তিক মডেল
এই একই ডেটাসেটের জন্য আমরা ,
of এর একটি তথাকথিত প্রান্তিক মডেল বিবেচনা করতে পারি
যেখানে মূলত আমরা এলোমেলো বিষয়টির প্রভাবটিকে আগে থেকেই ঠেলে ত্রুটি মেয়াদ যাতে আমরা আছে । র্যান্ডম-প্রতিক্রিয়া মডেল আমরা দুটি র্যান্ডম পদ বিবেচিত এবং হতে IID কিন্তু প্রান্তিক মডেল আমরা পরিবর্তে বিবেচনা একটি অনুসরণ করতে ব্লক-তির্যক সহভেদাংক ম্যাট্রিক্স মত
Yআমি জে
Yআমি জে=β+ +ই*আমি জে,
তোমার দর্শন লগ করাআমিইআমি জেই*আমি জে= ইউআমি+ ইআমি জেতোমার দর্শন লগ করাআমিইআমি জেই*আমি জেসিসি = σ2⎡⎣⎢⎢⎢⎢⎢আর0⋮00আর⋮0⋯⋯⋱⋯00⋮আর⎤⎦⎥⎥⎥⎥⎥, আর = ⎡⎣⎢⎢⎢⎢⎢1ρ⋮ρρ1⋮ρ⋯⋯⋱⋯ρρ⋮1⎤⎦⎥⎥⎥⎥⎥
অর্থাৎ, এর অর্থ এই যে প্রান্তিক মডেল অধীনে কেবলমাত্র আমরা বিবেচনা দুই মধ্যে প্রত্যাশিত কোরিলেশন হতে একই সাবজেক্ট থেকে গুলি (আমরা ধরে নেই বিষয় জুড়ে পারস্পরিক সম্পর্ক 0)। কখন
ρই*ρইতিবাচক, একই বিষয় থেকে টানা দুটি পর্যবেক্ষণ ডেটাসেট থেকে এলোমেলোভাবে আঁকা দু'টি পর্যবেক্ষণের কারণে বিষয়গুলির কারণে ক্লাস্টারিং উপেক্ষা করার পরে গড়ে আরও বেশি মিলিত হয় (একসাথে কাছাকাছি)। যখন হয়
নেতিবাচক , দুই একই বিষয়ের থেকে টানা পর্যবেক্ষণ হতে থাকে
কম অনুরূপ (আরো পৃথক্), গড়ে, এলোমেলোভাবে সম্পূর্ণরূপে টানা দুই পর্যবেক্ষণ করে। (
প্রশ্ন / উত্তরে এই ব্যাখ্যা সম্পর্কে আরও তথ্য
এখানে ।)
ρ
সুতরাং এখন আমরা যখন প্রান্তিক মডেলের অধীনে নমুনার অর্থের বৈকল্পিকতার জন্য সমীকরণটি দেখি, তখন আমাদের
the যা র্যান্ডম-এফেক্টস মডেলটির জন্য আমরা উপরে উত্পন্ন একই প্রকারের অভিব্যক্তি , যা আমাদের note উপরে আমাদের নোটের সাথে সামঞ্জস্যপূর্ণ
var ( 1n মিΣআমিΣঞYআমি জে)= ভার ( 1n মিΣআমিΣঞβ+ ই*আমি জে)= 1এন2মি2var ( ∑আমিΣঞই*আমি জে)= 1এন2মি2( এন ( এমσ)2+ ( মি।)2- মি ) ρ σ2) )= σ2( 1+(মি-1)ρ )n মি= ( ρ)এন+ 1 - ρn মি) σ2,
σ2ই+ +σ2তোমার দর্শন লগ করা= σ2ই*আমি জে= ইউআমি+ ইআমি জে। এর (পরিসংখ্যানগতভাবে সমতুল্য) দৃষ্টিভঙ্গির সুবিধাটি হ'ল এখানে আমরা নেতিবাচক বিষয় বৈচিত্রের মতো কোনও অদ্ভুত ধারণাটি গ্রহণ করার প্রয়োজন ছাড়াই একটি নেতিবাচক আন্ত-শ্রেণীর পারস্পরিক সম্পর্ক সম্পর্কে ভাবতে পারি। নেতিবাচক আন্ত-শ্রেণীর পারস্পরিক সম্পর্কগুলি এই কাঠামোর মধ্যে কেবল প্রাকৃতিকভাবে মাপসই।
(বিটিডাব্লু, উপরের উত্সের দ্বিতীয় থেকে শেষ লাইনটি সূচিত করে কেবল তাড়াতাড়ি একদিকে সরিয়ে দিয়ে বোঝায় যে আমাদের অবশ্যই , না হলে পুরো সমীকরণটি নেতিবাচক, তবে বৈকল্পিক) নেতিবাচক হতে পারে না! সুতরাং অন্তর্-শ্রেণীর পারস্পরিক সম্পর্কের উপর একটি নীচে আবদ্ধ থাকে যা আমাদের ক্লাস্টারে কত পরিমাপ করে তার উপর নির্ভর করে (অর্থাত্, আমরা প্রতিটি বিষয় দুবার পরিমাপ করি), অন্তর্-শ্রেণীর পারস্পরিক সম্পর্ক যেতে পারে way নেমে যেতে ; এটি কেবল যেতে পারে এবং আরও অনেক কিছু Fun মজাদার ঘটনা!)ρ ≥ - 1 / ( মি - 1 )মি = 2ρ = - 1মি = 3ρ = - 1 / 2
সুতরাং শেষ অবধি, কে মোট পর্যবেক্ষণের সংখ্যাটিকে একটি ধ্রুবক হিসাবে বিবেচনা করে আমরা দেখতে পাচ্ছি যে উপরের উত্সের দ্বিতীয় থেকে শেষের লাইনটি কেবল looks মত দেখাচ্ছে
সুতরাং যখন , জমিদারি ছোট যতটা সম্ভব (যাতে আমরা আরো বিষয় কম পরিমাপ নিতে - সীমা, প্রত্যেক বিষয় 1 পরিমাপ) যতটা সম্ভব ছোট হিসাবে অনুমান ভ্যারিয়েন্স করে তোলে। কিন্তু যখন , আমরা আসলে চান যেমন হতে বৃহৎ সম্ভব (যে তাই হয়, সীমা, আমরা সব নিতে একটি একক সাবজেক্ট থেকে পরিমাপ) অর্ডার সম্ভব হিসাবে ছোট হিসাবে ভ্যারিয়েন্স করা হবে। এবং কখন( 1 + ( মি - 1 ) ρ ) × ধনাত্মক ধ্রুবক । । > 0 মি ρ < 0 এম এন এম ρ = 0 মি এনn মি
( 1+) ( মি - 1 ) ρ ) × ধনাত্মক ধ্রুবক ।
ρ > 0মিρ < 0মিn মি। = 0 , অনুমানের বৈচিত্রটি কেবল একটি ধ্রুবক, তাই আমাদের এবং বরাদ্দ কোনও ব্যাপার নয়।
মিএন