পূর্ণ কলামের চেয়ে কম সংখ্যার সাথে সীমাবদ্ধ সর্বাধিক সম্ভাবনা

এই প্রশ্নটি লিনিয়ার মডেলের একটি নির্দিষ্ট সংস্করণে সীমাবদ্ধ সর্বাধিক সম্ভাবনার (আরএমএল) অনুমানের সাথে সম্পর্কিত, যথা:

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

যেখানে হ'ল একটি ( ) ম্যাট্রিক্স প্যারামেট্রাইজড , যেমন । হ'ল উপদ্রব পরামিতিগুলির একটি অজানা ভেক্টর; সুদ আনুমানিক হিসাব রয়েছে , এবং আমরা আছে । সর্বাধিক সম্ভাবনার দ্বারা মডেলটি নির্ধারণ করা কোনও সমস্যা নয়, তবে আমি আরএমএল ব্যবহার করতে চাই। এটি সুপরিচিত, উদাহরণস্বরূপ LaMotte দেখুন , সম্ভাবনা , যেখানে কোনও আধা-orthogonal ম্যাট্রিক্স যেমন লেখা যেতে পারে $X(\alpha)$ $n \times p$ $\alpha \in \mathbb R^k$ $\Sigma(\alpha)$ $\beta$ $\alpha$ $k\leq p\ll n$ $A'Y$ $A$ $A'X=0$

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

যখন $X$ পূর্ণ কলাম র‌্যাঙ্ক হয় ।

আমার সমস্যাটি হ'ল কিছু নিখুঁত যুক্তিসঙ্গত এবং বৈজ্ঞানিকভাবে আকর্ষণীয় হিসাবে,, $\alpha$ ম্যাট্রিক্স $X(\alpha)$ পুরো কলামের পদমর্যাদার নয়। উপরোক্ত সীমাবদ্ধ সম্ভাবনার বিষয়ে আমি যে সমস্ত সেগুলি নির্ধারক সমতাগুলি ব্যবহার করে যা প্রযোজ্য নয় যখন $\vert X'X\vert=0$ , অর্থাৎ তারা পূর্ণ কলাম র‌্যাঙ্ক ধরে নেয় $X$ । এর অর্থ এই যে প্যারামিটার জায়গার অংশগুলিতে আমার উপরের সীমিত সম্ভাবনাগুলি কেবলমাত্র সেটিংয়ের জন্যই সঠিক, এবং এটি আমি অনুকূলিত করতে চাই না।

প্রশ্ন: পরিসংখ্যানের সাহিত্যে বা অন্য কোথাও $X$ পূর্ণ কলামের পদমর্যাদা রয়েছে এমন ধারনা ছাড়াই কি আরও সাধারণ বিধিনিষেধের সম্ভাবনা রয়েছে ? যদি তা হয় তবে তারা দেখতে কেমন?

কিছু পর্যবেক্ষণ:

ঘৃণ্য অংশটি আবিষ্কার করা কোনও জন্য সমস্যা নয় এবং এটি মুর-পেনরোজ বিপরীত হিসাবে উপরে লেখা যেতে পারে $X(\alpha)$
এর কলাম একটি (যে কোন) orthonormal ভিত্তি $A$ $C(X)^\bot$
পরিচিত জন্য, এর সম্ভাবনা সহজেই প্রতিটি জন্য রচনা করা যেতে পারে , তবে অবশ্যই মধ্যে ভিত্তিক ভেক্টরগুলির সংখ্যা, যেমন কলামগুলি কলামের স্তরের উপর নির্ভর করে $A$ $A'Y$ $\alpha$ $A$ $X$

যদি এই প্রশ্নে আগ্রহী কেউ যদি এর সঠিক প্যারামিটারাইজেশন বিশ্বাস করে সাহায্য করবে, আমাকে জানান এবং আমি সেগুলি লিখব। যদিও এই মুহুর্তে, আমি বেশিরভাগই সঠিক মাত্রার সাধারণ জন্য একটি আরএমএল-তে আগ্রহী । $X,\Sigma$ $X$

মডেলের আরও বিশদ বিবরণ এখানে অনুসরণ করা। যাক হতে একটি -dimensional প্রথম আদেশ ভেক্টর Autoregression [VAR (1)] যেখানে । মনে করুন প্রক্রিয়াটি কিছু নির্ধারিত মান সময়ে সময় এ শুরু হয়েছে । $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

নির্ধারণ । নিম্নোক্ত সংজ্ঞা এবং স্বরলিপি ব্যবহার করে মডেলটি রৈখিক মডেল ফর্ম লেখা যেতে পারে : $Y = [y_1', \dots, y_T']'$ $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

যেখানে একটি মাত্রিক ভেক্টরকে বোঝায় এবং এর প্রথম মান ভিত্তিক ভেক্টর । $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

বোঝাতে । লক্ষ্য করুন যে যদি পূর্ণ পদে না থাকে তবে পূর্ণ কলামের র‌্যাঙ্ক নয়। এটি অন্তর্ভুক্ত করে, উদাহরণস্বরূপ, এমন ক্ষেত্রে যেখানে এর অন্যতম উপাদান অতীতের উপর নির্ভর করে না। $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

আরএএমএল ব্যবহার করে ভিআরএস অনুমানের ধারণাটি সুপরিচিত, উদাহরণস্বরূপ, ভবিষ্যদ্বাণীমূলক রিগ্রেশনস সাহিত্য (উদাহরণস্বরূপ ফিলিপস এবং চেন এবং এর উল্লেখগুলি দেখুন।)

এটা তোলে নির্মল যে ম্যাট্রিক্স উপযুক্ত হতে পারে স্বাভাবিক অর্থে একটি নকশা ম্যাট্রিক্স নয়, এটা শুধু মডেল থেকে বের বৃক্ষের পতন হয় এবং যদি না আছে অবরোহমার্গী জ্ঞান আছে, যতটা আমি বলতে পারেন, reparameterize কোন উপায় এটি পুরো পদমর্যাদা হতে হবে। $X$ $A$

আমি গণিত.স্ট্যাকেক্সচেঞ্জে একটি প্রশ্ন পোস্ট করেছি যা এই প্রশ্নের সাথে সম্পর্কিত এই অর্থে যে গণিত প্রশ্নের উত্তর এই প্রশ্নের উত্তর দেওয়ার সম্ভাবনা অর্জনে সহায়তা করতে পারে।

— ekvall
সূত্র

প্রশ্নটির সমাধানের একটি উপায় হতে পারে জিজ্ঞাসা করা, লিনিয়ার মিশ্রিত মডেলগুলিতে কী ঘটে যখন মডেল ম্যাট্রিক্স পূর্ণ কলামের র‌্যাঙ্ক না থাকে?

— গ্রিনপার্কার

অনুগ্রহ করে @ গ্রীনপারকারের জন্য ধন্যবাদ এবং হ্যাঁ, যদি কোনও রৈখিক মিশ্র মডেলটির জন্য সম্পূর্ণ কলাম র‌্যাঙ্কের স্থির প্রভাবের ডিজাইনের ম্যাট্রিক্সের চেয়ে কম সহ একটি সীমাবদ্ধ সম্ভাবনা রচনা করা যায় তবে এটি সহায়তা করবে।

— একওয়াল

সূচকীয় অংশটি আবিষ্কার করা কোনও এক্স (α) এক্স (α) এর জন্য সমস্যা নয় এবং এটি মুর-পেনরোজ বিপরীত হিসাবে উপরে লেখা যেতে পারে

আমার সন্দেহ আছে যে এই পর্যবেক্ষণটি সঠিক। সাধারণীকরণ উল্টোটি আসলে আপনার অনুমানকারীদের [রাও ও মিত্র] উপর অতিরিক্ত রৈখিক বিধিনিষেধ আরোপ করে, সুতরাং "মুর-পেনরোজ বিপরীতমুখী অংশটি কাজ করবে" অনুমান করার পরিবর্তে আমাদের যৌথ সম্ভাবনাটিকে সামগ্রিকভাবে বিবেচনা করা উচিত। এটি আনুষ্ঠানিকভাবে সঠিক বলে মনে হচ্ছে তবুও আপনি সম্ভবত মিশ্র মডেল সঠিকভাবে বুঝতে পারবেন না।

$\blacksquare$ (1) মিশ্রিত প্রভাব মডেলগুলি কীভাবে সঠিকভাবে ভাবেন?

জিএম-ইনভার্স (ওআর মুর-পেনরোজ ইনভার্স, যা একটি বিশেষ ধরণের প্রতিচ্ছবি জি-ইনভার্স [রাও এবং মিত্র]) যান্ত্রিকভাবে আরএমএলএর দেওয়া সূত্রে প্লাগ করার চেষ্টা করার আগে আপনাকে মিশ্রিত প্রভাবের মডেলটি ভাবতে হবে have সর্বাধিক সম্ভাবনা অনুমানকারী, নীচে একই।)

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

মিশ্র প্রভাব বিবেচনা করার একটি সাধারণ উপায় হ'ল ডিজাইনের ম্যাট্রিক্সের এলোমেলো প্রভাবের অংশটি পরিমাপের ত্রুটির দ্বারা প্রবর্তন করা হয়েছে, যা "স্টোকাস্টিক প্রেডিক্টর" এর অপর নাম বহন করে যদি আমরা অনুমানের পরিবর্তে ভবিষ্যদ্বাণী সম্পর্কে আরও যত্নশীল হন। পরিসংখ্যান নির্ধারণে স্টোকাস্টিক ম্যাট্রিক্স অধ্যয়নের এটি একটি historicalতিহাসিক প্রেরণাও।

আমার সমস্যাটি হ'ল কিছু নিখুঁত যুক্তিসঙ্গত এবং বৈজ্ঞানিকভাবে আকর্ষণীয় হিসাবে, mat ম্যাট্রিক্স এক্স (α) এক্স (α) সম্পূর্ণ কলামের র‌্যাঙ্কের নয়।

সম্ভাবনা চিন্তা করার এই পদ্ধতিটি দেওয়া, পূর্ণ পদে না থাকার সম্ভাবনা শূন্য। কারণ ম্যাট্রিক্সের প্রবেশের ক্ষেত্রে নির্ধারক ফাংশন অবিচ্ছিন্ন এবং সাধারণ বন্টন একটি অবিচ্ছিন্ন বিতরণ যা একক পয়েন্টে শূন্য সম্ভাবনা নির্ধারণ করে। ত্রুটিযুক্ত র‌্যাঙ্ক সম্ভাবনাটি ইতিবাচক যদি আপনি এটিকে like এর মতো প্যাথোলজিকাল পদ্ধতিতে প্যারামিটারাইজ করেন তবে । $X(\alpha)$ $X(\alpha)$ $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

সুতরাং আপনার প্রশ্নের সমাধানটি বরং সরাসরি সরাসরি, আপনি কেবল নিজের ডিজাইনের ম্যাট্রিক্স (কেবলমাত্র স্থির প্রভাবের অংশটিই বোঝা যায়) এবং সমস্ত উদ্দীপনা চালিত করতে পার্টবার্বড ম্যাট্রিক্স (যা সম্পূর্ণ পদমর্যাদার) ব্যবহার করুন। আপনার মডেলটি জটিল শ্রেণিবদ্ধতা না থাকলে বা নিজেই একবচন কাছাকাছি না থাকে, আপনি যখন চূড়ান্ত নেন তখন কোনও গুরুতর সমস্যা হয় না কারণ নির্ধারক ক্রিয়াটি অবিচ্ছিন্ন থাকে এবং আমরা নির্ধারক কার্যের অভ্যন্তরে সীমাটি নিতে পারি। । এবং ক্ষেত্রে বিপরীত রূপ $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ শেরম্যান-মরিশন-উডবারি উপপাদ্য দ্বারা প্রাপ্ত করা যেতে পারে। এবং ম্যাট্রিক্স এর নির্ধারকটি [হর্ন এবং জনসন] এর মতো স্ট্যান্ডার্ড লিনিয়ার বীজগণিত বইয়ে দেওয়া হয়েছে। অবশ্যই আমরা ম্যাট্রিক্সের প্রতিটি এন্ট্রির ক্ষেত্রে নির্ধারক লিখতে পারি, তবে পার্টটৌথুনকে সর্বদা পছন্দ করা হয় [হর্ন এবং জনসন]। $I+X$

$\blacksquare$ (২) কোনও মডেলের উপদ্রব পরামিতিগুলির সাথে আমাদের কীভাবে উচিত?

আপনি যেমনটি দেখেছেন, মডেলটির এলোমেলো প্রভাব অংশটি মোকাবেলা করার জন্য আমাদের এটিকে "উপদ্রব পরামিতি" বাছাই করা উচিত। সমস্যাটি হ'ল: RMLE হ'ল উপদ্রব পরামিতিগুলি মুছে ফেলার সবচেয়ে উপযুক্ত উপায় কি? এমনকি জিএলএম এবং মিশ্র প্রভাবের মডেলগুলিতে, আরএমএলই একমাত্র পছন্দ থেকে দূরে। [বসু] উল্লেখ করেছেন যে অনুমানের সেটিংগুলিতে প্যারামিটারগুলি বাদ দেওয়ার আরও অনেকগুলি উপায়। আজ লোকেরা আরএমএলই এবং বায়েশিয়ান মডেলিংয়ের অভ্যন্তরীন বেছে নেওয়ার প্রবণতা রয়েছে কারণ তারা দুটি জনপ্রিয় কম্পিউটার ভিত্তিক সমাধানের সাথে যথাক্রমে: যথাক্রমে EM এবং MCMC।

আমার মতে স্থির প্রভাবের অংশে ত্রুটিযুক্ত পদমর্যাদার অবস্থার একটি পূর্বের পরিচয় করা অবশ্যই আরও উপযুক্ত। অথবা আপনি আপনার মডেলটিকে পুরো পদমর্যাদায় পরিণত করতে পুনরায় পরিবর্তন করতে পারেন।

তদ্ব্যতীত, যদি আপনার স্থির প্রভাব পুরো র‌্যাঙ্কের না হয়, আপনি ভুল-নির্দিষ্ট কোভেরিয়েন্স কাঠামোর উপরে উদ্বিগ্ন হতে পারেন কারণ স্থির প্রভাবগুলির মধ্যে স্বাধীনতার ডিগ্রিগুলি ত্রুটির অংশে চলে যাওয়া উচিত ছিল। এই বিষয়টিকে আরও স্পষ্ট দেখতে, আপনি জিএলএস (সাধারণ ন্যূনতম বর্গ) for এর জন্য এমএলই (এছাড়াও এলএসই) বিবেচনা করতে পারেন যেখানে হ'ল ত্রুটি শর্তের সমবায় কাঠামো, সেই ক্ষেত্রে যেখানে পূর্ণ পদ নেই। $\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

$\blacksquare$ (3) আরও মন্তব্য

সমস্যাটি কীভাবে নয় যে আপনি ম্যাট্রিক্সের স্থির প্রভাবের অংশটি পুরো র‌্যাঙ্কের নয় এমন ক্ষেত্রে এটি কীভাবে আরএমএলই পরিবর্তন করে তা কার্যকর করে তোলেন; সমস্যাটি হ'ল সেই ক্ষেত্রে আপনার মডেল নিজেই সমস্যাযুক্ত হতে পারে যদি পূর্ণ-র‌্যাঙ্কের ক্ষেত্রে ইতিবাচক সম্ভাবনা থাকে।

একটি প্রাসঙ্গিক ক্ষেত্রে আমি মুখোমুখি হয়েছি যে স্থানিক ক্ষেত্রে লোকেরা গণ্য বিবেচনার কারণে [উইকলে] স্থির প্রভাব অংশের র‌্যাঙ্ক হ্রাস করতে পারে।

এ জাতীয় পরিস্থিতিতে আমি কোনও "বৈজ্ঞানিকভাবে আকর্ষণীয়" মামলা দেখিনি, আপনি এমন কিছু সাহিত্য দেখিয়ে দিতে পারেন যেখানে পুরো-র‌্যাঙ্কবিহীন মামলাটি সবচেয়ে উদ্বেগের বিষয়? আমি আরও জানতে এবং আলোচনা করতে চাই, ধন্যবাদ।

$\blacksquare$ রেফারেন্স

[রাও ও মিত্র] রাও, ক্লেয়াম্পুদি রাধাকৃষ্ণ, এবং সুজিত কুমার মিত্র। ম্যাট্রিক এবং এর অ্যাপ্লিকেশনগুলির বিপরীতমুখীকরণ। ভোল। 7. নিউ ইয়র্ক: উইলি, 1971

[বসু] বসু, দেবব্রত। "উপদ্রব পরামিতিগুলি নির্মূলের দিকে" " আমেরিকান স্ট্যাটিস্টিকাল অ্যাসোসিয়েশন জার্নাল 72.358 (1977): 355-366।

[হর্ন ও জনসন] হর্ন, রজার এ, এবং চার্লস আর জনসন। ম্যাট্রিক্স বিশ্লেষণ। কেমব্রিজ বিশ্ববিদ্যালয়ের প্রেস, ২০১২।

[উইক্লে] উইকল, ক্রিস্টোফার কে। "স্থানিক প্রক্রিয়াগুলির জন্য নিম্ন-স্তরের উপস্থাপনা"। স্থানিক পরিসংখ্যানের হ্যান্ডবুক (2010): 107-118।

— Henry.L
সূত্র

আপনার আগ্রহের জন্য ধন্যবাদ এবং উত্তরের মাধ্যমে খুব চিন্তাভাবনা করার জন্য, +1 চেষ্টা করার জন্য। আমি এটিকে আরও বিশদে পড়ব এবং কিছু স্পষ্টতা নিয়ে ফিরে আসব। আমি মনে করি একটি প্রথম জিনিস যা আমাকে স্পষ্ট করতে হবে তা হ'ল এই মডেলটিতে কোনও এলোমেলো প্রভাব নেই, এবং ম্যাট্রিক্স কোনও ডিজাইনের ম্যাট্রিক্স নয়, সম্ভবত আরও ভাল শব্দের অভাব বাদ দিয়ে; এটি প্যারামিটার- একটি অত্যন্ত অ-লিনিয়ার ফাংশন (ডিটারমিনিস্টিক) যা ভেক্টর অটোরিগ্রেসিভ প্রসেসের সহগ ম্যাট্রিক্সকে (এর ভেক্টরাইজেশন) সমন্বিত করে, তাই নিম্ন-পদমর্যাদার হওয়ার সম্ভাবনা ধারণাটি অর্থবোধক নয়।

X

$X$

α

$\alpha$

— একওয়াল

@ শিক্ষার্থী 1001 হ্যাঁ, যেহেতু আমি এটিকে মিশ্র মডেলের পরিবর্তে আরও বেশি জিএলএমের মতো বোধ করি তবে কোনও স্পষ্টতা বোধ করতে দ্বিধা বোধ করবেন না। আমি যদি উত্তর দিতে পারি তবে আমি আবার চেষ্টা করার চেষ্টা করব :)

— হেনরি.এল

@ ছাত্র 1001 আপনি যদি পারেন তবে পুরো মডেলটি লিখুন এবং আমি এ জাতীয় ঘটনাটি সম্ভবত গবেষণা করে এআর (1) অধ্যয়ন করতে চাই বলে অনুমান করি।

— হেনরি.এল

"সম্ভাবনা চিন্তা করার এই পদ্ধতিটি দেওয়া, পুরো পদমর্যাদার নয় বলে সম্ভাবনা শূন্য।" সঠিক উত্তর, ভুল সমস্যা। সুনির্দিষ্ট নির্ভুলতায় এটি সংখ্যাগতভাবে পুরো র‌্যাঙ্কের না হওয়ার সম্ভাবনাটি শূন্য নয়।

X (α)

$X(\alpha)$

— মার্ক এল। স্টোন

@ মার্কএল.স্টোন যদি আপনি সাবধানে লাইনগুলি পড়েন তবে আমি এটি ইতিমধ্যে সমাধান হিসাবে উত্তেজনাপূর্ণ সরবরাহ করেছি, যা সংখ্যাসূচক এককতার মানক সমাধান। এবং ওপি জানিয়েছে যে সে বিবরণটি আপডেট করবে, তাই আমি অনুমান করি যে আমরা সঠিকভাবে প্রণয়ন করা সমস্যাটি সম্পর্কে কিছুটা ধারণা নিয়ে পৌঁছে যাব।

— হেনরি.এল