শর্তসাপেক্ষ হেটেরোস্কেস্টাস্টিটির সাথে রৈখিক মডেলটির অনুক্রম

ধরুন আমি স্বতন্ত্র ভেরিয়েবল ভেক্টর observe এবং এবং নির্ভরশীল ভেরিয়েবল পর্যবেক্ষণ করি । আমি ফর্মের একটি মডেল ফিট করতে চাই: যেখানে কিছু ইতিবাচক-মূল্যবান দুইবার-differentiable ফাংশন, একটি অজানা স্কেলিং পরামিতি, এবং এর একটি শূন্য-গড়, ইউনিট-ভ্যারিয়েন্স গসিয়ান দৈব চলক (স্বাধীন অবস্থায় গণ্য করা হয় এবং )। এটি মূলত কোয়েঙ্করের হিটারোস্কেস্টাস্টিটির পরীক্ষার সেটআপ (অন্তত আমি যতটা বুঝতে পারি)। $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

আমি পর্যবেক্ষণ এবং , এবং আমি অনুমান করার জন্য চাই এবং । যদিও আমার কয়েকটি সমস্যা রয়েছে: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

আমি নিশ্চিত না যে কীভাবে অনুমানের সমস্যাটি ন্যূনতম স্কোয়ারের মতো কিছু হিসাবে পোজ করবেন (আমি ধরে নিলাম একটি সুপরিচিত কৌশল আছে)। আমার প্রথম অনুমানটি হবে তবে আমি কীভাবে সেই সংখ্যার সমাধান করবেন তা নিশ্চিত নই (সম্ভবত কোনও পুনরাবৃত্ত পরিমাণে নিউটন পদ্ধতিটি করতে পারে)। $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
ধরে নিচ্ছি যে আমি সমস্যাটি একটি বুদ্ধিমান উপায়ে তৈরি করতে পারি এবং কিছু অনুমান , আমি অনুমানগুলির বন্টন জানতে চাই যাতে উদাহরণস্বরূপ আমি হাইপোথিসিস পরীক্ষা করতে পারি। আমি দুটি সহগ ভেক্টরকে পৃথকভাবে পরীক্ষা করার সাথে ভাল আছি, তবে পরীক্ষার জন্য কিছু উপায় পছন্দ , উদাহরণস্বরূপ প্রদত্ত। । $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
সূত্র

ভাল প্রশ্ন. কি দেখতে আপনার ধারণা আছে ? এটা কি মসৃণ? এটা লাফিয়ে আছে? পরিবর্তে অন্তত বর্গ আপনি সর্বোচ্চ সম্ভাবনা tryed আছে (আপনি যদি এই কাগজ জান projecteuclid.org/... ?)

g

$g$

— রবিন Girard

@ আরবিন জিরাড: এমএলই 1 টি প্রশ্নের জন্য একটি ভাল ধারণা I আমি সন্দেহ করি যে গাউসিয়ান ত্রুটির জন্য এমএলই আমার অ্যাডহক মিনিমাইজেশন হিসাবে অভিন্ন অনুমান দেবে । হিসাবে , আমি লক্ষনীয়, আমরা এটা ইতিবাচক-মূল্যবান এবং দুইবার-differentiable হয় অধিগ্রহণ করতে পারেন। আমরা সম্ভবত এটি উত্তল হিসাবে ধরে নিতে পারি, এবং সম্ভবত আমরা এটি বিশ্লেষণযোগ্যও ধরে নিতে পারি।

g

$g$

— shabbychef

সঙ্গে একটি সামান্য বেশি সাধারণ প্রসঙ্গে একটি এর -dimensional ভেক্টর -observations (প্রতিক্রিয়া, বা নির্ভরশীল ভেরিয়েবল), একটি ম্যাট্রিক্স -observations (covariates, বা নির্ভরশীল ভেরিয়েবল) এবং প্যারামিটারগুলি যেমন তবে বিয়োগ-লগ-সম্ভাবনা হ'ল ওপি-র প্রশ্নে, সাথে তির্যক $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ সুতরাং নির্ধারকটি এবং ফলাফল বিয়োগ-লগ-সম্ভাবনা এই ফাংশনটি হ্রাস করার জন্য বিভিন্ন উপায় রয়েছে (ধরে নিলে তিনটি প্যারামিটারগুলি ভিন্নতা স্বতন্ত্র)।

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

আপনি standard এর প্রতিবন্ধকতা মনে করে একটি আদর্শ অপ্টিমাইজেশন অ্যালগরিদম দ্বারা ফাংশনটি হ্রাস করার চেষ্টা করতে পারেন । $\sigma > 0$
আপনি স্থির জন্য কমিয়ে এর প্রোফাইল মাইনাস-লগ-সম্ভাবনা গণনা করতে পারেন এবং তারপরে ফলস্বরূপ ফাংশনটিকে একটি স্ট্যান্ডার্ড অপ্টিমাইজেশন অ্যালগরিদমে প্লাগ করতে পারেন। $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
আপনি পৃথকভাবে তিনটি প্যারামিটারের উপরের অনুকূলকরণের মধ্যে বিকল্প করতে পারেন। ওভার অপ্টিমাইজ বিশ্লেষণী কাজ করা যেতে পারে, ওভার নিখুঁত একটি ভরযুক্ত লিস্ট স্কোয়ার রিগ্রেশন সমস্যা, এবং উপর নিখুঁত হয় সঙ্গে একটি গামা সাধারণ রৈখিক মডেল ঝুলানো সমতূল্য বিপরীত লিঙ্ক। $\sigma$ $\beta_1$ $\beta_2$ $g^2$

শেষ পরামর্শটি আমার কাছে আবেদন করে কারণ এটি এমন সমাধানগুলিতে তৈরি করে যা আমি ইতিমধ্যে ভাল জানি। তদ্ব্যতীত, প্রথম পুনরাবৃত্তি হ'ল এমন কিছু যা আমি যাই হোক না কেন করাকে বিবেচনা করব। অর্থাৎ প্রথম ইনিশিয়াল অনুমান গনা সাধারণ লিস্ট সম্ভাব্য heteroskedasticity উপেক্ষা স্কোয়ার দ্বারা, এবং তারপর একটি প্রাথমিক অনুমান পেতে স্কোয়ারড অবশিষ্টাংশ করার জন্য একটি গামা glm মাপসই আরো জটিল মডেল উপযুক্ত বলে মনে হয় যদি শুধু বার করো। হেটেরোসকস্টাস্টিটিকে সর্বনিম্ন স্কোয়ার দ্রবণে অন্তর্ভুক্ত করে এমন উপকরণ যেমন ওজন অনুমানের পরে উন্নত হতে পারে। $\beta_1$ $\beta_2$ $-$

প্রশ্নের দ্বিতীয় অংশ সম্পর্কে, আমি সম্ভবত রৈখিক সংমিশ্রণের জন্য একটি আস্থা অন্তর গণনা বিবেচনা করব হয় স্ট্যান্ডার্ড এমএলই অ্যাসিম্পটোটিক্স (অ্যাসিম্পটোটিকগুলি কাজ করে এমন সিমুলেশনগুলির সাথে পরীক্ষা করে) বা বুটস্ট্র্যাপিংয়ের মাধ্যমে। $w_1^T\beta_1 + w_2^T\beta_2$

সম্পাদনা: দ্বারা মান MLE asymptotics আমি সহভেদাংক ম্যাট্রিক্স ফিশার তথ্য বিপরীত সঙ্গে MLE বিতরণের জন্য বহুচলকীয় স্বাভাবিক পড়তা ব্যবহার মানে। ফিশার তথ্য এর গ্রেডিয়েন্টের covariance ম্যাট্রিক্স সংজ্ঞা দ্বারা হয় । এটি পরামিতিগুলির উপর সাধারণভাবে নির্ভর করে। আপনি যদি এই পরিমাণের জন্য কোনও বিশ্লেষণাত্মক অভিব্যক্তি খুঁজে পেতে পারেন তবে আপনি এমএলইতে প্লাগ ইন করার চেষ্টা করতে পারেন। বিকল্প হিসাবে, আপনি পর্যবেক্ষিত ফিশার তথ্য দ্বারা ফিশার তথ্যটি অনুমান করতে পারেন , যা এমএলইতে এর হেসিয়ান । আপনার আগ্রহের প্যারামিটারটি দুটি পরামিতিগুলির একটি রৈখিক সংমিশ্রণ $l$ $l$ $\beta$ -ভেক্টরগণ, সুতরাং এমএলইয়ের আনুমানিক মাল্টিভারিয়েট স্বাভাবিক থেকে আপনি এখানে বর্ণিত হিসাবে অনুমানকারীদের বিতরণের একটি সাধারণ সান্নিধ্য পেতে পারেন । এটি আপনাকে আনুমানিক মান ত্রুটি দেয় এবং আপনি আত্মবিশ্বাসের ব্যবধানগুলি গণনা করতে পারেন। এটি অনেকগুলি (গাণিতিক) পরিসংখ্যান বইগুলিতে ভালভাবে বর্ণনা করা হয়েছে, তবে যুক্তিযুক্ত পাভিটান দ্বারা সমস্ত সম্ভাবনার মধ্যে আমি যুক্তিসঙ্গতভাবে অ্যাক্সেসযোগ্য উপস্থাপনাটি সুপারিশ করতে পারি। যাইহোক, অ্যাসিম্পটোটিক তত্ত্বের আনুষ্ঠানিক বিকাশ মোটামুটি জটিল এবং নিয়মিত কিছু শর্তের উপর নির্ভর করে এবং এটি কেবল বৈধ অ্যাসিম্পটোটিক দেয়ডিস্ট্রিবিউশন। অতএব, যদি সন্দেহ হয় আমি সর্বদা একটি নতুন মডেলের সাথে কিছু সিমুলেশন করতাম যাচাই করতে আমি বাস্তববাদী পরামিতি এবং নমুনা আকারের ফলাফলগুলিতে বিশ্বাস করতে পারি কিনা তা যাচাই করতে। সরল, অ-প্যারাম্যাট্রিক বুটস্ট্র্যাপিং যেখানে আপনি প্রতিস্থাপনের সাথে পর্যবেক্ষণ করা ডেটা সেট থেকে ট্রিপল স্যাম্পল করেন সেগুলি উপযুক্ত বিকল্প হতে পারে যদি যদি ফিটিং পদ্ধতিটি সময় ব্যয় না করে থাকে। $(y_i,x_i,z_i)$

— NRH
সূত্র

কি হয় মান MLE asymptotics?

— shabbychef

@ শ্যাববিচেফ, দেরি হয়ে গেছে। আরও বিশদ ব্যাখ্যা দিয়েছি। নোট করুন যে অ্যাসিম্পটোটিকগুলি তত্ত্ব অনুসারে কাজ করার জন্য বর্ণিত হিসাবে মডেলটি সঠিক হওয়া দরকার এবং অনুমানকারী অবশ্যই এমএলই হতে হবে। সাধারণ অনুমানের ক্রিয়া এবং সমীকরণের অনুমানের কাঠামোর মধ্যে আরও সাধারণ ফলাফল পাওয়া যায়, উদাহরণস্বরূপ, অর্ধ-সম্ভাবনা বইটি এবং হেইডের দ্বারা ... দেখুন ।

— এনআরএইচ