কেন তথ্য মাপদণ্ড (সামঞ্জস্য করা হয়নি)

9

টাইম সিরিজের মডেলগুলিতে, এআরএমএ-জিআরচের মতো মডেলগুলির যথাযথ ল্যাগ বা ক্রম নির্বাচন করতে বিভিন্ন তথ্য মানদণ্ড, যেমন এআইসি, বিআইসি, এসআইসি ইত্যাদি ব্যবহার করা হয়।

আমার প্রশ্ন খুব সহজ, আমরা কেন উপযুক্ত মডেল চয়ন করতে সমন্বিত ব্যবহার করি না ? আমরা এমন মডেল নির্বাচন করতে পারি যা সমন্বিত । উচ্চতর মানের দিকে পরিচালিত করে । কারণ সমন্বিত এবং তথ্য মানদণ্ড উভয়ই মডেলটিতে অতিরিক্ত সংখ্যক রেজিস্ট্রারদের জন্য শাস্তি দেয়, যেখানে প্রাক্তন দন্ডিত করে এবং পরে সম্ভাবনার মানটিকে দন্ড দেয়। $R^2$ $R^2$ $R^2$ $R^2$

— নীরজ
সূত্র

আমি উত্তরে (নীচে) কিছু অনুপস্থিত হতে পারি তবে আর-স্কোয়ারের পাশাপাশি অ্যাডজাস্টেড আর-স্কোয়ারগুলি ওএলএস অনুমিত মডেলের তুলনামূলকভাবে সীমিত শ্রেণির জন্য উপযুক্ত যেখানে এআইসিসি, বিআইসিসি, ইত্যাদি সাধারণীকরণের বিস্তৃত শ্রেণির জন্য উপযুক্ত মডেলগুলি অনুমান করা যায়, সম্ভবত, এমএল বা কোনও বৈকল্পিক সহ।

— মাইক হান্টার

12

আমি যুক্তি দিয়ে বলব যে অন্তত লিনিয়ার মডেলগুলি (এআর মডেলের মতো) নিয়ে আলোচনা করার সময়, সামঞ্জস্য করা $R^2$ এবং এআইসি এর চেয়ে আলাদা নয়।

কিনা তা বিবেচনা করুন $X_2$ অন্তর্ভুক্ত করা উচিত

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$ এটি মডেলগুলির সাথে তুলনা করার সমতুল্য

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$ কোথায়

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$ । আমরা বলি যে

M_{2}

$\mathcal{M}_2$ যদি সত্য মডেল হয়

β_{2} \neq 0

$\beta_2\neq0$ । লক্ষ্য করুন

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$ । মডেলগুলি এভাবে বাসা বাঁধে । একটি মডেল নির্বাচন পদ্ধতি

\hat{M}

$\widehat{\mathcal{M}}$ একটি ডেটা-নির্ভর নিয়ম যা বেশ কয়েকটি মডেলের মধ্যে সবচেয়ে প্রশংসনীয় নির্বাচন করে।

আমরা বলি $\widehat{\mathcal{M}}$ হয় সামঞ্জস্যপূর্ণ যদি

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

সামঞ্জস্য বিবেচনা করুন $R^2$ । যে, নির্বাচন করুন $\mathcal{M}_1$ যদি $\bar{R}^2_1>\bar{R}^2_2$ । যেমন $\bar{R}^2$ একঘেয়েমি হ্রাস হয় $s^2$ এই পদ্ধতিটি হ্রাস করার সমতুল্য $s^2$ । পরিবর্তে, এটি হ্রাস করার সমতুল্য $\log(s^2)$ । যথেষ্ট পরিমাণে বড় $n$ , পরবর্তী হিসাবে লেখা যেতে পারে

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$ কোথায়

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ ত্রুটি বৈকল্পিকের এমএল অনুমানকারী। মডেল নির্বাচন উপর ভিত্তি করে

{\bar{R}}^{2}

$\bar{R}^2$ অতএব ক্ষুদ্রতমের সাথে মডেলটি বেছে নেওয়ার মতো অসম্মানীয় equivalent

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$ । এই পদ্ধতিটি বেমানান।

প্রস্তাব :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

প্রুফ :

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$ যেখানে দ্বিতীয় থেকে শেষ লাইন অনুসরণ করে কারণ পরিসংখ্যানগুলি লিনিয়ার রিগ্রেশন ক্ষেত্রে এলআর পরিসংখ্যান যা একটি অ্যাসিম্পটোটিক অনুসরণ করে

χ_{K_{2}}^{2}

$\chi^2_{K_2}$ নাল বিতরণ। Qed

এখন আকাইকের মানদণ্ড বিবেচনা করুন,

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$ সুতরাং, এআইসি "পেনাল্টি শর্ত," এর বিপরীতে অতিরিক্ত রেজিস্ট্রারদের দ্বারা আরোপিত এসএসআর হ্রাসও বন্ধ করে দেয়, যা বিপরীত দিকে নির্দেশ করে। সুতরাং, চয়ন করুন

M_{1}

$\mathcal{M}_1$ যদি

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$ অন্যথায় নির্বাচন করুন

M_{2}

$\mathcal{M}_2$ ।

এটি দেখা যায় যে $AIC$ তিনটি উপরের প্রমাণটি লাইন দিয়ে চালিয়ে যাওয়ার সাথেও বেমানান $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ । সমন্বিত $R^2$ এবং $AIC$ এইভাবে "বৃহত" মডেলটি চয়ন করুন $\mathcal{M}_2$ ইতিবাচক সম্ভাবনা সহ, এমনকি যদি $\mathcal{M}_1$ সত্য মডেল।

এআইসিতে জটিলতার জন্য জরিমানা অ্যাডজাস্ট করার চেয়ে কিছুটা বড় $R^2$ যদিও এটি তদারকি করার ক্ষেত্রে কম প্রবণ হতে পারে। এবং এটিতে অন্যান্য দুর্দান্ত বৈশিষ্ট্য রয়েছে (কেএল ডাইভার্জেন হ্রাস করে সত্য মডেলটিকে যদি বিবেচিত মডেলগুলির সেটে না হয়) যা আমার পোস্টে সম্বোধন করা হয়নি।

— ক্রিস্টোফ হ্যাঙ্ক
সূত্র

1

দুর্দান্ত উত্তর: খুব ভারী নয় তবুও সঠিক! এটি যদি গতকাল থাকত তবে আমি আমার পোস্ট করতাম না।

— রিচার্ড হার্ডি

এআরএমএ-জিআরচ মামলার বিষয়ে কী? কেমন করে

R_{a d j}^{2}

$R^2_{adj}$ আমাং এমএ এবং জিআরচ পদগুলি নির্বাচন করতে চান?

— জাচারি ব্লুমেনফিল্ড

আমি বলার সাহস করব না। আপনি যেমন ব্যাখ্যা করেছেন এটি এমন কোনও মডেলের ফিটের জন্য আর 2 অর্থ কী তাও পরিষ্কার নয়।

— ক্রিস্টোফ হ্যাঙ্ক

5

জরিমানা $R^2_{adj}$ মডেল নির্বাচনের ক্ষেত্রে এআইসি বা বিআইসির দ্বারা উত্থাপিত হিসাবে দুর্দান্ত বৈশিষ্ট্য পাওয়া যায় না। জরিমানা $R^2_{adj}$ করতে যথেষ্ট $R^2_{adj}$ জনসংখ্যার একটি নিরপেক্ষ অনুমানক $R^2$ যখন রেজিস্ট্রারগুলির মধ্যে কেউই আসলে মডেলের অন্তর্ভুক্ত না (ডেভ গিলসের ব্লগ পোস্ট অনুসারে "কী সংবেদনের মধ্যে" অ্যাডজাস্টেড "আর-স্কোয়ার নিরপেক্ষ?" এবং "অ্যাডজাস্টেড" কোপিলিটি অব ডিটারিমেশন "এর বৈশিষ্ট্যগুলি সম্পর্কে আরও কিছু রয়েছে ); যাহোক, $R^2_{adj}$ কোনও অনুকূল মডেল নির্বাচনকারী নয়।

(দ্বন্দ্বের দ্বারা প্রমাণ থাকতে পারে: যদি এআইসি এক অর্থে অনুকূল হয় এবং অন্যদিকে বিআইসি অনুকূল হয়, এবং $R^2_{adj}$ তবে তাদের উভয়ের সমতুল্য নয় $R^2_{adj}$ এই দুটি ইন্দ্রিয়ের মধ্যে কোনওটিই অনুকূল নয়))

— রিচার্ড হার্ডি
সূত্র

এর আগে আমাকে কতগুলি জিআরচ প্যারামিটার যুক্ত করতে হবে

R^{2}

$R^2$ বৃদ্ধির? :) .... আমি বিশ্বাস করি পারস্পরিক সম্পর্কযুক্ত ত্রুটিগুলি (এমএ মডেলের মতো) ধরে নেওয়ার জন্যও একই রকম যুক্তি দেওয়া যেতে পারে, একটি জিএলএস মডেল সাধারণ ন্যূনতম স্কোয়ারের তুলনায় স্কোয়ার অবশিষ্টাংশের যোগফল হ্রাস করে না। এমএ এবং জিআরচ উভয় ক্ষেত্রে প্যারামিটারগুলি (ব্যাখ্যাযোগ্য ভেরিয়েবল নয়, যা

R^{2} a d j

$R^2{adj}$ জন্য সমন্বয় করা হয়) মডেল যোগ করা হয়। এমএ এবং জিআরচ প্যারামিটারগুলি হ্রাস করার জন্য যুক্ত করা হয় না

S S R

$SSR$ পরিবর্তে তারা সম্ভাবনা বাড়াতে এবং / অথবা আইডি ত্রুটির শর্তগুলির অভাব প্রতিফলিত করতে স্কোয়ার অবশিষ্টাংশগুলির একটি ওজনযুক্ত পরিমাণ হ্রাস করে ।

— জাচারি ব্লুমেনফিল্ড

এটি কি প্রকৃতপক্ষে মূল পোস্টটিকে সম্বোধন করবে বা আমার উত্তরটি? যাই হোক না কেন, আমি আপনার বিষয়গুলির সাথে একমত

— রিচার্ড হার্ডি

আমি যে বিষয়টি উল্লেখ করার চেষ্টা করছিলাম সেটি হ'ল

R_{a d j}^{2}

$R^2_{adj}$ জিআরচ উপাদানগুলি (এবং সম্ভবত এমএ উপাদানগুলিও) বেছে নিতে সত্যই ব্যবহৃত হতে পারে না কারণ এটি এর ভগ্নাংশের উপর ভিত্তি করে

S S T - S S R

$SST-SSR$ উপর

S S T

$SST$ যখন ত্রুটির শর্তাদি iid না হয় তখন যা বৈকল্পিক পক্ষের অনুমানকারী। (আপনি যে পক্ষপাতিত্বের কথা বলছেন সেখানে এটি কেবল একটি নির্দিষ্ট ক্ষেত্রে)। এআরএমএ-জিআরচের ক্ষেত্রে, আপনি কখনই জিআরচ উপাদানগুলির সাথে কোনও মডেল নির্বাচন করবেন না, এমনকি যদি ডেটাতে স্টকস্টিক অস্থিরতা ছিল, কারণ এটি বৃদ্ধি পায় না

R^{2}

$R^2$ । মূলত, আমি নির্দিষ্ট উদাহরণ দেওয়ার চেষ্টা করে আপনার সাথে একমত হই।

— জ্যাচারি ব্লুমেনফিল্ড