কোনও মডেলের আকাইকে তথ্য মানদণ্ড (এআইসি) স্কোর বলতে কী বোঝায়?

এখানে সাধারণ প্রশ্নগুলির অর্থ কী তা সম্পর্কে আমি এখানে কিছু প্রশ্ন দেখেছি, তবে আমার উদ্দেশ্যটির জন্য এগুলি খুব সাধারণ। আমি এআইসির স্কোর বলতে কী বোঝায় তা গাণিতিকভাবে বোঝার চেষ্টা করছি।

তবে একই সাথে, আমি এমন কঠোর প্রমাণ চাই না যা আমাকে আরও গুরুত্বপূর্ণ বিষয়গুলি না দেখায়। উদাহরণস্বরূপ, যদি এটি ক্যালকুলাস হয় তবে আমি ইনফিনাইটিমালগুলি নিয়ে খুশি হব এবং যদি এটি সম্ভাবনার তত্ত্ব ছিল তবে আমি পরিমাপের তত্ত্বটি ছাড়াই খুশি হব।

আমার চেষ্টা

পড়ার মাধ্যমে এখানে , আর আমার নিজের, কিছু স্বরলিপি চিনি মডেলের এআইসি নির্ণায়ক হয় ডেটা সেটটি উপর নিম্নরূপ: যেখানে মডেল পরামিতি সংখ্যা , এবং মডেল সর্বোচ্চ সম্ভাবনা ফাংশন মান ডেটা সেটটি উপর । $\text{AIC}_{m,D}$ $m$ $D$

{AIC}_{m, D} = 2 k_{m} - 2 \ln (L_{m, D})

$\text{AIC}_{m,D} = 2k_m - 2 \ln(L_{m,D})$

k_{m}

$k_m$

m

$m$

L_{m, D}

$L_{m,D}$

m

$m$

D

$D$

উপরোক্ত বিষয়গুলি কী বোঝায় তা এখানে আমার বোঝার জন্য:

m = \underset{θ}{arg max} Pr (D | θ)

$m = \underset{\theta}{\text{arg max}\,} \Pr(D|\theta)$

এই পথে:

$k_m$ পরামিতি সংখ্যা $m$ ।
$L_{m,D} = \Pr(D|m) = \mathcal{L}(m|D)$ ।

আসুন এখন :

\begin{aligned} {AIC}_{m, D} = & 2 k_{m} - 2 \ln (L_{m, D}) \\ = & 2 k_{m} - 2 \ln (Pr (D | m)) \\ = & 2 k_{m} - 2 \log_{e} (Pr (D | m)) \end{aligned}

$\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2k_m - 2 \ln(\Pr(D|m))\\ =& 2k_m - 2 \log_e(\Pr(D|m))\\ \end{split}$

স্পষ্টতই, মডেল অধীনে $\Pr(D|m)$ ডেটাसेट পর্যবেক্ষণের সম্ভাবনা । সুতরাং মডেল যত ভাল ডেটাসেট ফিট করে , তত বৃহত্তর হয়ে যায় এবং এইভাবে শব্দটি আরও ছোট হয়। $D$ $m$ $m$ $D$ $\Pr(D|m)$ $-2\log_e(\Pr(D|m))$

সুতরাং স্পষ্টভাবে এআইসি তাদের ডেটাসেটগুলিতে উপযুক্ত মডেলগুলির পুরষ্কার প্রদান করে (কারণ ছোট fit $\text{AIC}_{m,D}$ better আরও ভাল)।

অন্যদিকে, শব্দটি $2k_m$ স্পষ্ট করে $\text{AIC}_{m,D}$ বড় করে আরও বেশি পরামিতিগুলির মডেলগুলিকে শাস্তি দেয় ।

অন্য কথায়, এআইসি একটি পরিমাপ বলে মনে হচ্ছে যা:

সঠিক মডেলগুলি পুরষ্কার দেয় (যারা $D$ আরও ভাল ফিট করে ) লোগারিটিমিকভাবে। উদাহরণস্বরূপ, এটি ফিটনেস বৃদ্ধির প্রতি $0.4$ থেকে পর্যন্ত $0.5$ পুরষ্কার দেয় এটি ফিটনেসের বৃদ্ধি $0.8$ থেকে তুলনায় বেশি করে দেয় $0.9$ । এটি নীচের চিত্রে দেখানো হয়েছে।
রৈখিকভাবে প্যারামিটারগুলিতে হ্রাস পুরষ্কার। তাই থেকে পরামিতি হ্রাস নেমে যতটা পুরস্কৃত হয় তা থেকে হ্রাস পুরস্কৃত নিচে । $9$ $8$ $2$ $1$

অন্য কথায় (আবার), এআইসি সরলতার গুরুত্ব এবং ফিটনেসের গুরুত্বের মধ্যে একটি বাণিজ্য বন্ধকে সংজ্ঞায়িত করে ।

অন্য কথায় (আবার), এআইসি প্রস্তাবিত বলে মনে হচ্ছে:

ফিটনেসের গুরুত্ব হ্রাস পায়।
তবে সরলতার গুরুত্ব কখনই হ্রাস পায় না বরং সর্বদা নিয়মিত গুরুত্বপূর্ণ।

প্রশ্ন 1: তবে একটি প্রশ্ন: আমাদের কেন এই নির্দিষ্ট ফিটনেস-সরলতার বাণিজ্য বন্ধের যত্ন নেওয়া উচিত?

প্রশ্ন : কেন এবং কেন ? কেবলমাত্র কেন নয়: অর্থাত্ y উচিত y হিসাবে সমানভাবে দরকারী এবং তুলনামূলকভাবে বিভিন্ন মডেলের তুলনায় পরিবেশন করতে সক্ষম হওয়া উচিত (এটি কেবল দ্বারা স্কেল করা যায় না ; আমাদের কি এটি দরকার?)। $2k$ $2 \log_e(\ldots)$

\begin{aligned} {AIC}_{m, D} = & 2 k_{m} - 2 \ln (L_{m, D}) \\ = & 2 (k_{m} - \ln (L_{m, D})) \\ \frac{{AIC}_{m, D}}{2} = & k_{m} - \ln (L_{m, D}) \\ {AIC}_{m, D, SIMPLE} = & k_{m} - \ln (L_{m, D}) \end{aligned}

$\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2(k_m - \ln(L_{m,D}))\\ \frac{\text{AIC}_{m,D}}{2} =& k_m - \ln(L_{m,D})\\ \text{AIC}_{m,D,\text{SIMPLE}} =& k_m - \ln(L_{m,D})\\ \end{split}$

{AIC}_{m, D, SIMPLE}

$\text{AIC}_{m,D,\text{SIMPLE}}$

{AIC}_{m, D}

$\text{AIC}_{m,D}$

2

$2$

প্রশ্ন 3: এটি কীভাবে তথ্য তত্ত্বের সাথে সম্পর্কিত? কোনও তথ্য তাত্ত্বিক শুরু থেকে কেউ এটি অর্জন করতে পারে?

— গুহা-মানব
সূত্র

আপনার স্বরলিপিটি কী বোঝায়? আপনি কি সেখানে মডেল পছন্দ সম্পর্কে কিছু বোঝাচ্ছেন? আপনার উপরে যা ছিল তা সত্যই বোঝায় না যে এআইসির জন্য আপনাকে একটি মডেল চয়ন করতে হবে। কিউ 2, যেমন আপনি বলেছেন, কিছুটা অর্থে কিছুটা স্বচ্ছন্দ্য, তবে এটি কুলব্যাক-লেবেলর ডাইভারজেন্সের জন্য এআইসিকে একটি অনুমান তৈরি করে এসেছে যা কিউ 1 এর উত্তরের সাথে সম্পর্কিত এবং মতো পরিমাণে কিছু অর্থ দেয় ।

m = \arg max_{θ} P r (D | θ)

$m=\arg \max_\theta Pr(D|\theta)$

\exp (({AIC}_{m} - min ({AIC}_{1}, \dots, {AIC}_{M})) / 2)

$\exp((\text{AIC}_m-\min(\text{AIC}_1,\ldots,\text{AIC}_M))/2)$

— বিজেআরএন

{arg max}_{θ} Pr (D | θ)

$\text{arg max}_{\theta} \Pr(D|\theta)$ মানে খুঁজছেন রাখা অনেক গুলি পর্যন্ত তুমিই সেই সম্ভাবনা ছোট এটি । প্রতিটি হয় একটি tuple / প্যারামিটার আমাদের মডেল যে চেষ্টা ডেটা সেটটি ব্যাখ্যা করতে সংজ্ঞায়িত করে ভেক্টর । সুতরাং মূলত এটি বলে: আমাদের ডেটাসেট , এটি দ্বারা প্যারামিট্রাইজড মডেল দ্বারা উত্পন্ন হওয়ার সম্ভাবনা কত ? আমাদের মডেল মূলত যা এই সর্বাধিক সমস্যার সমাধান করে।

θ

$\theta$

Pr (D | θ)

$\Pr(D|\theta)$

θ

$\theta$

D

$D$

D

$D$

θ

$\theta$

m

$m$

θ

$\theta$

— গুহামান

দুঃখিত, তবে আপনি একাধিক মডেল জুড়ে খুঁজছেন (যেহেতু আপনি লেখেন ), বা আপনি সর্বাধিক সম্ভাবনা অনুমান ? এছাড়াও মনে রাখবেন দেওয়া মডেল অধীনে এবং প্রদত্ত পরামিতি, না সম্ভাব্যতা যে ডেটা আছে যা মডেল দ্বারা স্থিতিমাপ দ্বারা উত্পন্ন হয়েছিল উদিত তথ্য আশ্রয়স্থল সম্ভাব্যতা ।

m = \dots

$m=\ldots$

\hat{θ} := \arg max_{θ} P_{given model} (D | θ)

$\hat{\theta} := \arg\max_\theta P_\text{given model}(D|\theta)$

P_{given model} (D | θ)

$P_\text{given model}(D|\theta)$

θ

$\theta$

— বুর্জান

এমএলই হ'ল আমি যা বলতে চাইছি। তবে আমি কেবল এটাই বলার চেষ্টা করছি যে প্যারামিটারগুলি টিপল এতটাই বিস্তৃত যে এটি মডেলটিকেও সংজ্ঞায়িত করে। এছাড়াও আমার একাধিক মডেল থাকতে পারে, বলুন আলাদা আলাদা AIC স্কোর with । আমি এই স্বরলিপিটি তৈরি করছি কারণ আমি মনে করি এটি সহজ। আমি কি ভীষণ ভুল করছি, বা অযথা এটি বিভ্রান্ত করছি? (এবং এমএলই বলতে যা বোঝায় সে সম্পর্কে আমাকে সংশোধন করার জন্য আপনাকে ধন্যবাদ)

θ

$\theta$

m_{1}, m_{2}

$m_1,m_2$

{AIC}_{1}, {AIC}_{2}

$\text{AIC}_1, \text{AIC}_2$

— ক্যাভম্যান

প্রত্যাশিত কেএল তথ্য ক্ষতির সান্নিধ্য হিসাবে এআইসির উত্পন্নকরণটি পাভিটান (2001), সমস্ত সম্ভাবনায় , সিএইচ 13. দেওয়া হয়েছে

— স্কোর্টচি - মনিকা পুনরায় স্থাপন করুন

ক্যাভম্যানের এই প্রশ্নটি জনপ্রিয়, তবে কয়েক মাস ধরে আমার বিতর্কিত প্রশ্নের উত্তর পাওয়া যায়নি । এটি হতে পারে যে নীচের প্রকৃত উত্তরটি কেবল নিজের মধ্যে বিতর্কিত নয়, কেবল প্রশ্নগুলি "বোঝাই" প্রশ্ন, কারণ ক্ষেত্রটি মনে হয় (আমার কাছে কমপক্ষে) এআইসি এবং বিআইসির অ্যাকোলেটাইটস দ্বারা বর্ধিত হবে যারা তার পরিবর্তে ব্যবহার করবে একে অপরের পদ্ধতিগুলির চেয়ে ওএলএস। ডেটা টাইপ এবং বিশ্লেষণের পদ্ধতিগুলির উপরে তালিকাবদ্ধ সমস্ত অনুমান এবং নিষেধাজ্ঞাগুলি দেখুন এবং দয়া করে সে সম্পর্কে মন্তব্য করুন; এটি ঠিক করুন, অবদান রাখুন। এখনও অবধি, কিছু খুব স্মার্ট ব্যক্তি অবদান রেখেছেন, তাই ধীর অগ্রগতি হচ্ছে। আমি রিচার্ড হার্ডি এবং জিওম্যাটট 22 এর অবদানগুলি, আন্তনি পেরেল্লাদার কাছ থেকে পাওয়া মুল শব্দ এবং ক্যাগডাস ওজগেনক এবং বেন ওগোরেকের কেএল বৈচিত্রকে প্রকৃত পরিবর্তনের সাথে সম্পর্কিত করার জন্য বীরত্বপূর্ণ প্রচেষ্টাকে স্বীকার করি।

আমরা শুরু করার আগে আমাদের এআইসি কী তা পর্যালোচনা করা যাক এবং এর একটি উত্স হ'ল এআইসির মডেল তুলনার জন্য পূর্বশর্ত এবং অন্যটি হলেন রব জে হেইডম্যান । নির্দিষ্টভাবে, এআইসি সমান হিসাবে গণনা করা হয়

2 k - 2 \log (L (θ)),

$2k - 2 \log(L(\theta))\,,$

যেখানে মডেলটির পরামিতিগুলির সংখ্যা এবং সম্ভাবনা ফাংশন। মডেলিং অনুমানগুলি থেকে এআইসি ভেরিয়েন্স ( ) এবং পক্ষপাত ( মধ্যে বাণিজ্য-বন্ধকে তুলনা করে । এআইসির তথ্য ও ত্রুটিগুলি থেকে , পয়েন্ট 3 "এআইসি অনুমান করে না যে অবশিষ্টাংশগুলি গাউসিয়ান। এটি কেবল গাউসের সম্ভাবনা প্রায়শই ব্যবহৃত হয়। তবে আপনি যদি অন্য কিছু বিতরণ ব্যবহার করতে চান তবে এগিয়ে যান" " এআইসি হ'ল দন্ডিত সম্ভাবনা, আপনি যে কোনও সম্ভাবনা ব্যবহার করতে চান। উদাহরণস্বরূপ, শিক্ষার্থীদের টি বিতরণকৃত অবশিষ্টগুলির জন্য এআইসি সমাধান করার জন্য আমরা শিক্ষার্থীদের টি-এর সর্বাধিক সম্ভাবনার সমাধানটি ব্যবহার করতে পারি । দ্য $k$ $L(\theta)$ $2k$ $2\log(L(\theta))$ লগ-সম্ভাবনা সাধারণত এআইসির জন্য প্রয়োগ করা হয় গাউসিয়ান লগ-সম্ভাবনা থেকে প্রাপ্ত এবং দ্বারা প্রদত্ত

\log (L (θ)) = - \frac{| D |}{2} \log (2 π) - \frac{1}{2} \log (| K |) - \frac{1}{2} (x - μ)^{T} K^{- 1} (x - μ),

$\log(L(\theta)) =-\frac{|D|}{2}\log(2\pi) -\frac{1}{2} \log(|K|) -\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu),$

$K$ মডেলটির কেভরিয়েন্স কাঠামো হচ্ছেননমুনা আকার; ডেটাসেটে পর্যবেক্ষণের সংখ্যা, response প্রতিক্রিয়া এবং নির্ভরশীল পরিবর্তনশীল। উল্লেখ্য, কঠোরভাবে বলতে গেলে, এইআইসির পক্ষে নমুনা আকারের সংশোধন করা অপ্রয়োজনীয়, কারণ এআইসি ডেটাসেটগুলির তুলনা করতে ব্যবহৃত হয় না, কেবল একই ডেটাसेट ব্যবহার করে মডেল। সুতরাং, আমাদের নমুনা আকার সংশোধন সঠিকভাবে করা হয়েছে কিনা তা খতিয়ে দেখার দরকার নেই, তবে আমরা যদি ডেটাসেটগুলির মধ্যে কোনও উপায়ে এআইসিকে সাধারণীকরণ করতে পারি তবে এটি সম্পর্কে আমাদের চিন্তিত হতে হবে। তেমনি, অ্যাসিম্পটোটিক দক্ষতার বীমা করার জন্য সম্পর্কে অনেক কিছু তৈরি করা হয়েছে । একটি পরিমিত দৃশ্য পারে বিবেচনা এআইসি শুধু একটি হতে "সূচক" উপার্জন $|D|$ $\mu$ $x$ $K>>|D|>2$ $K>|D|$ প্রাসঙ্গিক এবংঅপ্রাসঙ্গিক। তবে, জন্য পরিবর্তিত এআইসির প্রস্তাব দেওয়ার আকারে কিছুটা মনোযোগ দেওয়া হয়েছে চেয়ে বড় নয় not AIC নামক নীচে Q2 এর উত্তরের দ্বিতীয় অনুচ্ছেদ দেখুন। "পদক্ষেপগুলি" এর এই বিস্তারটি কেবল এআইসি একটি সূচক এমন ধারণাকেই শক্তিশালী করে। যাইহোক, "আই" শব্দটি ব্যবহার করার সময় সতর্কতা অবলম্বন করা হয় কারণ কিছু এআইসি "ইনডেক্স" শব্দের সমান ব্যবহারের সাথে একই বিবাহের সাথে বিবাহ বহির্ভূত হিসাবে উল্লেখ করার সাথে যুক্ত হতে পারে ond $K>>|D|$ $K$ $|D|$ $_c$

প্রশ্ন 1: তবে একটি প্রশ্ন: আমাদের কেন এই নির্দিষ্ট ফিটনেস-সরলতার বাণিজ্য বন্ধের যত্ন নেওয়া উচিত?

উত্তর দুটি অংশে। প্রথমে নির্দিষ্ট প্রশ্ন। আপনার কেবল যত্ন নেওয়া উচিত কারণ এটিই এটি সংজ্ঞায়িত হয়েছিল। আপনি যদি পছন্দ করেন তবে কোনও সিআইসি সংজ্ঞায়িত করার কোনও কারণ নেই; গুহামান তথ্যের মানদণ্ড, এটি এআইসি হবে না, তবে সিআইসি এআইসির মতো একই উত্তর দেবে, এটি সদৃশতা এবং সরলতার পোষ্টের মধ্যে ট্রেডঅফকে প্রভাবিত করে না। কোনও ধ্রুবক যা এআইসি গুণক হিসাবে একবার ব্যবহার করা যেতে পারে, এটি বেছে নেওয়া এবং মেনে চলতে হত, কারণ পরম স্কেল প্রয়োগের কোনও রেফারেন্স মান নেই। যাইহোক, একটি মান সংজ্ঞাটি মেনে চলা এই অর্থে স্বেচ্ছাচারিত নয় যে এআইসির মতো একটি পরিমাণের জন্য কেবল এবং কেবলমাত্র একটি সংজ্ঞা, বা "কনভেনশন" রয়েছে যা কেবলমাত্র আপেক্ষিক স্কেলে সংজ্ঞায়িত হয়। নীচে এআইসি অনুমান # 3 দেখুন।

এই প্রশ্নের দ্বিতীয় উত্তর হ'ল ধার্মিকতা-উপযোগী এবং এটির ধ্রুবক গুণকটি কীভাবে বেছে নেওয়া হত তা নির্বিশেষে সরলতার পক্ষে এআইসি ট্রেড অফের নির্দিষ্টকরণের সাথে সম্পর্কিত। অর্থাত্ "ট্রেড অফ" এর প্রভাব কী? এর প্রভাবগুলির মধ্যে একটি, একটি মডেলের পরামিতিগুলির সংখ্যার জন্য স্বাধীনতার ডিগ্রি পুনরায় সমন্বিত করা, এটি AIC নামক একটি "নতুন" নিম্নলিখিত হিসাবে করেছিল: $_c$

\begin{aligned} A I C_{c} & = A I C + \frac{2 k (k + 1)}{n - k - 1} \\ = \frac{2 k n}{n - k - 1} - 2 \ln (L) \end{aligned},

$\begin{align}AIC_c &= AIC + \frac{2k(k + 1)}{n - k - 1}\\ &= \frac{2kn}{n-k-1} - 2 \ln{(L)}\end{align} \,,$

যেখানে নমুনার আকার। যেহেতু বিভিন্ন সংখ্যক প্যারামিটারের মডেলগুলির তুলনা করার সময় ওজন এখন কিছুটা আলাদা, তাই এআইসি এআইসি থেকে মডেল বাছাই করে এবং দুটি মডেল আলাদা হলেও একই সাথে প্যারামিটারগুলির সংখ্যা একই হয়অন্যান্য পদ্ধতিগুলিও মডেলগুলি আলাদাভাবে বেছে নেবে, উদাহরণস্বরূপ, "বিআইসি [sic, বায়েসিয়ান তথ্য মাপদণ্ড ] সাধারণত আকায়েক তথ্য মাপদণ্ডের তুলনায় নিখরচায় প্যারামিটারগুলিকে বেশি দন্ড দেয়, যদিও এটি নির্ভর করে ..." আনোভা আংশিক সম্ভাবনাগুলি ব্যবহার করে অতিমানবিক পরামিতিগুলিকেও শাস্তি দেয় প্যারামিটারের মানগুলির অপরিহার্যতা পৃথকভাবে, এবং কিছু পরিস্থিতিতে এআইসি ব্যবহারের পক্ষে পছন্দনীয় $n$ $_c$ । সাধারণভাবে, কোনও মডেলের যথাযথতা মূল্যায়নের যে কোনও পদ্ধতিতে এর সুবিধা এবং অসুবিধাগুলি থাকবে। আমার পরামর্শটি হ'ল মডেলগুলি নিজেরাই পরীক্ষার চেয়ে আরও দৃig়তার সাথে ডেটা রিগ্রেশন পদ্ধতিতে প্রয়োগের জন্য কোনও মডেল নির্বাচন পদ্ধতির পারফরম্যান্স পরীক্ষা করা। সন্দেহ করার কোনও কারণ? হ্যাঁ, পদ্ধতিগতভাবে উপযুক্ত যে পদ্ধতিগুলি বেছে নিতে কোনও মডেল পরীক্ষা তৈরি বা নির্বাচন করার সময় যত্ন নেওয়া উচিত। মডেল মূল্যায়নের একটি উপসেটের জন্য এআইসি দরকারী, তার জন্য পরবর্তী Q3 দেখুন। উদাহরণস্বরূপ, মডেল এ এর সাথে তথ্য আহরণটি রিগ্রেশন পদ্ধতি 1 দিয়ে সর্বোত্তমভাবে সম্পাদন করা যেতে পারে, এবং মডেল বি এর জন্য রিগ্রেশন পদ্ধতি 2, যেখানে মডেল বি এবং পদ্ধতি 2 কখনও কখনও অ-শারীরিক উত্তর দেয় এবং যেখানে রিগ্রেশন পদ্ধতি এমএলআর হয় না,

চতুর্থাংশ 3 কিভাবে এই তথ্য তত্ত্ব কহা না :

এমএলআর অনুমান # 1। একটি রিগ্রেশন সমস্যায় সর্বাধিক সম্ভাবনার (এমএলআর) প্রয়োগযোগ্যতার অনুমানের উপর এআইসির পূর্বাভাস দেওয়া হয়। একটি মাত্র পরিস্থিতি রয়েছে যেখানে সাধারণ সর্বনিম্ন স্কোয়ার রিগ্রেশন এবং সর্বাধিক সম্ভাবনার রিগ্রেশন আমাকে একই হিসাবে চিহ্নিত করা হয়েছে। এটি তখনই ঘটে যখন সাধারণ ন্যূনতম স্কোয়ারগুলি (ওএলএস) লিনিয়ার রিগ্রেশনগুলি অবশিষ্টাংশগুলি সাধারণত বিতরণ করা হয় এবং এমএলআর একটি গাউসিয়ান ক্ষতির কাজ করে। ওএলএস লিনিয়ার রিগ্রেশন, ননলাইনারি ওএলএস রিগ্রেশন এবং গাউসীয় অ-ক্ষতির ক্রিয়াকলাপের ক্ষেত্রে এমএলআর এবং ওএলএস পৃথক হতে পারে। ওএলএস বা এমএলআর এর চেয়েও অনেক অন্যান্য রিগ্রেশন লক্ষ্যমাত্রা বা ফিটের এমনকি ভালতা এবং প্রায়শই একটি ভাল উত্তরের সাথে সামান্যই সম্পর্কযুক্ত হয়, উদাহরণস্বরূপ, বেশিরভাগ বিপরীত সমস্যার জন্য। আধো-সম্ভাবনার জন্য এআইকে সাধারণীকরণের জন্য উচ্চতর প্রচেষ্টা (যেমন, 1100 বার) রয়েছে যাতে সর্বাধিক ক্ষতির ক্রিয়াকলাপ স্বীকার করতে সর্বাধিক সম্ভাবনার রিগ্রেশনের উপর নির্ভরতা শিথিল করা যায় । অধিকন্তু, MLR Student's-T জন্য, যদিও বদ্ধ আকারে নয়, প্রবলভাবে কেন্দ্রমুখী । যেহেতু স্টুডেন্ট-টির অবশিষ্ট বিতরণগুলি উভয়ই সাধারণ এবং গাউসীয় অবস্থার তুলনায় বেশি সাধারণ, তাই আমি এআইসির জন্য গাউসীয় অনুমান ব্যবহার করার কোনও বিশেষ কারণ দেখতে পাচ্ছি না।

এমএলআর অনুমান # 2। এমএলআর হ'ল ফিটের সদ্ব্যবহারের প্রয়াস। এটি কখনও কখনও প্রয়োগ করা হয় যখন এটি উপযুক্ত না হয়। উদাহরণস্বরূপ, ছাঁটাই পরিসীমা ডেটার জন্য, যখন ব্যবহৃত মডেলটি ছাঁটা হয় না। আমাদের কাছে সম্পূর্ণ তথ্য কভারেজ থাকলে গুডনেস-অফ-ফিট সবই ভাল এবং ভাল। সময় ধারাবাহিকতায় সাধারণত শারীরিক ঘটনাগুলি কীভাবে প্রাথমিকভাবে স্থানান্তরিত হয় তা পুরোপুরি বুঝতে আমাদের কাছে দ্রুত পর্যাপ্ত তথ্য থাকে না বা আমাদের মডেলগুলি খুব প্রাথমিক তথ্য পরীক্ষা করার জন্য পর্যাপ্ত পরিমাণে নাও পারে। এমনকি আরও উদ্বেগজনক বিষয় হ'ল ডেটার অভাবে খুব সহজেই একজন খুব দেরীতে খুব বেশি সময় ধরে ধার্মিকতার সাথে পরীক্ষা করতে পারে না। সুতরাং, ধার্মিকতা-এর-ফিটটি কেবল বক্ররেখার 30% অংশের ক্ষেত্রের মডেলিং হতে পারে এবং সেক্ষেত্রে আমরা ডেটা কোথায় রয়েছে তার ভিত্তিতে একটি বহির্মুখী মডেলটি বিচার করছি এবং আমরা এর অর্থ কী তা পরীক্ষা নিরীক্ষা করছি না। এক্সট্রোপোলেট করার জন্য, আমাদের কেবলমাত্র 'পরিমাণের' ফিটের ধার্মিকতার দিকে নজর দেওয়া উচিত নয়, এমন পরিমাণের ব্যয়গুলিও ব্যর্থ হয় যা আমাদের কাছে এক্সট্রোপোলেশনের কোনও "ধার্মিকতা" নেই। সুতরাং, বি-স্প্লাইনের মতো ফিট কৌশলগুলি ব্যবহারটি খুঁজে পায় কারণ ডেরিভেটিভসগুলি ফিট হয়ে গেলে বা বিকল্পভাবে বিপরীত সমস্যার চিকিত্সা যেমন উদাহরণস্বরূপ, পুরো মডেল পরিসরে অসুস্থ-পোজ অবিচ্ছেদ্য চিকিত্সা, ত্রুটি প্রচারের জন্য অভিযোজক টিখোনভের মতো ডেটা কী তা তারা আরও সহজেই অনুমান করতে পারে they নিয়মিতকরণ।

আরেকটি জটিল উদ্বেগ, ডেটা আমাদের জানাতে পারে এটির সাথে আমাদের কী করা উচিত। আমাদের ধার্মিকতার উপযুক্ত হওয়ার (যখন উপযুক্ত) প্রয়োজন, তা হল একটি মানক বিচ্যুতি একটি দূরত্ব এই অর্থে যে অবশিষ্টাংশগুলি দূরত্ব। অর্থাৎ, একক মানক বিচ্যুতির দ্বিগুণ দীর্ঘকালীন অবশিষ্ট যদি দৈর্ঘ্যের দুটি স্ট্যান্ডার্ড বিচ্যুতি না হয় তবে ভালতা-থেকে-ফিট খুব বেশি বোঝা যায় না। যে কোনও মডেল নির্বাচন / রিগ্রেশন পদ্ধতি প্রয়োগ করার আগে ডেটা ট্রান্সফর্মগুলির নির্বাচন তদন্ত করা উচিত। যদি ডেটাতে আনুপাতিক প্রকারের ত্রুটি থাকে তবে সাধারণত কোনও রিগ্রেশন নির্বাচন করার আগে লোগারিথম গ্রহণ করা অনুচিত নয়, কারণ এটি স্ট্যান্ডার্ড বিচ্যুতিগুলিকে দূরত্বে রূপান্তরিত করে। বিকল্পভাবে, আমরা ফিটিং আনুপাতিক ডেটা সামঞ্জস্য করার জন্য ন্যূনতম আদর্শকে পরিবর্তন করতে পারি। একই পয়সন ত্রুটি কাঠামোর জন্য প্রযোজ্য, আমরা হয় ত্রুটি স্বাভাবিক করতে ডেটা বর্গক্ষেত্র নিতে পারেন, বা ফিটিং জন্য আমাদের আদর্শ পরিবর্তন করতে পারেন। এমন কিছু সমস্যা রয়েছে যা আরও জটিল বা এমনকি জটিলও হতে পারে যদি আমরা ফিট করার জন্য আদর্শকে পরিবর্তন করতে না পারি, যেমন, রেডিয়োনোক্লাইড ক্ষয় যখন গণনার তথ্য এবং প্রকৃত ভরগুলির মধ্যে একটি ক্ষতিকারক সময়-ভিত্তিক সংঘটিত করে তখন পারমাণবিক ক্ষয় থেকে পোয়েসন গণনা পরিসংখ্যান এই গণনাগুলি বের করে দেওয়া হচ্ছে কোনও ক্ষয় ছিল না। কেন? যদি আমরা গণনার হারগুলি পুনরায়-সংশোধন করি তবে আমাদের আর পাইসন পরিসংখ্যান নেই, এবং সংশোধন করা গণনের বর্গমূলের অবশিষ্টাংশগুলি (বা ত্রুটি) আর দূরত্ব নয় are যদি আমরা তখন ক্ষয় সংশোধনকৃত ডেটা (যেমন, এআইসি) এর সদ্ব্যবহারের পরীক্ষা করতে চাই, আমাদের এটি এমনভাবে করতে হবে যা আমার নম্র আত্মার অজানা। পাঠকদের কাছে প্রশ্ন উন্মুক্ত করুন, আমরা যদি এমএলআর ব্যবহারের উপর জোর দিই, আমরা কীভাবে তথ্যের ত্রুটি ধরণের (পছন্দসই) অ্যাকাউন্টের জন্য তার আদর্শকে পরিবর্তন করতে পারি, বা এমএলআর ব্যবহারের (কার্যকর হিসাবে নয়) অনুমতি দেওয়ার জন্য আমাদের কি সর্বদা ডেটা পরিবর্তন করতে হবে? দ্রষ্টব্য, এআইসি একটি একক মডেলের জন্য রিগ্রেশন পদ্ধতির তুলনা করে না, এটি একই রিগ্রেশন পদ্ধতির জন্য বিভিন্ন মডেলের তুলনা করে।

AIC অনুমান # 1। দেখে মনে হবে যে এমএলআর সাধারণ অবশিষ্টাংশগুলিতেই সীমাবদ্ধ নয়, উদাহরণস্বরূপ, এমএলআর এবং শিক্ষার্থীদের টি-টি সম্পর্কে এই প্রশ্নটি দেখুন । এর পরে, আসুন আমরা ধরে নিই যে এমএলআর আমাদের সমস্যার পক্ষে উপযুক্ত যাতে আমরা তাত্ত্বিকভাবে এআইসির মানগুলির তুলনা করার জন্য এর ব্যবহারটি ট্র্যাক করি। পরবর্তী আমরা অনুমান 1) সম্পূর্ণ তথ্য, 2) অবশিষ্টাংশ বিতরণের (যেমন একই ধরনের, উভয় স্বাভাবিক, উভয় Student's- আছে টি অন্তত 2 মডেলের জন্য)। এটি হ'ল আমাদের একটি দুর্ঘটনা ঘটেছে যে দুটি মডেলেরই এখন অবশিষ্টাংশগুলি বিতরণের ধরণের হওয়া উচিত। তা কি হতে পারে? হ্যাঁ, সম্ভবত, তবে অবশ্যই সবসময় না।

AIC অনুমান # 2। এআইসি পরিমাণের নেতিবাচক লোগারিদম সম্পর্কিত ( কুলব্যাক-লেবলার ডাইভারজেন দ্বারা বিভাজিত মডেলের পরামিতিগুলির সংখ্যা )। এই ধারণাটি কি প্রয়োজনীয়? ইন জেনারেল ক্ষতি ফাংশন কাগজ একটি ভিন্ন "বিকিরণ" ব্যবহার করা হয়। এটি আমাদের প্রশ্নের দিকে নিয়ে যায় যে যদি কেএল ডাইভারজেন্সের চেয়ে অন্য পরিমাপটি আরও সাধারণ হয় তবে কেন আমরা এআইসির জন্য এটি ব্যবহার করছি না?

কুলব্যাক-লেবলার ডাইভারজেন্স থেকে এআইসির সাথে মেলানো তথ্য হ'ল "যদিও ... সম্ভবত সম্ভাবনা বিতরণের মধ্যকার দূরত্ব পরিমাপ করার উপায় হিসাবে অনুভূত হয়, তবে কুলব্যাক – লেবেলার বিচ্যুতি সত্যিকারের মেট্রিক নয়" " আমরা শীঘ্রই কেন তা দেখতে পাবেন।

কেএল যুক্তি এমন বিন্দুতে পৌঁছে যায় যেখানে দুটি জিনিসের মধ্যে পার্থক্য রয়েছে মডেল (পি) এবং ডেটা (কিউ)

D_{K L} (P ‖ Q) = \int_{X} \log (\frac{d P}{d Q}) \frac{d P}{d Q} d Q,

$D_{\mathrm{KL}}(P\|Q) = \int_X \log\!\left(\frac{{\rm d}P}{{\rm d}Q}\right) \frac{{\rm d}P}{{\rm d}Q} \, {\rm d}Q \,,$

যা আমরা '' Q '' এর সাথে সম্পর্কিত '' P '' এর এনট্রপি হিসাবে স্বীকৃত।

AIC অনুমান # 3। লগারিদমের ভিত্তি নির্বিশেষে কুলব্যাক – লেবলার ডাইভারজেন্স সম্পর্কিত বেশিরভাগ সূত্র ধরে। যদি এআইসি সময়ে সময়ে একাধিক ডেটা সেট করা সম্পর্কিত ছিল তবে ধ্রুবক গুণকের আরও অর্থ হতে পারে। যেমন আছে তেমনি যখন পদ্ধতি তুলনা যদি যেকোনো ধনাত্মক সংখ্যা বার এখনও হতে হবে । যেহেতু এটি স্বেচ্ছাচারী, তাই সংজ্ঞা হিসাবে বিবেচনা করে নির্দিষ্ট মানকে ধ্রুবক সেট করাও অনুচিত নয়। $AIC_{data,model 1}<AIC_{data,model 2}$ $<$

AIC অনুমান # 4। এটিই হ'ল এআইসি শ্যানন এনট্রপি বা স্ব-তথ্য পরিমাপ করে "

"স্ব-তথ্য" কী তা বোঝার জন্য, আমাদের কোনও দৈহিক প্রসঙ্গে তথ্যকে স্বাভাবিককরণ করা উচিত, যে কোনও ব্যক্তি তা করবে any হ্যাঁ, আমি শারীরিক এমন বৈশিষ্ট্যগুলির জন্য কিছু পরিমাণ তথ্য চাই। সুতরাং যে আরও সাধারণ প্রেক্ষাপটে মত চেহারা হবে?

গিবস মুক্ত-শক্তি সমীকরণ ( $\Delta G = ΔH – TΔS$ ) এনট্রপিতে পরিবর্তনের পর পর তাপমাত্রার গতিতে তাপমাত্রার বিয়োগের পরে এন্টারপাল বিয়োগের পরিবর্তনের সাথে শক্তির পরিবর্তন সম্পর্কিত। তাপমাত্রা একটি সফল ধরণের সাধারণ তথ্য সামগ্রীর উদাহরণ, কারণ যদি তাপীয়ভাবে বন্ধ পরিবেশে একটি গরম এবং একটি ঠান্ডা ইট একে অপরের সাথে যোগাযোগ করা হয়, তবে তাদের মধ্যে তাপ প্রবাহিত হবে। এখন, আমরা যদি খুব শক্ত চিন্তা না করে এদিকে ঝাঁপিয়ে পড়ি তবে আমরা বলি যে তাপই তথ্য। তবে এটি কি সম্পর্কিত সিস্টেম যা কোনও সিস্টেমের আচরণের পূর্বাভাস দেয়। ভারসাম্য না পৌঁছানো পর্যন্ত তথ্য প্রবাহিত হয় তবে কীসের ভারসাম্য? তাপমাত্রা, এটাই, নির্দিষ্ট কণা জনগণের কণার বেগের মতো তাপ নয়, আমি আণবিক তাপমাত্রার কথা বলছি না, আমি দুটি ইটের মোট তাপমাত্রার কথা বলছি যার মধ্যে বিভিন্ন ভর থাকতে পারে, বিভিন্ন উপকরণ দিয়ে তৈরি হতে পারে, বিভিন্ন ঘনত্ব থাকতে পারে ইত্যাদি। এবং এর কোনটিই আমার জানতে হবে না, কেবলমাত্র আমার জানা দরকার যে স্থূল তাপমাত্রা যা সামঞ্জস্য করে। সুতরাং যদি একটি ইট গরম হয়, তবে এটিতে আরও বেশি আপেক্ষিক তথ্য সামগ্রী থাকে এবং যখন ঠাণ্ডা হয় কম less

এখন, যদি আমাকে বলা হয় যে একটি ইটের অপরটির চেয়ে বেশি এনট্রপি রয়েছে, তবে কী? এটি নিজেই, ভবিষ্যদ্বাণী করবে না যে অন্য ইটের সংস্পর্শে এন্ট্রপি অর্জন করবে বা হারাবে কিনা। সুতরাং, কেবল এনট্রপি কি তথ্যের একটি কার্যকর পরিমাপ? হ্যাঁ, তবে কেবল যদি আমরা একই ইটটিকে নিজের সাথে তুলনা করি তবে এই শব্দটি "স্ব-তথ্য"।

এ থেকে শেষ সীমাবদ্ধতাটি আসে: কেএল ডাইভার্জেন্স ব্যবহার করতে সমস্ত ইটটি অবশ্যই অভিন্ন হতে হবে। সুতরাং, এআইসিকে কী অ্যাটিক্যাল সূচক তৈরি করে তা হ'ল এটি ডেটা সেটগুলির মধ্যে পোর্টেবল নয় (যেমন, বিভিন্ন ইট), যা কোনও বিশেষভাবে কাঙ্ক্ষিত সম্পত্তি নয় যা তথ্য সামগ্রীর সাধারণকরণের দ্বারা সমাধান করা যেতে পারে। কেএল ডাইভারজেন্স লিনিয়ার হয়? হতে পারে আবার নাও হতে পারে. তবে, এটি গুরুত্বপূর্ণ নয়, আমাদের এআইসি ব্যবহারের জন্য রৈখিকতা গ্রহণ করার প্রয়োজন নেই, এবং উদাহরণস্বরূপ, এন্ট্রপি নিজেই আমি তাপমাত্রার সাথে রৈখিকভাবে সম্পর্কিত বলে মনে করি না। অন্য কথায়, এনট্রপি গণনার জন্য আমাদের একটি রৈখিক মেট্রিকের প্রয়োজন নেই।

এআইসির একটি ভাল তথ্যের উত্স এই থিসিসে রয়েছে । হতাশাবাদী পক্ষ থেকে এটি বলে, "নিজেই, প্রদত্ত ডেটা সেটের জন্য এআইসির মানটির কোনও অর্থ হয় না।" আশাবাদী পক্ষের পক্ষ থেকে এটি বলেছে, যে মডেলগুলির নিকটতম ফলাফল রয়েছে তাদের আত্মবিশ্বাসের অন্তরগুলি প্রতিষ্ঠার জন্য স্মুথ করে এবং আরও অনেক কিছু দ্বারা আলাদা করা যেতে পারে।

— কার্ল
সূত্র

আপনি কি নতুন উত্তর এবং পুরানো মোছা উত্তরের মধ্যে প্রধান পার্থক্যটি নির্দেশ করতে পারবেন? মনে হচ্ছে বেশ কিছুটা ওভারল্যাপ রয়েছে।

— রিচার্ড হার্ডি

আমি আমার উত্তরটি মুছে ফেলার সময় কয়েক ঘন্টা সম্পাদনা করার মাঝখানে ছিলাম। এটি যখন অগ্রগতি সম্পন্ন কাজ হিসাবে শুরু হয়েছিল তখন তুলনা করে অনেক পরিবর্তন হয়েছিল, প্রচুর পড়া এবং চিন্তাভাবনা নিয়েছিলাম এবং এই সাইটের আমার সহকর্মীরা এটির যত্ন নিচ্ছে বলে মনে হয় না, তবে কোনও জবাব দিতে সহায়তা করছে না। সমালোচনামূলক পর্যালোচনার জন্য এটিআইসি মনে হয় খুব ভাল, আমার সাহস কেমন? আমি আমার সম্পাদনা শেষ করেছি এবং এটি আবার পোস্ট করেছি। আমি আমার উত্তর সম্পর্কে ভুল কি জানতে চাই। আমি এটিতে কঠোর পরিশ্রম করেছি এবং সত্যবাদী হওয়ার চেষ্টা করেছি এবং অন্য কেউ বিরক্ত করেনি।

— কার্ল

মন খারাপ করবেন না। আমার এখানে প্রথম অভিজ্ঞতাটি হতাশাব্যঞ্জক ছিল তবে পরে আমি উপযুক্ত উপায়ে প্রশ্ন জিজ্ঞাসা করতে শিখেছি। একটি নিরপেক্ষ সুর রাখা এবং দৃ hard় মতামতগুলি এড়ানো যা শক্ত তথ্যের উপর ভিত্তি করে না করা ভাল প্রথম পদক্ষেপ হবে, আইএমএইচও। (আমি যাইহোক, আপনার প্রশ্নটিকে সমর্থন করেছি, তবে এখনও উত্তরটি নিয়ে দ্বিধায় পড়েছি।)

— রিচার্ড হার্ডি

+1 কেবল আপনার উপস্থার জন্য। এখন আমি উত্তরটি পড়তে থাকব।

— আন্তনি পরল্লদা

@ আন্তনিপ্রেল্লদা আপনি প্রশ্নটিকে মুছে ফেলা থেকে বিরত রেখেই সহায়তা করেছেন, যা আমি প্রশংসা করি। এআইসির মাধ্যমে কাজ করা কঠিন ছিল, এবং এর সাথে আমার সহায়তাও দরকার। অবশ্যই আমার কিছু অন্তর্দৃষ্টি ভাল, তবে আমার মুখের রোগে খুরও রয়েছে, যা অন্যান্য মন আমার চেয়ে বেশি ধরাতে ভাল।

— কার্ল

এআইসি সত্য বন্টন মধ্যে প্রত্যাশিত Kullback-Leibler বিকিরণ দ্বিগুণ মডেল চালিত যুত মেয়াদের একটি অনুমান এবং approximating স্থিতিমাপ মডেল । $f$ $g$

কেএল ডাইভারজেন্স তথ্য তত্ত্বের একটি বিষয় এবং দুটি সম্ভাব্য বন্টনের মধ্যে দূরত্বের পরিমাপ হিসাবে স্বজ্ঞাত (যদিও কঠোরভাবে নয়) কাজ করে। নীচে আমার ব্যাখ্যায় আমি শুহুয়া হু থেকে এই স্লাইডগুলি উল্লেখ করছি । এই উত্তরের "মূল ফলাফল" এর জন্য এখনও একটি উদ্ধৃতি প্রয়োজন।

সত্যিকারের মডেল এবং আনুমানিক মডেল between এর মধ্যে কেএল ডাইভার্জেন্সটি হ'ল $f$ $g_{\theta}$

d (f, g_{θ}) = \int f (x) \log (f (x)) d x - \int f (x) \log (g_{θ} (x)) d x

$d(f, g_{\theta}) = \int f(x) \log(f(x)) dx -\int f(x) \log(g_{\theta}(x)) dx$

যেহেতু সত্যটি অজানা, তাই ডেটা এবং সর্বাধিক সম্ভাবনার অনুমানের থেকে অনুমানক Ta উত্পাদিত হয় । প্রতিস্থাপন করা হচ্ছে সঙ্গে মানে উপরে সমীকরণ যা উভয় কেএল বিকিরণ সূত্র সেইসাথে কেএল বিকিরণ নিজেই দ্বিতীয় মেয়াদে এখন র্যান্ডম ভেরিয়েবল। স্লাইডগুলির "মূল ফলাফল" হ'ল সাথে দ্বিতীয় সংযোজনীয় শব্দটির গড় সম্ভাবনা ফাংশন (এমএলইতে মূল্যায়ন করা হয়) এবং , মাত্রাটির একটি সাধারণ ফাংশন দ্বারা অনুমান করা যায় : $y$ $f$ $\hat{\theta}(y)$ $\theta$ $\hat{\theta}(y)$ $y$ $L$ $k$ $\theta$

- E_{y} [\int f (x) \log (g_{\hat{θ} (y)} (x)) d x] \approx - \log (L (\hat{θ} (y))) + k .

$-\text{E}_y\left[\int f(x) \log(g_{\hat{\theta}(y)}(x)) \, dx \right] \approx -\log(L(\hat{\theta}(y))) + k.$

এআইসি দুইবার প্রত্যাশা উপরে (এইচটি @Carl) হিসাবে সংজ্ঞায়িত করা হয়, এবং ছোট (আরও ঋণাত্মক) মান সত্য বিতরণ মধ্যে একটি ছোট আনুমানিক কেএল প্রভেদ মিলা এবং অনুকরণে বন্টন । $f$ $g_{\hat{\theta}(y)}$

— বেন ওগোরেক
সূত্র

আপনি কি জানেন যে লগ-সম্ভাবনার ক্ষেত্রে প্রয়োগ করার সময় ডেভিয়েশন শব্দটি হ'ল জার্গন এবং অনর্থক। আমি এ সম্পর্কিত আলোচনা বাদ দিয়েছি কারণ শুধুমাত্র এআইসির পার্থক্যের ক্ষেত্রে রৈখিকতার তুলনায় তুলনামূলক মূল্যবান হওয়া কেবল একঘেয়েত্বের প্রয়োজন। সুতরাং, আমি সম্ভবত সেখানে নেই এমন কিছু, "ভিজ্যুয়ালাইজ" করার জন্য অতিরিক্ত চেষ্টা করার প্রাসঙ্গিকতা দেখতে ব্যর্থ হয়েছি এবং যেভাবেই প্রয়োজন নেই।

— কার্ল

আমি আপনার বক্তব্যটি দেখছি যে শেষ অনুচ্ছেদে একটি লাল রঙের হারিং যুক্ত হয়েছে এবং আমি বুঝতে পেরেছি যে 2 * x এর মতো x এর মতোই কারওও বিশ্বাস করা দরকার না। যদি এই কথাটি ন্যায্য হয় যে পরিমাণটি 2 "কনভেনশন দ্বারা" দ্বারা গুণিত হয়েছে?

— বেন ওগোরেক

এরকম কিছু. ব্যক্তিগতভাবে, আমি "হিসাবে সংজ্ঞায়িত," ভোট দেব কারণ এটি প্রাথমিকভাবে সেভাবেই নির্বাচিত হয়েছিল। বা এটিকে অস্থায়ী দৃষ্টিকোণে রাখার জন্য, কোনও ধ্রুবক যা এক সময় সহ এক সময় ব্যবহার করা যেত, এটি বেছে নেওয়া এবং মেনে চলতে হত, কারণ কোনও স্কেল প্রয়োগের কোনও রেফারেন্স মান নেই।

— কার্ল