রিজ রিগ্রেশনের এআইসি: প্যারামিটারের সংখ্যা ও স্বাধীনতার ডিগ্রি

আমি একটি রিজ রিগ্রেশন মডেলের AICc গণনা করতে চাই। সমস্যাটি পরামিতিগুলির সংখ্যা of লিনিয়ার রিগ্রেশনের জন্য, বেশিরভাগ লোকেরা পরামর্শ দেন যে পরামিতিগুলির সংখ্যা অনুমান সহগের সংখ্যা সিগমা (ত্রুটির প্রকরণ) এর সমান।

যখন রিজ রিগ্রেশনটির কথা আসে তখন আমি পড়লাম যে টুপি ম্যাট্রিক্সের ট্রেস - স্বাধীনতার ডিগ্রি (ডিএফ) - এআইসি সূত্রে প্যারামিটার শব্দগুলির সংখ্যা হিসাবে সহজেই ব্যবহৃত হয় (যেমন এখানে বা এখানে )।

এটা কি সঠিক? আমি কি সহজেই ডিআইএফ ব্যবহার করে এআইসিসি গণনা করতে পারি? ত্রুটি বৈকল্পের জন্য অ্যাকাউন্টে আমি কী কেবল ডিএফতে +1 যুক্ত করতে পারি?

— জুলিয়ান
সূত্র

আমি এই প্রশ্নটি পছন্দ করি কারণ এআইসিসির সাধারণ ইনপুটগুলি আরএসএস, কে এবং এন - তবে এটি একই সংখ্যক পরামিতির জন্য কমপক্ষে ত্রুটিযুক্ত মডেলের চেয়ে শক্তিশালী মডেলগুলি নির্বাচন না করে। আপনি যদি প্রার্থী মডেলগুলির জন্য একই ফিট পদ্ধতি ব্যবহার করেন এবং আপনি একই ডেটাতে ফিট করছেন তবে মডেল-নির্বাচন হল মডেল নির্বাচন। আপনি কীভাবে একই মডেল এবং ডেটা দিয়ে তথ্য-তাত্ত্বিক সর্বোত্তম ফিট করতে পারেন সেই প্রশ্নটি পছন্দ করি তবে বিভিন্ন ফিটের ধরণের যেমন ন্যূনতম স্কোয়ার ত্রুটি এবং হুবার ক্ষতি হিসাবে ব্যবহার করে।

— EngrStudent

@ এঙ্গারস্টুডেন্ট, কেবল একটি ছোট্ট নোট: আরএসএস সাধারণ সম্ভাবনার একটি বিশেষ বিষয়। যখন কোনও আলাদা (অস্বাভাবিক) বিতরণ অনুমান করা হয়, তখন এআইসিতে আরএসএস থাকবে না বরং মডেলের লগ-সম্ভাবনা থাকবে। এছাড়াও, ফিটের ধরণগুলি : আপনার কী ক্ষয় ফাংশন বলতে বোঝায় যার মাধ্যমে মডেলটি মূল্যায়ন করা হয় বা মডেলটি ফিট করার জন্য ক্ষতির ফাংশন ব্যবহার করা হয়, বা অন্য কিছু?

— রিচার্ড হার্ডি 13

দেখুন: web.mit.edu/lrosasco/www/publications/model_focm.pdf

— kjetil b halvorsen

@ রিচার্ড হার্দি - আপনি স্বাভাবিক সম্ভাবনা সম্পর্কে ঠিক বলেছেন! অনুশীলনে কেন্দ্রীয় সীমা তত্ত্বটি অতিরিক্ত-ব্যবহৃত হয়। এই ক্ষেত্রে এর অর্থ একই ছিল যখন আমি "ফিট ফাংশন" বলি এবং আপনি "ক্ষতি ফাংশন" বলবেন। আমি সিউডো-ইনভার্সগুলি প্রথম এবং ত্রুটি মেট্রিক্সের ক্ষেত্রে কমপক্ষে স্কোয়ারগুলি মনে করি। এটি আমার চিন্তাভাবনা এবং যোগাযোগের প্রক্রিয়াগুলিতে একটি "শিক্ষার ক্রম" শৈল্পিক।

— EngrStudent

@ ইঙ্গারস্টুডেন্ট, ধন্যবাদ এছাড়াও নোট করুন যে আমি ক্ষতির ফাংশনের জন্য দুটি ব্যবহারের প্রস্তাব দিয়েছিলাম: ফিটিং (অনুমানমূলক উদ্দেশ্যমূলক ফাংশন যা থেকে কোনও অনুমানকারী উত্পন্ন হয়) এবং মূল্যায়ন (তাত্ত্বিক উদ্দেশ্যমূলক ক্রিয়া যা আমরা অনুকূলকরণ করতে চাই)।

— রিচার্ড হার্ডি

নির্দিষ্ট অনুমান করা গেলে এআইসি এবং রিজ রিগ্রেশনকে সামঞ্জস্য করা যায়। তবে, রিজ রিগ্রেশনের জন্য সঙ্কোচন চয়ন করার কোনও একক পদ্ধতি নেই সুতরাং এটিতে এআইসি প্রয়োগের কোনও সাধারণ পদ্ধতি নেই। রিজ রিগ্রেশন টিখোনভ নিয়মিতকরণের একটি উপসেট । অনেক মানদণ্ড যে Tikhonov নিয়মিতকরণ, যেমন জন্য মসৃণকরণ কারণের নির্বাচন প্রয়োগ করা যেতে পারে আছে, দেখতে এই । এ প্রসঙ্গে এআইসি ব্যবহার করতে, একটি কাগজ রয়েছে যা নিয়মিতকরণ কীভাবে সম্পাদন করতে হবে তা সম্পর্কে সুনির্দিষ্ট ধারনা তৈরি করে, অসুস্থ শর্তযুক্ত বিপরীত সমস্যার সমাধানের জন্য তথ্য জটিলতা-ভিত্তিক নিয়মিতকরণ পরামিতি নির্বাচন । নির্দিষ্টভাবে, এটি ধরে নেওয়া হয় ass

$\sigma ^2$ $p(x) =$

$b$ $\left [ \dfrac{\text{SD}(b)}{b}\right ]$

GD (t; a, b) = \frac{1}{t} \frac{e^{- b t} (b t)^{a}}{Γ (a)}; t \geq 0,

$\text{GD}(t; a,b) = \,\dfrac{1}{t}\;\dfrac{e^{-b \, t}(b \, t)^{\,a} }{\Gamma (a)} \;\; \;;\hspace{2em}t\geq 0 \;\; \;\;,\\ %\tabularnewline$

$[0,\infty)$ $[t_1,t_n]$ সময় নমুনা। স্পষ্টতই, এটি করা হয়েছে কারণ এওসি একটি অসুস্থ পোজ ইন্টিগ্রাল, এবং অন্যথায়, যেমন, এমএল ব্যবহার করে, গামা বিতরণ ফিটের দৃ rob়তার অভাব হবে। সুতরাং, এই নির্দিষ্ট প্রয়োগের জন্য, সর্বাধিক সম্ভাবনা, সুতরাং এআইসি, আসলে অপ্রাসঙ্গিক। (এটি বলা হয়ে থাকে যে এআইসির পূর্বাভাস এবং বিআইসির সদৃশতার জন্য ব্যবহৃত হয়েছে। তবে, ভবিষ্যদ্বাণী এবং গডেন্স অফ-ফিট উভয়ই কেবল অপ্রত্যক্ষভাবে এউসি-র শক্তিশালী পরিমাপের সাথে সম্পর্কিত)

$df$ $\lambda$ $df = p$ $\lambda = 0$ $df = 0$ $\lambda=\infty$ $df$ $df$ $\infty$ $df$

$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$ $\lambda_i$ $X^{\text{T}} X$ $df$

— কার্ল
সূত্র