এআইসি, বিআইসি এবং জিসিভি: দণ্ডিত রিগ্রেশন পদ্ধতিতে সিদ্ধান্ত নেওয়ার জন্য সবচেয়ে ভাল কী?


14

আমার সাধারণ বোঝাপড়াটি হ'ল এআইসি মডেলের ফিটনেসের ধার্মিকতা এবং মডেলের জটিলতার মধ্যে বাণিজ্য বন্ধের বিষয়ে ডিল করে।

AIC=2k2ln(L)

মডেলটিতে k = পরামিতির সংখ্যাk

= সম্ভাবনাL

Bayesian তথ্য নির্ণায়ক সাথে BIC ঘনিষ্ঠভাবে AIC.The এআইসি সঙ্গে সম্পর্কযুক্ত কম দৃঢ়ভাবে চেয়ে BIC দিয়েছেন করে পরামিতি সংখ্যা স্থগিত। আমি দেখতে পাচ্ছি যে এই দুটি তিহাসিকভাবে সর্বত্র ব্যবহৃত হয়। তবে জেনারেলাইজড ক্রস বৈধকরণ (জিসিভি) আমার কাছে নতুন। কীভাবে জিসিভি বিআইসি বা এআইসির সাথে সম্পর্কিত হতে পারে? এই মানদণ্ডগুলি কীভাবে একত্রে বা পৃথকভাবে পেনালাইজড রিগ্রেশনের মতো পেনালাইজ পদে বাছাইয়ের ক্ষেত্রে ব্যবহৃত হয়?

সম্পাদনা: চিন্তা ও আলোচনা করার জন্য এখানে একটি উদাহরণ রয়েছে:

    require(lasso2)
    data(Prostate)
    require(rms)

    ridgefits = ols(lpsa~lcavol+lweight+age+lbph+svi+lcp+gleason+pgg45,
           method="qr", data=Prostate,se.fit = TRUE, x=TRUE, y=TRUE)
    p <- pentrace(ridgefits, seq(0,1,by=.01))
    effective.df(ridgefits,p)
    out <- p$results.all
    par(mfrow=c(3,2))
    plot(out$df, out$aic, col = "blue", type = "l", ylab = "AIC", xlab = "df"  )
    plot(out$df, out$bic, col = "green4", type = "l", ylab = "BIC",  xlab = "df" )
    plot(out$penalty, out$df,  type = "l", col = "red", 
     xlab = expression(paste(lambda)), ylab = "df" )
    plot(out$penalty, out$aic, col = "blue", type = "l",  
      ylab = "AIC", xlab = expression(paste(lambda))  )
    plot(out$penalty, out$bic, col = "green4", type = "l", ylab = "BIC", 
      xlab= expression(paste(lambda))

require(glmnet)
y <- matrix(Prostate$lpsa, ncol = 1)
x <- as.matrix (Prostate[,- length(Prostate)])
cv <- cv.glmnet(x,y,alpha=1,nfolds=10)
plot(cv$lambda, cv$cvm, col = "red", type = "l", 
      ylab = "CVM",   xlab= expression(paste(lambda))

এখানে চিত্র বর্ণনা লিখুন

উত্তর:


10

λ


2
দুর্দান্ত ব্যবহারিক ব্যাখ্যা এবং বায়সীয় প্রসঙ্গেও তা উপলব্ধি করে ... "তাত্ত্বিক"-ভিত্তিক সম্ভাবনা অনুপাত বনাম "নাস্তিকের" পূর্বাভাস ত্রুটি।
শ্যাডটলকার 16

3
এটি সম্ভবত নিয়ন্ত্রিত সমাধানের জন্য "স্বাধীনতার কার্যকর ডিগ্রি" কীভাবে গণন করে এআইসিতে ব্যবহার করা যেতে পারে তা বিশদভাবে ব্যাখ্যা করতে সহায়তা করবে।
ব্রায়ান বোর্চার 16

2
আর rmsপ্যাকেজ effective.dfফাংশনে কোডটি এবং আমার বইটি রিগ্রেশন মডেলিং কৌশলগুলি দেখুন। রবার্ট গ্রে থেকে মূল ধারণাটি হ'ল আপনি পেনাল্টি ছাড়াই কোভরিয়েন্স ম্যাট্রিক্স বনাম বনাম কোভেরিয়েন্স ম্যাট্রিক্সকে শাস্তি হিসাবে বিবেচনা করছেন। এই দুইয়ের এক ধরণের অনুপাতের তির্যকের যোগফল আপনাকে কার্যকর ডিএফ দেয়
ফ্রাঙ্ক হ্যারেল

@ ফ্র্যাঙ্কহারেল: সুতরাং আমি যদি আপনাকে সঠিকভাবে বুঝতে পারি - তবে glmnetপ্রতিটি মডেলের জন্য (প্রতিটি আলাদা ল্যাম্বদা প্যারামিটার সহ) একগুচ্ছ মডেলগুলি গণনা করা এবং প্রতিটি মডেলের জন্য এআইসিকে গণনা করা ঠিক আছে , এবং তারপরে সর্বনিম্ন এআইসির সাথে মডেলটির সাথে সম্পর্কিত ল্যাম্বডা বেছে নিন? ক্রস বৈধকরণ ব্যতীত ল্যাম্বডা প্যারামিটারটি চয়ন করার জন্য এটি মূলত অন্য উপায়। আমি কি সঠিক?
কোরেল

1
আমি rmsপ্যাকেজটির প্রসঙ্গে লিখেছিলাম যেখানে কয়েকটি ফিটিং ফাংশন যখন effective.dfপরামিতিগুলির কার্যকর সংখ্যার সাথে ব্যবহার করা হয় যাতে আপনি কার্যকর এআইসি পেতে পারেন। এটি সিভি'র সাথে ক্রস-বৈধতা থেকে আপনি কী পেতে পারেন আনুমানিক। দেখুন এই
ফ্রাঙ্ক Harrell

10

এ সম্পর্কে আমার নিজের ধারণাগুলি খুব বেশি সংগ্রহ করা হয়নি, তবে এখানে পয়েন্টগুলির একটি সংকলন আমি জানি যে এটি সম্পর্কে সাহায্য করতে পারে।


এআইসির বায়েশিয়ান ব্যাখ্যাটি হ'ল এটি প্রত্যাশিত লগের পয়েন্টওয়াইস প্রেডিকটিভ ঘনত্বের অর্থাত্ বাহ্য-নমুনা পূর্বাভাস ত্রুটির একটি পক্ষপাত-সংশোধন সমাপ্তি। এই ব্যাখ্যাটি জেলম্যান, হুয়াং, এবং ভেহতারিতে (২০১৩) খুব সুন্দরভাবে বর্ণনা করা হয়েছে এবং জেলম্যানের ব্লগে সংক্ষেপে আলোচনা করা হয়েছে । ক্রস-বৈধকরণ একই জিনিসটির একটি পৃথক অনুমান।

এদিকে, বিআইসি হ'ল " বেইস ফ্যাক্টর " এর একটি নির্দিষ্ট পূর্বের অধীনে ( রাফ্টরি, ১৯৯৯ এ সুন্দরভাবে ব্যাখ্যা করা হয়েছে ) অধীনে। এটি প্রায় সম্ভাবনার অনুপাতের বায়সিয়ান অ্যানালগ।

কি এআইসি এবং সাথে BIC সম্পর্কে আকর্ষণীয় যে শাস্তি রিগ্রেশন হয় এছাড়াও একটি Bayesian ব্যাখ্যা আছে, যেমন Lasso কোফিসিয়েন্টস স্বাধীন Laplace গতকাল দেশের সর্বোচ্চ তাপমাত্রা সঙ্গে Bayesian রিগ্রেশন মানচিত্র অনুমান। পূর্ববর্তী প্রশ্নটিতে আরও কিছু তথ্য এবং কিউং, গিল, ঘোষ এবং কেসেলা (2010) এ আরও অনেক কিছু ।

এটি আমার কাছে পরামর্শ দেয় যে আপনি বয়েসীয় পদগুলিতে চিন্তাভাবনা ও মডেলিংয়ের মাধ্যমে আপনি কিছুটা মাইলেজ পেতে পারেন বা কমপক্ষে আরও সুসংগত গবেষণা নকশা পেতে পারেন। আমি জানি যে উচ্চ-মাত্রিক মেশিন লার্নিংয়ের মতো প্রচুর অ্যাপ্লিকেশনগুলিতে এটি কিছুটা অস্বাভাবিক এবং নিয়মিতকরণের আরও ব্যাখ্যাযোগ্য জ্যামিতিক এবং ক্ষতি-ফাংশন ব্যাখ্যা থেকে কিছুটা (আমার মতে) থেকেও সরিয়ে দেওয়া হয়েছে। খুব কমপক্ষে, আমি এআইসি এবং বিআইসির মধ্যে সিদ্ধান্ত নেওয়ার জন্য এবং লেআম্যান, অ-পরিসংখ্যান-ভিত্তিক সহকর্মী / বসদের, প্রভৃতি ইত্যাদির পার্থক্যের ব্যাখ্যা দেওয়ার জন্য বায়েশিয়ান ব্যাখ্যার উপর প্রচুর নির্ভর করি

λ

ক্রস-বৈধকরণের দ্বারা একটি টিউনিং প্যারামিটার নির্বাচন করা হায়ারারিকাল বায়েসের কেবলমাত্র একটি নির্দিষ্ট প্রয়োগ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.