AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - আমি কি সেগুলি পরস্পরের পরিবর্তে ব্যবহার করতে পারি?


47

পি। তাঁর পিআরএনএন ব্রায়ান রিপলির 34 জন মন্তব্য করেছেন যে "এআইসির নাম আকাইকে (1974) নামকরণ করেছিল 'একটি তথ্য মানদণ্ড' যদিও এটি সাধারণত বিশ্বাস করা হয় যে এটি আ আকাইকের পক্ষে দাঁড়িয়েছে"। আসলে, এআইসি পরিসংখ্যান প্রবর্তন করার সময়, আকাইকে (1974, p.719) এটি ব্যাখ্যা করে

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

এই উদ্ধৃতিটি 1974 সালে করা পূর্বাভাস হিসাবে বিবেচনা করে, এটি আকর্ষণীয় যে চার বছরের মধ্যে আকাইকে (1977, 1978) এবং শোয়ার্জ (1978) দ্বারা দুই বছরের বিআইসি পরিসংখ্যান (বায়েসিয়ান আইসি) প্রস্তাব করা হয়েছিল। এটি স্পিগেলহাল্টার এট আল নিয়েছিল। (2002) ডিআইসি (ডিভায়েন্স আইসি) এর সাথে আসতে আরও অনেক বেশি সময়। যদিও সিআইসির মানদণ্ডের উপস্থিতি আকাইকে (1974) দ্বারা পূর্বাভাস দেওয়া হয়নি, তবে এটি কখনই ভাবা হয়নি তা বিশ্বাস করা নির্বোধ হবে। এটি ২০০৩ সালে কার্লোস সি রদ্রিগেজ প্রস্তাব করেছিলেন। (উল্লেখ্য যে আর। তিবশিরানী এবং কে নাইটের সিআইসি (কোভারিয়েন্স ইনফ্লেশন মানদণ্ড) আলাদা জিনিস।)

আমি জানতাম যে EIC (এমপিরিকাল আইসি) 2003 সালের মোনাশ বিশ্ববিদ্যালয়ের লোকেরা দ্বারা প্রস্তাবিত হয়েছিল I've আমি সবেমাত্র ফোকাসযুক্ত তথ্য মানদণ্ড (এফআইসি) আবিষ্কার করেছি। কিছু বই হান্নান এবং কুইন আইসিকে এইচআইসি হিসাবে উল্লেখ করেছে, উদাহরণস্বরূপ এটি দেখুন )। আমি জানি যে জিআইসি (জেনারালাইজড আইসি) থাকা উচিত এবং আমি সবেমাত্র তথ্য বিনিয়োগের মানদণ্ড (আইআইসি) আবিষ্কার করেছি। NIC, TIC এবং আরও অনেক কিছু রয়েছে।

আমি মনে করি আমি সম্ভবত অন্যান্য বর্ণমালা আবরণ করতে পারব, সুতরাং আমি জিজ্ঞাসা করছি না যে ক্রমটি AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC, ... স্টপগুলি আছে বা বর্ণমালার কোন অক্ষর রয়েছে কমপক্ষে দু'বার ব্যবহার করা হয়নি বা ব্যবহার করা হয়নি (যেমন EIC এর E প্রসারিত বা অভিজ্ঞতাজনিত উভয়ের পক্ষে দাঁড়াতে পারে)। আমার প্রশ্নটি সহজ এবং আমি আশা করি আরও ব্যবহারিকভাবে কার্যকর। আমি কীভাবে সেই পরিসংখ্যানগুলি বিনিময়যোগ্যভাবে ব্যবহার করতে পারি, সেগুলির অধীনে যে নির্দিষ্ট অনুমানগুলি গ্রহণ করা হয়েছিল, যে নির্দিষ্ট পরিস্থিতিতে সেগুলি প্রযোজ্য বলে অভিহিত করা হয়েছিল, ইত্যাদি উপেক্ষা করে?

এই প্রশ্নটি বার্নহ্যাম অ্যান্ডারসন (2001) লিখে আংশিকভাবে অনুপ্রাণিত করেছেন যে:

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

পাঁচটি বিকল্প আইসি (এআইসিসি, বিআইসিসি, এআইসিসি, এইচকিউআইসি, এলইএসি) কতটা ভালভাবে পূর্বাভাস দেয় এমন মডেল বাছাইয়ের ক্ষেত্রে কতটা ভাল পারফরম্যান্স করেছে তা খতিয়ে দেখলে তাত্পর্যপূর্ণ স্মুথিংয়ের বিষয়ে হ্যান্ডম্যান এট আল-এর মনোগ্রাফির বিধানের 7 ম অধ্যায়টি বিএ পরামর্শ অনুসরণ করেছে বলে মনে হচ্ছে এমএএসই নামক একটি নতুন প্রস্তাবিত ত্রুটি পরিমাপের মাধ্যমে এই সিদ্ধান্তে পৌঁছাতে হবে যে এআইসি আরও প্রায়শই ভাল বিকল্প ছিল। (এইচকিউআইসি কেবলমাত্র একবার সেরা মডেল নির্বাচক হিসাবে রিপোর্ট করা হয়েছিল।)

আমি নিশ্চিত নই যে গবেষণা অনুশীলনের কার্যকর উদ্দেশ্য কী তা যা সমস্ত আইসিসিকে স্পষ্টভাবে বিবেচনা করে যেমন তারা অনুমানের সমতুল্য সেটগুলির মধ্যে একটি এবং একই প্রশ্নের উত্তর দেওয়ার জন্য উত্পন্ন হয়েছিল। বিশেষত, আমি নিশ্চিত নই যে এটি অ-স্টেশনারি তাত্পর্যপূর্ণভাবে প্রাসঙ্গিকভাবে ব্যবহার করে একটি অটোরিগ্রেশন (যে হান্নান এবং কুইন এরগডিক স্থিতিশীল ক্রমগুলির জন্য উত্পন্ন) এর ক্রম নির্ধারণের জন্য ধারাবাহিক মানদণ্ডের ভবিষ্যদ্বাণীমূলক কার্যকারিতা অনুসন্ধান করার জন্য কীভাবে কার্যকর তা আমি নিশ্চিত নই স্মুথ মডেলগুলি Hyndman এট আল দ্বারা মনোগ্রাফিতে বর্ণিত এবং বিশ্লেষণ করা হয়েছে। আমি কি এখানে কিছু মিস করছি?

তথ্যসূত্র:

আকাইকে, এইচ। (1974), পরিসংখ্যানের মডেল সনাক্তকরণের নতুন চেহারা, স্বয়ংক্রিয় নিয়ন্ত্রণের আইইইই লেনদেন 19 (6), 716-723।

আকাইকে, এইচ। (1977), এনট্রপি সর্বাধিককরণের নীতির উপর, পি আর কৃষ্ণিয়ায়, সম্পাদনা, পরিসংখ্যানের প্রয়োগ , খণ্ড Vol 27, আমস্টারডাম: উত্তর হল্যান্ড, পৃষ্ঠা 27-41।

আকাইকে, এইচ। (1978), ন্যূনতম এআইসি পদ্ধতির একটি বেয়েসিয়ান বিশ্লেষণ, পরিসংখ্যান গণিতের ইনস্টিটিউট 30 (1), 9-14।

বার্নহ্যাম, কেপি এবং অ্যান্ডারসন, ডিআর (2001) কুলব্যাক ec লাইব্লারের তথ্য বাস্তুশাস্ত্র অধ্যয়নের দৃ strong় অনুক্রমের ভিত্তি হিসাবে, বন্যজীবন গবেষণা 28, 111-119

হাইডম্যান, আরজে, কোহেলার, এবি, অর্ড, জে কে এবং স্নাইডার, আরডি পূর্বাভাসহ তাত্পর্যপূর্ণ মসৃণকরণের সাথে: রাষ্ট্রের স্পেস অ্যাপ্রোচ। নিউ ইয়র্ক: স্প্রিংগার, ২০০৮

রিপলি, বিডি প্যাটার্ন রিকগনিশন এবং নিউরাল নেটওয়ার্ক । কেমব্রিজ: কেমব্রিজ ইউনিভার্সিটি প্রেস, 1996

শোয়ার্জ, জি। (1978), একটি মডেলের মাত্রা অনুমান করে, পরিসংখ্যানগুলির 6 (2), 461-464 Ann

স্পিগেলহাল্টার, ডিজে, সেরা, এনজি, কার্লিন, বিপি এবং ভ্যান ডার লিন্ডে, এ (২০০২), মডেল জটিলতার বায়েশিয়ান ব্যবস্থা এবং টি (আলোচনার সাথে), রয়্যাল স্ট্যাটিস্টিকাল সোসাইটির জার্নাল। সিরিজ বি (পরিসংখ্যান পদ্ধতি) 64 (4), 583-639।


9
ফাইন্ডলি এবং পারজেন ( projecteuclid.org/download/pdf_1/euclid.ss/1177010133 ) এর সাথে কথোপকথনে আখাইকে প্রকাশ করেছেন যে এআইসিকে তার ফরটার প্রোগ্রামে একজন সহকারী ব্যবহার করেছিলেন। পরিবর্তনশীল নামগুলি যেমন আইসি ডিফল্টরূপে সংখ্যার পূর্ণসংখ্যার পরিমাণ; A এর মতো একটি উপসর্গ সংকলককে নির্দেশ দেওয়ার জন্য যথেষ্ট ছিল যে পরিমাণটি আসল। "আকাইকে" উদ্দেশ্য না করা সত্ত্বেও তিনি বুঝতে পেরেছিলেন যে এটির অর্থ কেবল "অন "ও রয়েছে। (ঘটনাচক্রে, যদিও এই উল্লেখটি একটি ভুল গল্পের প্রতিষেধক হিসাবে ছিল, এটি মল্লোর 'ম্যাল্লো'র ভুল বানানকে স্থায়ী করে))
নিক কক্স

এই প্রশ্নটি "বর্ণানুক্রমিক পরীক্ষামূলক নকশা" সম্পর্কে চিন্তাভাবনা করে
kjetil b halvorsen

উত্তর:


36

আমার উপলব্ধি হ'ল এআইসি, ডিআইসি এবং ডব্লিউএআইসি সকলেই একই জিনিসটি অনুমান করছে: একটি মডেলের সাথে সম্পর্কিত প্রত্যাশিত বহির্মুখী বিচ্যুতি। ক্রস-বৈধতা অনুমান করে এটিও একই জিনিস। গেলম্যান এট আল। (2013), তারা এটিকে স্পষ্ট করে বলে:

নমুনা বহির্ভূত পূর্বাভাস ত্রুটি অনুমান করার একটি প্রাকৃতিক উপায় হ'ল ক্রস-বৈধতা (বায়সীয় দৃষ্টিভঙ্গির জন্য Vehtari এবং Lampinen, 2002 দেখুন), তবে গবেষকরা সর্বদা বিকল্প ব্যবস্থা গ্রহণ করেছেন, কারণ ক্রস-বৈধকরণের জন্য বারবার মডেল ফিট করা যেতে পারে এবং বিরল ডেটা নিয়ে সমস্যায় পড়ুন। একা ব্যবহারিক কারণে, এআইসি (আকাইকে, 1973), ডিআইসি (স্পিগেলহাল্টার, সেরা, কার্লিন, এবং ভ্যান ডার লিন্ডে, ২০০২, ভ্যান ডার লিন্ডে, ২০০৫) এবং সাম্প্রতিককালে ডাব্লুএইএইসি এর মতো সাধারণ পক্ষপাত সংশোধনের জায়গা রয়েছে remains (ওয়াটানাবে, ২০১০) এবং এগুলি সমস্ত ক্রস-বৈধকরণের বিভিন্ন সংস্করণ (স্টোন, 1977) এর সান্নিধ্য হিসাবে দেখা যেতে পারে।

বিআইসি আলাদা কিছু অনুমান করে, যা ন্যূনতম বর্ণনার দৈর্ঘ্যের সাথে সম্পর্কিত। গেলম্যান এট আল। বলে,

বিআইসি এবং এর বিভিন্ন রূপগুলি ভবিষ্যদ্বাণীমূলক of টির অনুমান দ্বারা নয় বরং মডেলটির আওতায়, পি (ওয়াই) এর প্রান্তিক সম্ভাবনা ঘনত্বের কাছাকাছি লক্ষ্যের দ্বারা অনুপ্রাণিত হওয়ার জন্য এখানে বিবেচিত অন্যান্য তথ্যের মানদণ্ড থেকে ডায়ার করে which পৃথক মডেল তুলনার একটি সেটিংসে আপেক্ষিক উত্তরোত্তর সম্ভাবনাগুলি অনুমান করুন।

দুর্ভাগ্যক্রমে আপনি তালিকাভুক্ত অন্যান্য তথ্যের মানদণ্ড সম্পর্কে আমি কিছুই জানি না।

আপনি কি এআইসির মতো তথ্যের মানদণ্ডকে বিনিময়যোগ্যভাবে ব্যবহার করতে পারবেন? মতামতগুলি পৃথক হতে পারে তবে এআইসি, ডিআইসি, ডব্লিউএইসি এবং ক্রস-বৈধকরণ সকলেই একই জিনিসটি অনুমান করে থাকে, তবে হ্যাঁ, সেগুলি কম-বেশি বা বিনিময়যোগ্য। বিআইসি আলাদা, যেমন উপরে উল্লিখিত হয়েছে। আমি অন্যদের সম্পর্কে জানি না।

একের বেশি কেন?

  • আপনার সর্বাধিক সম্ভাবনার প্রাক্কলন এবং সমতল প্রিয়ারগুলি থাকলে এআইসি ভালভাবে কাজ করে তবে অন্যান্য পরিস্থিতি সম্পর্কে সত্যই বলার মতো কিছুই নেই। প্যারামিটারের সংখ্যা ডেটা পয়েন্টের সংখ্যার কাছে গেলে পেনাল্টিটিও খুব ছোট small এআইসিসি এর জন্য অতিরিক্ত সংশোধন করে, যা আপনার দৃষ্টিকোণের উপর নির্ভর করে ভাল বা খারাপ হতে পারে।

  • মডেলের অংশগুলি প্রিয়ারদের দ্বারা ভারীভাবে সীমাবদ্ধ করা হলে (যেমন কয়েকটি মাল্টি-লেভেল মডেল যেখানে ভেরিয়েন্স উপাদানগুলি অনুমান করা হয়) ডিআইসি একটি ছোট জরিমানা ব্যবহার করে। এটি ভাল, যেহেতু ভারী বাধা প্যারামিটারগুলি সত্যিকার অর্থে একটি সম্পূর্ণ ডিগ্রি স্বাধীনতা গঠন করে না। দুর্ভাগ্যক্রমে, সাধারণত ডিআইসির জন্য ব্যবহৃত সূত্রগুলি ধরে নেওয়া হয় যে পূর্ববর্তীটি মূলত গাউসিয়ান (অর্থাত্ এটি এর অর্থ দ্বারা ভালভাবে বর্ণনা করা হয়েছে), এবং তাই কিছু পরিস্থিতিতে অদ্ভুত ফলাফল (উদাহরণস্বরূপ নেতিবাচক জরিমানা) পেতে পারে।

  • ডাব্লুএইএইচ ডিআইসির চেয়ে পুরো উত্তরোত্তর ঘনত্বকে আরও কার্যকরভাবে ব্যবহার করে তাই গেলম্যান এট আল। এটি পছন্দ করুন যদিও এটি কিছু ক্ষেত্রে গণনা করা ব্যথা হতে পারে।

  • ক্রস-বৈধকরণ কোনও নির্দিষ্ট সূত্রে নির্ভর করে না, তবে এটি অনেকগুলি মডেলের জন্য গণনামূলকভাবে নিষিদ্ধ হতে পারে।

আমার দৃষ্টিতে এআইসির মতো কোন একটি মানদণ্ডটি ব্যবহার করা উচিত তা নিয়ে এই সিদ্ধান্তটি সম্পূর্ণরূপে এই ধরণের ব্যবহারিক বিষয়ের উপর নির্ভর করে, গাণিতিক প্রমাণের চেয়ে একজন যে অন্যটির চেয়ে ভাল করবে।

তথ্যসূত্র :

গেলম্যান এট আল। বায়েশিয়ান মডেলগুলির জন্য ভবিষ্যদ্বাণীমূলক তথ্যের মানদণ্ড বোঝা। Http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf থেকে উপলব্ধ


3
রেফারেন্স ছাড়াও গেলম্যান এট আল। বায়েশিয়ান মডেলগুলির জন্য ভবিষ্যদ্বাণীমূলক তথ্যের মানদণ্ড বোঝার জন্য আরও সাম্প্রতিক কাগজ আকী ভেহতারি, অ্যান্ড্রু গেলম্যান এবং জোনাহ গ্যাব্রি (2016) দেখুন। লেভেল-ওয়ান-আউট ক্রস-বৈধকরণ এবং ডব্লিউএআইসি ব্যবহার করে ব্যবহারিক বায়েসিয়ান মডেল মূল্যায়ন। পরিসংখ্যান এবং কম্পিউটিংয়ে, doi: 10.1007 / s11222-016-9696-4। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1507.04544। arxiv.org/abs/1507.04544 এই কাগজটি আরও প্রমাণ করে যে নির্ভরযোগ্য ক্রস-বৈধতা অনেক মডেলের জন্য নগণ্য সময়ে গণনা করা যায়।
আকি Vetari

4

"বিনিময়যোগ্য" খুব শক্তিশালী একটি শব্দ। এগুলির সবগুলিই এমন মানদণ্ড যা মডেলগুলির তুলনা করতে এবং একটি "সেরা" মডেল সন্ধান করতে চায় তবে প্রতিটি "সেরা" আলাদাভাবে সংজ্ঞায়িত করে এবং বিভিন্ন মডেলকে "সেরা" হিসাবে চিহ্নিত করতে পারে।


0

"একটি গণভোট প্রস্তাব"। শুধু ভোট দেওয়ার জন্য! ;-) আমি সিএআইসি (বোজডোগান, 1987) এবং বিআইসিকে সম্পূর্ণরূপে আমার ব্যক্তিগত অনুশীলন থেকে পছন্দ করেছি কারণ এই মানদণ্ডগুলি জটিলতার জন্য গুরুতর শাস্তি দেয়, আমরা আরও পার্সামনি পেয়েছি, তবে আমি সর্বদা ভাল মডেলের তালিকা প্রদর্শন করেছি - ডেল্টা থেকে 4-6 -8 (2 এর পরিবর্তে)। প্যারামিটারগুলি অনুসন্ধানের পদক্ষেপে (কারণ আমাদের কাছে "প্রার্থীদের মডেলগুলির ভাল প্রসারিত রয়েছে"), এমএম গড় (বিএন্ডএ) প্রায়শই প্রায় কোনও পরিবর্তন হয় না। আমি ধ্রুপদী এআইসি এবং এআইসিসি (এইচএন্ডটি, বি ও এ দ্বারা জনপ্রিয়) উভয়কেই কিছুটা সংশয়যুক্ত, যেহেতু তারা প্রায়শই "ক্রিমের খুব ঘন স্তর" দেয়। ;-)

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.