মডেল নির্বাচন বায়েশিয়ান বা ক্রস-বৈধকরণের জন্য সেরা পদ্ধতির?

Question

বিভিন্ন মডেল বা বৈশিষ্ট্যের সংখ্যা অন্তর্ভুক্ত করার জন্য বাছাই করার চেষ্টা করার সময়, ভবিষ্যদ্বাণী বলুন আমি দুটি পদ্ধতির কথা ভাবতে পারি।

1. প্রশিক্ষণ এবং পরীক্ষা সেটগুলিতে ডেটা বিভক্ত করুন। আরও ভাল, বুটস্ট্র্যাপিং বা কে-ফোল্ড ক্রস-বৈধতা ব্যবহার করুন। প্রশিক্ষণে প্রতিবার প্রশিক্ষণ দিন এবং পরীক্ষার সেটটিতে ত্রুটিটি গণনা করুন। প্লট পরীক্ষার ত্রুটি বনাম পরামিতিগুলির সংখ্যা। সাধারণত, আপনি এই জাতীয় কিছু পান:
2. পরামিতিগুলির মানগুলিকে একীভূত করে মডেলের সম্ভাবনা গণনা করুন। অর্থাত, কম্পিউট , এবং পরামিতি সংখ্যা বিরুদ্ধে এই ষড়যন্ত্র। আমরা তখন এরকম কিছু পাই:$\int_\theta P(D|\theta)P(\theta)d \theta$

সুতরাং আমার প্রশ্নগুলি হ'ল:

1. এই সমস্যাগুলি সমাধান করার জন্য এই পন্থাগুলি কি উপযুক্ত (আপনার মডেলটিতে কয়টি প্যারামিটার অন্তর্ভুক্ত করা উচিত, বা বেশ কয়েকটি মডেলের মধ্যে নির্বাচন করা)?
2. তারা কি সমতুল্য? সম্ভবত না. তারা কি নির্দিষ্ট অনুমানের অধীনে বা অনুশীলনে একই অনুকূল মডেলটি দেবে?
3. বায়েশিয়ান মডেল ইত্যাদিতে পূর্বের জ্ঞান নির্দিষ্ট করার ক্ষেত্রে সাধারণত দার্শনিক পার্থক্য ব্যতীত, প্রতিটি পদ্ধতির উপকারিতা এবং কি কি? আপনি কোনটি বেছে নেবেন?

আপডেট: আমি এআইসি এবং বিআইসির তুলনা সম্পর্কিত সম্পর্কিত প্রশ্নটিও পেয়েছি । দেখে মনে হয় যে আমার পদ্ধতি 1 টি এআইসির সাথে অসম্পূর্ণভাবে সমতুল্য এবং পদ্ধতি 2 বিসিকের সাথে তাত্পর্যপূর্ণভাবে সম্পর্কিত। তবে আমি সেখানে আরও পড়েছি যে বিআইসি হ'ল লিভ-ওয়ান-আউট সিভির সমতুল্য। এর অর্থ হ'ল প্রশিক্ষণের ত্রুটি ন্যূনতম এবং বায়সিয়ান সম্ভাবনা সর্বাধিক সমান যেখানে এলওইউ সিভি কে-ফোল্ড সিভি সমতুল্য। জুন শাওর একটি খুব সম্ভবত আকর্ষণীয় কাগজ " লিনিয়ার মডেল নির্বাচনের জন্য একটি অ্যাসিম্পটোটিক তত্ত্ব " এই বিষয়গুলির সাথে সম্পর্কিত।

Comments

আমার কাছে সত্যিই পুরো উত্তর নেই তবে আমি উল্লেখ করব যে আমি সাধারণত "বৈশিষ্ট্যগুলির সংখ্যা চয়ন করতে" কোনও পদ্ধতিই ব্যবহার করার কথা ভাবব না। সাধারণভাবে, আমি সমস্ত বৈশিষ্ট্য অন্তর্ভুক্ত করার জন্য মেশিন লার্নিং এবং বায়েসিয়ান পরিসংখ্যানকে ব্যাখ্যা করি যেহেতু তাদের সম্ভবত কিছুটা ন্যূনতম প্রভাব রয়েছে। তবে আমি মনে করি আপেক্ষিক মডেল জটিলতার প্রশ্নটি এখনও উপযুক্ত। আমি আরও জানিয়ে দেব যে আপনি কখনই বায়েশিয়ান অনুমানের পরিচয় দেননি; কে-ফোল্ড বা বুটস্ট্র্যাপিংয়ের সরলতার তুলনায় এটি অনুশীলনে খুব অগোছালো বলে মনে হচ্ছে।

— শেয়া পার্কস

নোট করুন যে শাও পেপার কেবল লিনিয়ার মডেলগুলির জন্যই কাজ করে; প্রকৃতপক্ষে কেবল তাদের সাধারণ কাঠামোটি জটিলতার পরিমাপ হিসাবে বৈশিষ্ট্যগুলির সংখ্যাটি ব্যবহারযোগ্য করে তোলে এবং এইভাবে সমস্ত তথ্য মানদণ্ডকে শক্তি দেয়।

এআইসি ( বিআইসি নয়! ) দুর্বল অনুমানের অধীনে লেভেল-ওয়ান-আউট ক্রস বৈধতার সমকক্ষ (পাথরের কারণে "ক্রস-বৈধকরণ এবং আকাইকের মানদণ্ড দ্বারা মডেল পছন্দ করার একটি অ্যাসিপটোটিক সমতুল্য" (1977) )। আপনি যে প্রশ্নের উত্সটি উল্লেখ করেছেন এটি ভুল ছিল এবং রব হ্যান্ডম্যান একটি মন্তব্যে সংশোধন করেছিলেন। আমি ভেবেছিলাম ভুল ধারণা ছড়িয়ে দেওয়া বন্ধ করার জন্য এখানে এটি সংশোধন করা ভাল ধারণা হতে পারে।

— রিচার্ড হার্ডি

Answer 1

1. এই সমস্যাগুলি সমাধান করার জন্য এই পন্থাগুলি কি উপযুক্ত (আপনার মডেলটিতে কয়টি প্যারামিটার অন্তর্ভুক্ত করা উচিত, বা বেশ কয়েকটি মডেলের মধ্যে নির্বাচন করা)?

হয় এক হতে পারে, হ্যাঁ। আপনি যদি বিবেচনা করেন এমন মডেলগুলির তালিকার বাইরে যে মডেলটি সবচেয়ে ভাল পূর্বাভাস দেয় তা অর্জন করতে আগ্রহী হন, বিভাজন / ক্রস-বৈধকরণের পদ্ধতিটি এটি ভাল করতে পারে। যদি আপনি জানতে আগ্রহী যে কোন মডেলগুলি (পুটিটিভ মডেলের তালিকায়) আসলে আপনার ডেটা তৈরি করে, তবে দ্বিতীয় পদ্ধতির (মডেলগুলির উত্তরীয় সম্ভাবনার মূল্যায়ন) আপনি যা চান তা হ'ল।

2. তারা কি সমতুল্য? সম্ভবত না. তারা কি নির্দিষ্ট অনুমানের অধীনে বা অনুশীলনে একই অনুকূল মডেলটি দেবে?

না, তারা সাধারণ সমতুল্য নয়। উদাহরণস্বরূপ, 'সেরা' মডেল বাছাই করতে এআইসি (একটি তথ্য মাপদণ্ড, আকাইকে দ্বারা) ব্যবহার করা প্রায় ক্রস-বৈধতার সাথে মিলে যায়। ব্যবহারের সাথে BIC (Bayesian তথ্য মাপদণ্ড) অবর সম্ভাব্যতা ব্যবহার করে, আবার প্রায় অনুরূপ। এগুলি একই মানদণ্ড নয়, তাই সাধারণভাবে তাদের পৃথক পৃথক পছন্দ নিয়ে যাওয়ার আশা করা উচিত। তারা একই উত্তর দিতে পারে - যখনই যে মডেলটি সর্বোত্তমভাবে পূর্বাভাস দেয় সেটিও সত্য বলে দেখা যায় - তবে অনেক পরিস্থিতিতে মডেল যেটি সবচেয়ে বেশি ফিট করে তা হ'ল অতিমাত্রায় মানানসই, যা পদ্ধতির মধ্যে মতবিরোধের দিকে পরিচালিত করে।

তারা কি অনুশীলনে একমত? এটি আপনার 'অনুশীলনে' জড়িত তার উপর নির্ভর করে। এটি উভয় উপায়ে চেষ্টা করে দেখুন।

3. বায়েশিয়ান মডেল ইত্যাদিতে পূর্বের জ্ঞান নির্দিষ্ট করার ক্ষেত্রে সাধারণত দার্শনিক পার্থক্য ব্যতীত, প্রতিটি পদ্ধতির উপকারিতা এবং কি কি? আপনি কোনটি বেছে নেবেন?

• গণনা উত্তরীয় সম্ভাবনার চেয়ে ক্রস-বৈধতার জন্য গণনা করা সাধারণত অনেক সহজ
• আপনি যে তালিকা থেকে বেছে নিচ্ছেন সেই তালিকার মধ্যে 'সত্য' মডেল হ'ল এটি একটি দৃinc়প্রত্যয়ী বিষয় তৈরি করা প্রায়শই কঠিন। এটি উত্তরোত্তর সম্ভাবনা ব্যবহারের জন্য সমস্যা তবে ক্রস-বৈধতা নয়
• উভয় পদ্ধতিতে মোটামুটি স্বেচ্ছাচারী ধ্রুবকগুলির ব্যবহার জড়িত থাকে; ভেরিয়েবলের সংখ্যার ক্ষেত্রে ভবিষ্যদ্বাণীটির অতিরিক্ত ইউনিট কত? আমরা প্রতিটি মডেলকে কতটুকু বিশ্বাস করি, একটি প্রাইরি ?
  • আমি সম্ভবত ক্রস-বৈধতা চয়ন করব। কিন্তু প্রতিশ্রুতি দেওয়ার আগে, আমি কেন এই মডেল-নির্বাচন করা হচ্ছে, অর্থাৎ নির্বাচিত মডেলটি কী ব্যবহার করা উচিত তা সম্পর্কে অনেক কিছু জানতে চাই। মডেল-নির্বাচনের কোনও ফর্মই যথাযথ হতে পারে না, যেমন: কার্যকারণ অনুমানের প্রয়োজন হয়।

Answer 2

অনুকূলিতাই পরিসংখ্যানগুলিতে সমস্ত অশুভের মূল! ; O)

আপনি যখনই তথ্যের সীমাবদ্ধ নমুনায় মূল্যায়ন করা হয় সেই মানদণ্ডের উপর ভিত্তি করে কোনও মডেল বাছাই করার চেষ্টা করেন, আপনি মডেল নির্বাচনের মানদণ্ডকে অতিরিক্ত ফিট করার ঝুঁকিটি প্রবর্তন করেন এবং আপনি শুরু করার চেয়ে খারাপ মডেলটি দিয়ে শেষ করেন model ক্রস-বৈধকরণ এবং প্রান্তিক সম্ভাবনা উভয়ই বোধগম্য মডেল নির্বাচনের মানদণ্ড, তবে তারা উভয়ই তথ্যের সীমাবদ্ধ নমুনার উপর নির্ভরশীল (এআইসি এবং বিআইসি হিসাবে রয়েছে - জটিলতার জরিমানা সাহায্য করতে পারে, তবে এই সমস্যাটি সমাধান করে না)। আমি এটি মেশিন লার্নিংয়ে যথেষ্ট সমস্যা বলে মনে করেছি, দেখুন

জিসি কাওলি এবং এনএলসি টালবট, মডেল নির্বাচনের ক্ষেত্রে ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নে পরবর্তী নির্বাচনের পক্ষপাতিত্ব, মেশিন লার্নিং রিসার্চ জার্নাল, ২০১০। গবেষণা, খন্ড 11, পৃষ্ঠা 2079-2107, জুলাই 2010. ( www )

বায়েশিয়ান দৃষ্টিকোণ থেকে, সমস্ত মডেল পছন্দ এবং পরামিতিগুলির সাথে একীভূত করা ভাল। আপনি যদি কিছু অনুকূল না করেন বা কিছু না চয়ন করেন তবে অতিরিক্ত ফিট করার পক্ষে এটি আরও শক্ত হয়ে যায়। ক্ষতিটি হ'ল আপনি হার্ড ইন্টিগ্রালগুলি সমাপ্ত করেন, যা প্রায়শই MCMC এর সাথে সমাধান করা প্রয়োজন। আপনি যদি সেরা ভবিষ্যদ্বাণীপূর্ণ পারফরম্যান্স চান, তবে আমি সম্পূর্ণ বায়েশিয়ান পদ্ধতির পরামর্শ দেব; আপনি যদি ডেটা বুঝতে চান তবে সেরা মডেল নির্বাচন করা প্রায়শই সহায়ক। তবে, আপনি যদি ডেটাটি পুনরায় নমুনা করেন এবং প্রতিবার একটি আলাদা মডেলটি সমাপ্ত করেন, তার মানে হ'ল ফিটিং পদ্ধতিটি অস্থির এবং মডেলগুলির কোনওটিই ডেটা বোঝার জন্য নির্ভরযোগ্য নয়।

নোট করুন যে ক্রস-বৈধতা এবং প্রমাণের মধ্যে একটি গুরুত্বপূর্ণ পার্থক্য হ'ল প্রান্তিক সম্ভাবনার মান ধরে নেয় যে মডেলটি ভুল বানানযুক্ত নয় (মূলত মডেলের মূল ফর্মটি উপযুক্ত) এবং যদি তা হয় তবে বিভ্রান্তিকর ফলাফল দিতে পারে। ক্রস-বৈধকরণ এ জাতীয় কোনও অনুমান করে না, যার অর্থ এটি আরও কিছুটা শক্তিশালী হতে পারে।

Comments

বায়েশিয়ান ইন্টিগ্রেশন একটি শক্তিশালী পদ্ধতির। তবে সর্বদা প্রশ্ন রাখুন মডেল নির্বাচন এটি সম্পর্কে সঠিক পথ কিনা। প্রেরণা কি? নমনীয় এবং কেবল এটি ফিট করে এমন একটি সম্পূর্ণ মডেল কেন পোস্ট করবেন না?

— ফ্র্যাঙ্ক হ্যারেল 30'18

@ ফ্র্যাঙ্কহারেল অনেকগুলি নমনীয় মডেলগুলিতে নিয়মিতকরণের শর্তাদি এবং অন্যান্য হাইপার-প্যারামিটার অন্তর্ভুক্ত রয়েছে এবং সেগুলি সুর করাও মডেল নির্বাচন এবং নির্বাচনের মানদণ্ডকে ওভার-ফিটিংয়ের একই সমস্যার সাপেক্ষে। ফিটিং ওভার-ফিটিংয়ের ঝুঁকি নিয়ে আসে এবং এটি সর্বস্তরে প্রযোজ্য। তবে আপনি যদি মডেলটির কাঠামো সম্পর্কে অগ্রাধিকার জানেন তবে সেই বিশেষজ্ঞ জ্ঞানটি ব্যবহার করা উচিত।

— ডিকরান মার্সুপিয়াল

টিউনিংয়ের প্রয়োজন নেই এমন পদ্ধতির সন্ধানের পক্ষে সেরা, তবে এটি সর্বদা সম্ভব হয় না। আমার মূল বিষয়টি হ'ল মডেল নির্বাচনের চেয়ে মডেল স্পেসিফিকেশন আরও ভাল কাজ করে এবং এটি বৈশিষ্ট্য নির্বাচনটি একটি মহৎ লক্ষ্য বলে মনে করবেন না।

— ফ্র্যাঙ্ক হ্যারেল

@ ফ্র্যাঙ্কহারেল বৈশিষ্ট্য নির্বাচন খুব কমই সহায়ক। সম্ভব হলে অপ্টিমাইজেশন এড়ানো উচিত, যার মধ্যে তথ্যের সীমাবদ্ধ নমুনার উপর ভিত্তি করে কোনও মডেল পছন্দ / টিউনিং অন্তর্ভুক্ত থাকে (অবশ্যই স্যাম্পলটি যত বড়, ঝুঁকি তত কম)।

— ডিকরান মার্শুপিয়াল