হাইপারপ্যারামিটারগুলি অনুমানের জন্য ক্রস-বৈধকরণ বনাম পরীক্ষামূলক বেইস

Question

একটি হায়ারারিকিকাল মডেল , আমি মডেলটি ফিট করার জন্য একটি দুটি পর্যায় প্রক্রিয়া চাই। প্রথমে কয়েকটি হাইপারপ্যারামিটার ঠিক করুন এবং তারপরে বাকী প্যারামিটারগুলি বায়েশিয়ান অনুমান করুন । হাইপারপ্যারামিটারগুলি ঠিক করার জন্য আমি দুটি বিকল্প বিবেচনা করছি।θ $p(x|\phi,\theta)$$\theta$$\phi$

1. এমিরিকাল বেইস (ইবি) ব্যবহার করুন এবং প্রান্তিক সম্ভাবনা সর্বাধিক করুন মডেলটির বাকী একীভূত করুন যাতে উচ্চ মাত্রিক পরামিতি রয়েছে)।$p(\mbox{all data}|\theta)$
2. ক্রস বৈধকরণ (সিভি) কৌশলগুলি ব্যবহার করুন যেমন ফোল্ড ক্রস বৈধকরণ চয়ন করতে যা সম্ভাবনা থিতা ) সর্বাধিক করে তোলে ।θ পি ( পরীক্ষার ডেটা | প্রশিক্ষণ ডেটা , θ $k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

EB এর সুবিধাটি হ'ল আমি একবারে সমস্ত ডেটা ব্যবহার করতে পারি, যখন সিভি-র জন্য আমার একাধিকবার মডেল সম্ভাবনাটি গুনতে (enti সম্ভাব্য) প্রয়োজন এবং । অনেক ক্ষেত্রে (*) ইবি এবং সিভির পারফরম্যান্স তুলনীয়, এবং প্রায়শই EB অনুমান করা দ্রুত হয়।$\theta$

প্রশ্ন: এমন কোন তাত্ত্বিক ভিত্তি রয়েছে যা দুটিকে সংযুক্ত করে (বলুন, বড় ডেটার সীমাতে ইবি এবং সিভি একই রকম)? বা ইমিবিরিকাল ঝুঁকির মতো কিছু সাধারণীকরণের মানদণ্ডে ইবিকে লিঙ্ক করে? কেউ কি কোনও ভাল রেফারেন্স উপাদানকে নির্দেশ করতে পারেন?

---

(*) উদাহরণ হিসাবে, এখানে মারফি মেশিন লার্নিংয়ের ,..6.৪ বিভাগের একটি চিত্র রয়েছে যেখানে তিনি বলেছেন যে রিজ রিগ্রেশনের জন্য উভয় পদ্ধতিরই একই রকম ফল পাওয়া যায়:

মারফি আরও বলেছে যে সিভি ব্যবহারের ক্ষেত্রে বৌয়েস (তিনি এটিকে "প্রমাণ পদ্ধতি" বলে) এর নীতিগত ব্যবহারিক সুবিধাটি তখন হয় যখন অনেক হাইপার-প্যারামিটার থাকে (যেমন প্রতিটি বৈশিষ্ট্যের জন্য পৃথক জরিমানা, যেমন স্বয়ংক্রিয় প্রাসঙ্গিকতা নির্ধারণ বা এআরডি)। সেখানে সিভি ব্যবহার করা মোটেই সম্ভব নয়।$\theta$

Comments

ক্রস-বৈধকরণ পদ্ধতির জন্য আপনি কী করছেন সে সম্পর্কে আপনি আরও বিশদে বর্ণনা করতে পারবেন? আপনি কি এবং তারপরে যাচাইয়ের আগে অন্যান্য পরামিতিগুলি অনুমান করার জন্য প্রশিক্ষণ ডেটা ব্যবহার করছেন? $\theta$

— নিল জি

@ নীলজি ক্রস-বৈধকরণ সেটগুলিতে লগ প্রান্তিক ভবিষ্যদ্বাণীমূলক ডেটা সম্ভাবনার যোগফলকে সর্বোচ্চ করে দেয় (কে ইন্টিগ্রেটেড আউট)।

— স্মরণ

যদি উভয় সময়ই সংহত হয় তবে সিভি এবং ইসির মধ্যে পার্থক্য কী? $k$

— নীল জি

দুর্দান্ত প্রশ্ন। প্রায়শই তুলনামূলক হওয়ার কারণে দুটি পদ্ধতির বিষয়ে আপনার দৃষ্টিভঙ্গি তুলে ধরতে আমি আপনার প্রশ্নে মারফি পাঠ্যপুস্তক থেকে একটি চিত্র যুক্ত করার স্বাধীনতা নিয়েছি। আমি আশা করি আপনি এই সংযোজন করতে আপত্তি করবে না।

— অ্যামিবা বলছেন মনিকাকে

Answer 1

আমি সন্দেহ করি যে একটি তাত্ত্বিক লিঙ্ক থাকবে যা বলে যে সিভি এবং প্রমাণ সর্বাধিকীকরণ asyptotically সমতুল্য হিসাবে প্রমাণ আমাদের মডেলটির অনুমানগুলি দেওয়া ডেটার সম্ভাবনা বলে দেয় । সুতরাং যদি মডেলটি ভুলভাবে নির্দিষ্ট করা হয়, তবে প্রমাণগুলি অবিশ্বস্ত হতে পারে। অন্যদিকে ক্রস-বৈধকরণ তথ্যগুলির সম্ভাব্যতার একটি অনুমান দেয়, মডেলিং অনুমানগুলি সঠিক কিনা are এর অর্থ হ'ল মডেলিং অনুমানগুলি যদি কম ডেটা ব্যবহার করে সঠিক হয় তবে প্রমাণটি আরও ভাল গাইড হতে পারে তবে মডেল ভুল-নির্দিষ্টকরণের বিরুদ্ধে ক্রস-বৈধকরণ দৃ be় হবে। সিভি আশ্বাসহীনভাবে পক্ষপাতহীন, তবে আমি ধরে নেব যে মডেল অনুমানগুলি সঠিকভাবে না ঘটলে প্রমাণটি পাওয়া যায় না।

এটি মূলত আমার স্বজ্ঞাততা / অভিজ্ঞতা; আমি এই সম্পর্কে গবেষণা সম্পর্কে শুনতে আগ্রহী হবে।

নোট করুন যে অনেক মডেলের জন্য (যেমন রিজ রিগ্রেশন, গাউসিয়ান প্রসেসস, কার্নেল রিজ রিগ্রেশন / এলএস-এসভিএম ইত্যাদি) লেভ-ওয়ান-আউট ক্রস-বৈধতা প্রমাণের অনুমানের হিসাবে কমপক্ষে দক্ষতার সাথে সম্পাদন করা যেতে পারে, সুতরাং অগত্যা কোনও গণনা হয় না সেখানে সুবিধা।

সংযোজন: প্রান্তিক সম্ভাবনা এবং ক্রস-বৈধতা উভয়ই পারফরম্যান্সের প্রাক্কলন উপাত্তের একটি সীমাবদ্ধ নমুনার উপরে মূল্যায়ন করা হয় এবং তাই কোনও মডেলকে মানদণ্ডের অনুকূলকরণের দ্বারা সুরক্ষিত করা হলে সর্বদা ওভার-ফিট করার সম্ভাবনা থাকে। ছোট নমুনাগুলির জন্য, দুটি মানদণ্ডের ভিন্নতার মধ্যে পার্থক্য সিদ্ধান্ত নিতে পারে যে কোনটি সবচেয়ে ভাল কাজ করে। আমার কাগজ দেখুন

গ্যাভিন সি। কাওলি, নিকোলা এলসি টালবট, "মডেল সিলেকশনে ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নের পরবর্তী নির্বাচন বায়াস", মেশিন লার্নিং রিসার্চ জার্নাল, ১১ (জুলাই): ২০−৯−২১০7, ২০১০। ( পিডিএফ )

Comments

আপনি কেন বলেন যে সিভি একটি ভুল নির্দিষ্ট মডেলের বিরুদ্ধে শক্ত? তার ক্ষেত্রে, ইসি কোনও সম্ভাবনা গণনা করছে যে ক্রস-বৈধতা একই স্থান অনুসন্ধান করছে সেহেতু এই জাতীয় কোনও সুরক্ষা নেই। যদি তার মডেলিং অনুমানগুলি ভুল হয় তবে ক্রস-বৈধতা তাকে বাঁচায় না।

— নীল জি

সিভি হ'ল ভুল বর্ণনার বিরুদ্ধে শক্তিশালী যে এটি এখনও সাধারণীকরণের কার্যকারিতার একটি কার্যকর সূচক দেয়। প্রান্তিক সম্ভাবনা may (উদাহরণস্বরূপ) এর পূর্বের উপর নির্ভর করে যেমন আপনি চেয়ে প্রান্তিক হওয়ার পরেও নাও হতে পারে । তাই আপনি যদি আপনার পূর্বের উপর বিভ্রান্তিকর ছিল, প্রান্তিক সম্ভাবনা সাধারণীকরণ কর্মক্ষমতা করার জন্য একটি বিভ্রান্তিকর গাইড হতে পারে। "পর্যবেক্ষণের তথ্যের জন্য স্প্লাইন মডেলগুলি", গ্রেস ওয়াহ্বার মনোগ্রাফ দেখুন বিভাগের ৪.৮ (এটি খুব বেশি কিছু বলে না, তবে এএফএআইএকি তেমন কিছুই নেই)। φ $\phi$$\phi$$\theta$

— ডিকরান মার্শুপিয়াল

PS আমি নিয়মিতকরণের পরামিতিগুলিকে প্রান্তিক সম্ভাব্যতা সর্বাধিককরণের মাধ্যমে সুরক্ষিত করে বায়েশীয় নিয়মিতকরণের সাথে নিউরাল নেটওয়ার্কগুলিতে অত্যধিক সংযোজন এড়ানোর একটি বিশ্লেষণ করছি। এমন পরিস্থিতি রয়েছে যেখানে এটি খুব খারাপভাবে কাজ করে (কোনও নিয়মিতকরণ না করার চেয়ে খারাপ)। এটি মডেল ভুল-নির্দিষ্টকরণের সমস্যা বলে মনে হচ্ছে।

— ডিকরান মার্শুপিয়াল

তিনি ইবি দ্বারা প্রত্যাশিত বিতরণটি ফেরত দেওয়া ডেটার সামগ্রিক লগ-সম্ভাবনা যাচাই করে একই "সাধারণীকরণের পারফরম্যান্সের সূচক" পেতে পারেন (যা সেই বিতরণের এনট্রপির সমান হবে)। এই ক্ষেত্রে এটি বীট করার কোন উপায় নেই কারণ এটি এই সমস্যার বিশ্লেষণাত্মক সমাধান। আপনি যখন EB এর সম্ভাবনা গণনা করতে পারেন তখন ক্রস-বৈধকরণ কেন বোঝায় তা আমি দেখতে পাচ্ছি না।

— নীল জি

@ সম্ভাব্যতা ব্লগ, আপনি কী পাচ্ছেন তা আমি নিশ্চিত নই (নিঃসন্দেহে আমার শেষের দিকে সমস্যা! o)। আমি বাস্তব অভিজ্ঞতা থেকে আপনাকে বলতে পারি যদিও সমস্যাটি খুব বাস্তব। আমি বেশ কয়েক বছর ধরে মডেল নির্বাচনের সমস্যা নিয়ে কাজ করছি এবং আমি এমন অনেক সমস্যার মুখোমুখি হয়েছি যেখানে প্রান্তিক সম্ভাবনা সর্বাধিকীকরণ খুব খারাপ ধারণা হিসাবে দেখা দেয়। ক্রস-বৈধতা বেশিরভাগ ডেটাসেটের জন্যও প্রায়শই সম্পাদন করে, তবে যেখানে এটি খারাপভাবে সঞ্চালিত হয় তা বিরল বিপর্যয়মূলকভাবে সম্পাদন করে যেমন প্রমাণ কখনও কখনও সর্বাধিক করা যায়।

— ডিকরান মার্শুপিয়াল

Answer 2

আপনার যদি অন্য প্যারামিটার না থাকে তবে EB সিভির সাথে সাদৃশ্যযুক্ত এটি বাদে আপনাকে অনুসন্ধান করতে হবে না। আপনি বলেছেন যে আপনি সিভি এবং ইবি উভয়ই কে সংহত করছেন । সেক্ষেত্রে তারা অভিন্ন।$k$$k$