বায়েশিয়ান বনাম এমএলই, ওভারফিটিং সমস্যা

বিশপের পিআরএমএল বইয়ে তিনি বলেছিলেন যে, ওভারফিট করা সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) সমস্যা এবং বায়েসিয়ান এড়াতে পারেন।

তবে আমি মনে করি, মডেল নির্বাচন সম্পর্কে পরামিতি নির্ধারণের জন্য ব্যবহৃত পদ্ধতি সম্পর্কে নয়, ওভারফিটিং আরও বেশি সমস্যা। এটি, ধরুন আমার কাছে একটি ডেটা সেট , যা মাধ্যমে উত্পন্ন হয়েছে , এখন আমি ডেটা ফিট করতে এবং খুঁজে পেতে বিভিন্ন মডেল নিতে পারি কোনটি সবচাইতে ভাল. এবং বিবেচনাধীন মডেলগুলি হ'ল বিভিন্ন অর্ডার সহ বহুপদী, আদেশ 1, 2 আদেশ 2, হ'ল আদেশ 9। $D$

f (x) = s i n (x), x \in [0, 1]

$f(x)=sin(x),\;x\in[0,1]$

H_{i}

$H_i$

H_{1}

$H_1$

H_{2}

$H_2$

H_{3}

$H_3$

এখন আমি ডেটা মাপসই চেষ্টা 3 মডেলের সাথে, প্রতিটি মডেল তার paramters, যেমন প্রকাশ করেছেন জন্য । $D$ $w_i$ $H_i$

এমএল ব্যবহার করে, আমি মডেল পরামিতি একটি বিন্দু হিসাব থাকবে , এবং খুব সহজ হয় এবং সর্বদা ডাটা underfit, যেহেতু হবে অত্যন্ত জটিল এবং ডেটা overfit করবে শুধুমাত্র তথ্য ভাল মাপসই করা হবে। $w$ $H_1$ $H_3$ $H_2$

আমার প্রশ্নগুলি হ'ল,

1) মডেল 12 ডেটা দেবে, তবে আমি মনে করি এটি এমএল এর সমস্যা নয়, তবে প্রতি সেড মডেলের সমস্যা। কারণ, জন্য এমএল ব্যবহার করা নয়। আমি কি সঠিক? $H_3$ $H_1,H_2$

2) Bayesian তুলনায় এমএল যেহেতু এটা শুধু মডেল পরামিতি বিন্দু অনুমান দেয়, কিছু অসুবিধেও আছে , এবং এটি overconfident আছে। যদিও বায়েসিয়ান প্যারামিটারের সর্বাধিক সম্ভাব্য মানের উপর নির্ভর করে না, তবে পর্যবেক্ষণের ডেটা দিয়ে প্যারামিটারগুলির সমস্ত সম্ভাব্য মানগুলি ঠিক আছে? $w$ $D$

3) বায়েশিয়ানরা কেন বা ওভারফিটিং হ্রাস করতে পারে? আমি এটা বুঝতে হিসাবে, আমরা মডেল তুলনা, যে জন্য Bayesian ব্যবহার করতে পারেন, তথ্য দেওয়া , আমরা খুঁজে পাইনি প্রান্তিক সম্ভাবনা (অথবা মডেল প্রমাণ) বিবেচনা অধীন প্রতিটি মডেল জন্য, এবং তারপর সর্বোচ্চ প্রান্তিক সম্ভাবনা, ডান সঙ্গে এক বাছাই ? যদি তাই হয় তবে তা কেন? $D$

bayesian model-selection overfitting

— আভাকাডো
সূত্র

উত্তর:

অনুকূলিতাই পরিসংখ্যানের সমস্ত অশুভের মূল। যে কোনও সময় আপনি আপনার মডেল about সম্পর্কে পছন্দসই কোনও উপাত্তের সুনির্দিষ্ট নমুনার উপর মূল্যায়ন করে আপনার মানদণ্ডের অতিরিক্ত মানিয়ে নেওয়ার ঝুঁকি পরিচালনা করেন, অর্থাত্ জেনারালাইজেশন পারফরম্যান্সের উন্নতি এবং হ্রাস হ্রাসের চেয়ে বেশি পরিসংখ্যান হ্রাস করুন পরিবর্তে ডেটা নমুনার অদ্ভুততা, যেমন গোলমাল শোষণ করে অর্জিত হয়)। বায়েশিয়ান পদ্ধতিটি আরও ভাল কাজ করার কারণটি হ'ল আপনি কোনও কিছুকেই অনুকূলিত করবেন না, পরিবর্তে সমস্ত সম্ভাব্য নির্বাচনের চেয়ে প্রান্তিককরণ (সংহতকরণ) করুন। সমস্যাটি তখন মডেল সম্পর্কে পূর্বের বিশ্বাসের পছন্দের মধ্যে রয়েছে, সুতরাং একটি সমস্যা চলে গেছে, তবে আরেকটি সমস্যা তার জায়গায় উপস্থিত রয়েছে। $^1$

$^1$ এর মধ্যে একটি বায়েশিয়ান সেটিংয়ে প্রমাণ (প্রান্তিক সম্ভাবনা) সর্বাধিককরণের অন্তর্ভুক্ত রয়েছে। এর উদাহরণের জন্য, আমার কাগজে গাউসিয়ান প্রসেস শ্রেণিবদ্ধের ফলাফলগুলি দেখুন, যেখানে প্রান্তিক সম্ভাবনা অনুকূল করে তুলনামূলকভাবে মডেলকে আরও খারাপ করে তোলে যদি আপনার খুব বেশি হাইপার-প্যারামিটার থাকে (প্রান্তিক সম্ভাবনা অনুসারে নোট নির্বাচনটি প্রচুর হাইপারের সাথে মডেলগুলিকে পছন্দ করে tend ওভার-ফিটিংয়ের এই ফর্মের ফলে প্যারামিটারগুলি))

জিসি কাওলি এবং এনএলসি টালবট, মডেল নির্বাচনের ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নে পরবর্তী নির্বাচনের পক্ষপাত, মেশিন লার্নিং রিসার্চ জার্নাল, ২০১০। গবেষণা, খণ্ড 11, পৃষ্ঠা 2079-2107, জুলাই 2010. ( পিডিএফ )

— ডিকরান মার্সুপিয়াল
সূত্র

+1, আপনাকে অনেক ধন্যবাদ, আমি আপনার কাগজটি পড়ব এবং আমার আরও কোনও প্রশ্ন আছে কিনা তা দেখতে পাবো, ;-)

— অ্যাভোকাডো

কেবল এখানে লক্ষণীয় যে অপ্টিমাইজেশন সাধারণত প্রায় একীভূত হিসাবে ভাবা যেতে পারে - ল্যাপ্লেস পদ্ধতিটি এটির একটি উদাহরণ। সংহতকরণের জন্য এটি যখন খুব ভাল অনুমান হয় না তখনই সাধারণত অপ্টিমাইজ করা ব্যর্থ হয় - সুতরাং কেন এমএল থেকে এমএমএল সাধারণত ভাল।

— সম্ভাব্যতা

@ প্রোব্যাবিলিটিস্লোগিক, আমি নিশ্চিত যে আমি বুঝতে পেরেছি না, এমএল কিছুটা এমএপি এর মতো, কোনও সংহতকরণ সম্পাদিত হয়নি। ল্যাপ্লেস আনুমানিককরণ ব্যবহার (যেভাবে আমি এটি ব্যবহার করতে দেখেছি) এই অর্থে অনুকূলিত করা হচ্ছে যে আপনি যে ফাংশনটির পরিবর্তে আপনার এটি সংহত করতে এবং একীভূত করতে চান তার একটি আনুমানিক অনুকূলিতকরণ করেছেন, তবে এখনও ইন্টিগ্রেশন চলছে।

— ডিকরান মার্শুপিয়াল

@ ডিক্রান মার্সুপিয়াল - এটি ব্যাখ্যা করার জন্য সম্ভবত আরও ভাল উপায় হ'ল এমএল দ্বারা একটি পরামিতি অনুমান করে এবং সেই পরামিতিটিকে তার এমএলএই সমান করতে বাধ্য করে ইন্টিগ্রেশনটি প্রায়শই ভালভাবে অনুমিত হয়। ল্যাপ্লেস আনুমানিকতা এই স্বজ্ঞাতকে "সংশোধন ফ্যাক্টর" সরবরাহ করে - একইভাবে আরএমএল করে।

— সম্ভাব্যতা

এই উত্তরটির জন্য @ সম্ভাব্যতা ব্লগ ধন্যবাদ, আমি এটি কিছুটা চিন্তা করব!

— ডিকরান মার্সুপিয়াল

সাধারণ প্রতিক্রিয়া হিসাবে, যদি আপনি "ন্যূনতম স্কোয়ারগুলি" টাইপ রিগ্রেশন মডেল ব্যবহার করেন তবে বেইস এবং এমএল এর মধ্যে সত্যিই খুব বেশি পার্থক্য নেই, যদি না আপনি রিগ্রেশন প্যারামিটারগুলির জন্য কোনও তথ্যবহুল ব্যবহার না করেন। সুনির্দিষ্ট প্রতিক্রিয়া:

$H_9$ $H_1$

2) এটি বহুলোক বিস্তারের মতো "লিনিয়ার" এর পক্ষে সত্য নয় ("লিনিয়ার" অর্থ প্যারামিটারের সাথে লিনিয়ার, নয় )। ন্যূনতম স্কোয়ারের জন্য এমএল অনুমানগুলি তথ্যহীন প্রিয়ার বা বৃহত নমুনা আকারের অধীনে পোস্টেরিয়রের সাথে সমান। আসলে আপনি দেখাতে পারেন যে এমএল অনুমানগুলি বিভিন্ন মডেলের অধীনে "অ্যাসিপটোটিক" উত্তরোত্তর হিসাবে বিবেচনা করা যেতে পারে। $x$

3) বায়েশিয়ান পদ্ধতিটি কেবলমাত্র উপযুক্ত প্রিরিয়ারদের জন্যই বেশি চাপ এড়াতে পারে। এটি কিছু ফিটিং অ্যালগরিদমে আপনি দেখতে পেনাল্টি শর্তগুলির সাথে একইভাবে কাজ করে। উদাহরণস্বরূপ, এল 2 জরিমানা = স্বাভাবিক পূর্ব, এল 1 পেনাল্টি = পূর্ববর্তী স্থানে।

— probabilityislogic
সূত্র

H_{9}

$H_9$

H_{\infty}

$H_\infty$

H_{9}

$H_9$

$H_1$ $H_2$ $H_3$

$2$ $H_1$

$l^1$

— Youloush
সূত্র

অপর্যাপ্ত প্রশিক্ষণের নমুনা সহ একটি সাধারণ অনুমান (উদাহরণস্বরূপ এইচ 1, এইচ 2) আন্ডার ফিটিংয়ের (সিভির জন্য) উদাহরণ হিসাবে দেওয়া হবে এবং দেওয়া কয়েকটি প্রশিক্ষণের উদাহরণে মডেল পক্ষপাতের কারণে ফিটের চেয়ে বেশি নয়।

— ইয়েকটা