বায়েশিয়ান ওভারফিটিংয়ের কথা ভাবছেন


20

আমি প্রচলিত ঘন ঘনসংখ্যক পরিসংখ্যানীয় ডোমেনে ভবিষ্যদ্বাণীপূর্ণ মডেলগুলির বৈধতা দেওয়ার জন্য পদ্ধতি এবং সফ্টওয়্যার বিকাশে অনেক সময় ব্যয় করেছি । আরও বায়েশিয়ান ধারণাগুলি অনুশীলন এবং শিক্ষার ক্ষেত্রে রাখার সময় আমি কিছু গুরুত্বপূর্ণ পার্থক্য দেখছি race প্রথমত, বায়েশিয়ান ভবিষ্যদ্বাণীপূর্ণ মডেলিং বিশ্লেষককে প্রার্থীদের বৈশিষ্ট্যগুলির সাথে কাস্টমাইজ করা যেতে পারে এমন পূর্ববর্তী বিতরণগুলি সম্পর্কে কঠোরভাবে চিন্তা করতে বলে এবং এই প্রিরিয়াররা মডেলটিকে তাদের দিকে টেনে তুলবে (অর্থাত্, বিভিন্ন ভবিষ্যদ্বাণীমূলক বৈশিষ্ট্যগুলির জন্য বিভিন্ন পরিমাণে শাস্তি সহ সংকোচন / শাস্তি / নিয়মিতকরণ অর্জন করবে) )। দ্বিতীয়ত, "আসল" বায়েশিয়ান পদ্ধতিতে কোনও একক মডেল তৈরি হয় না তবে ভবিষ্যদ্বাণীটির জন্য একটি পুরো উত্তর বিতরণ পায়।

এই বায়েশিয়ান বৈশিষ্ট্যগুলি মাথায় রেখে, অতিমাত্রায় কী বোঝায়? আমাদের কি তা মূল্যায়ন করা উচিত? যদি তাই হয়, কিভাবে? যখন কোনও বয়েসিয়ান মডেল ক্ষেত্রের ব্যবহারের জন্য নির্ভরযোগ্য তখন আমরা কীভাবে জানব? বা আমরা যে পূর্বাভাসের জন্য বিকাশকৃত মডেলটি ব্যবহার করি তখন যেহেতু উত্তরকেন্দ্রটি সাবধানতা অবলম্বনকারী অনিশ্চয়তাগুলি পুরোপুরি বহন করবে?

যদি আমরা বায়েসিয়ান মডেলকে একক সংখ্যায়, যেমন, উত্তরকেন্দ্রিক গড় / মোড / মিডিয়ান ঝুঁকিতে ফেলে দিতে বাধ্য করি তবে কীভাবে চিন্তাভাবনা পরিবর্তন হবে?

আমি এখানে কিছু সম্পর্কিত চিন্তাভাবনা দেখছি । একটি সমান্তরাল আলোচনা এখানে পাওয়া যেতে পারে ।

ফলোআপ প্রশ্ন : আমরা যদি পুরোপুরি বয়েসিয়ান হয়ে থাকি এবং ডেটা দেখার আগে প্রিরিয়ারদের নিয়ে কিছুটা সময় ব্যয় করি এবং আমরা এমন একটি মডেল ফিট করি যেখানে ডেটা সম্ভাবনা যথাযথভাবে নির্দিষ্ট করা হত, আমরা কী অতিরিক্ত পোশাকের বিষয়ে আমাদের মডেলটির সাথে সন্তুষ্ট হতে বাধ্য? ? অথবা আমাদের ঘনঘনবাদী বিশ্বে আমরা যা করি তা করার দরকার যেখানে একটি এলোমেলোভাবে নির্বাচিত বিষয় গড়ে গড়ে ভালভাবে পূর্বাভাস দেওয়া যেতে পারে, তবে আমরা যদি এমন একটি বিষয় বেছে নিই যার খুব কম ভবিষ্যদ্বাণী রয়েছে বা যার উচ্চমানের পূর্বাভাস দেওয়া মান রয়েছে সেখানে রিগ্রেশন হবে মানে?


1
দেখুন mdpi.com/1099-4300/19/10/555/htm 5.1, 5.2
টিম

1
অ্যান্ড্রু গেলম্যানের একটি খুব প্রাসঙ্গিক ব্লগ নিবন্ধ আছে andrewgelman.com/2017/04/12/bayesian- পোস্টারিয়র- ক্যালিব্রেটেড
ফ্রাঙ্ক হ্যারেল

উত্তর:


6

আমি এই কথাটি বলতে শুরু করতে পারি যে কোনও বায়েশিয়ান মডেল পূর্বানুমানীয় বিতরণ থেকে প্রাপ্ত ডেটা পদ্ধতিগতভাবে অতিরিক্ত (বা আন্ডারফিট) উপস্থাপন করতে পারে না, যা বৈয়েসিয়ান সফ্টওয়্যার থেকে সংগৃহীত ডেটা প্রয়োগ করার আগে এটি কার্যকর করার জন্য একটি পদ্ধতির ভিত্তি is দুনিয়া।

তবে এটি পূর্বের ভবিষ্যদ্বাণীমূলক বিতরণ থেকে আঁকানো একক ডেটাসেট বা বিশ্ব থেকে সংগৃহীত একক ডেটাसेटকে এই উপায়ে তুলতে পারে যে আপনি ভবিষ্যতের ডেটাগুলিতে প্রয়োগ করা একই ভবিষ্যদ্বানীমূলক ব্যবস্থাগুলির চেয়ে আরও ভাল দেখায় যে আপনি ভবিষ্যতে ভবিষ্যদ্বাণীমূলক ব্যবস্থা প্রয়োগ করেছেন condition একই প্রক্রিয়া দ্বারা উত্পাদিত। রিচার্ড ম্যাকএলারিথের বায়েশিয়ান বইয়ের Chapter ষ্ঠ অধ্যায়টি অতিমাত্রায় উত্সর্গীকৃত।

ওভারফিটিংয়ের তীব্রতা এবং ফ্রিকোয়েন্সি ভাল প্রিয়ারদের দ্বারা হ্রাস করা যেতে পারে, বিশেষত যারা প্রভাবের স্কেল সম্পর্কে তথ্যমূলক tive প্রচ্ছন্নভাবে বড় মানগুলিতে পূর্বের সম্ভাবনা অদৃশ্য করে, আপনি তার উপর শর্তাবলীর যে শর্তের শর্তটি একটি অনিচ্ছাকৃতভাবে বড় প্রভাবের প্রস্তাব দিতে পারে তার কিছু আইডিয়াসিক্রেটিক দিক দ্বারা অত্যধিক উত্তেজিত হওয়া থেকে পূর্বের বিতরণকে নিরুৎসাহিত করেন।

ওভারফিটিং সনাক্তকরণের সর্বোত্তম উপায়গুলির মধ্যে ছুটি-ওয়ান-আউট ক্রস-বৈধকরণ জড়িত, যা কোনও উত্তরোত্তর বিতরণ থেকে প্রায় কাছাকাছি করা যেতে পারে যা কন্ডিশনার সেট থেকে আসলে কোনও পর্যবেক্ষণ ছেড়ে যায় না। এমন একটি ধারণা রয়েছে যে কোনও ব্যক্তিগত "পর্যবেক্ষণ" [*] আপনার শর্ত অনুসারে উত্তরোত্তর বিতরণে অত্যধিক পরিমাণে প্রভাব পড়ে না, তবে জেনারেলাইজড পেরেটো বিতরণে আকারের প্যারামিটারের অনুমানের আকারের মূল্যায়ন করে অনুমানটি চেকযোগ্য স্যাম্পলিং ওজনের গুরুত্বের সাথে মানানসই (যা উত্তরোত্তর বিতরণ থেকে প্রতিটি ড্রয়ের উপরে মূল্যায়ন করা কোনও পর্যবেক্ষণের লগ-সম্ভাবনা থেকে নেওয়া)) যদি এই অনুমানটি সন্তুষ্ট হয় তবে আপনি প্রতিটি পর্যবেক্ষণের জন্য ভবিষ্যদ্বাণীমূলক ব্যবস্থা গ্রহণ করতে পারেন যা এই পর্যবেক্ষণ বাদ দেওয়া হয়েছিল, পরবর্তী পর্যবেক্ষণগুলিতে পূর্ববর্তীটি শর্তাধীন থেকে আঁকা হয়েছিল, এবং বাদ দেওয়া পর্যবেক্ষণের জন্য পূর্ববর্তী ভবিষ্যদ্বাণীমূলক বিতরণ তৈরি করা হয়েছিল। যদি আপনার বাম পর্যবেক্ষণগুলির পূর্বাভাসগুলি ক্ষতিগ্রস্থ হয়, তবে আপনার মডেলটি শুরু করার জন্য উপযুক্ত নয়। এই ধারণাগুলি বাস্তবায়িত হয় আর এর জন্য লু প্যাকেজ , এতে এখানে এবং সেখানে যেমন উল্লেখ রয়েছে

যতক্ষণ একক সংখ্যার কাছে ডিস্টিলিং যায়, আমি পর্যবেক্ষণের অনুপাতটি 50% ভবিষ্যদ্বাণীপূর্ণ বিরতির মধ্যে পড়তে গণনা করতে চাই। এই অনুপাতটি অর্ধেকের বেশি যে পরিমাণে, মডেলটি অত্যধিক উপযোগী, যদিও অন্তর্ভুক্তি সূচক কার্যক্রমে শব্দটি কাটাতে আপনার কয়েকটি মুখ্য পর্যবেক্ষণের প্রয়োজন রয়েছে। বিভিন্ন মডেলের তুলনা (যে overfit পারে) জন্য, প্রত্যাশিত লগ ভবিষ্যদ্বাণীপূর্ণ ঘনত্ব (নির্ণিত হয় looফাংশন পায়খানাপ্যাকেজ) একটি ভাল পরিমাপ (আইজে গুড দ্বারা প্রস্তাবিত) কারণ এটি আরও নমনীয় মডেলটি কম নমনীয় মডেলের চেয়ে উপলভ্য ডেটা আরও ভাল ফিট করতে পারে এমন সম্ভাবনা বিবেচনা করে তবে ভবিষ্যতের ডেটা আরও খারাপ হতে পারে বলে প্রত্যাশা করা হয়। তবে এই ধারণাগুলি কোনও ভবিষ্যদ্বাণীমূলক পরিমাপের প্রত্যাশায় প্রয়োগ করা যেতে পারে (যা অনুশীলনকারীদের কাছে আরও স্বজ্ঞাত হতে পারে); লু প্যাকেজে E_looফাংশনটি দেখুন ।

[*] শ্রেণিবদ্ধ মডেলটিতে পর্যবেক্ষণকে কী বেছে নিতে হবে তা আপনাকে বেছে নিতে হবে। উদাহরণস্বরূপ, আপনি কি নতুন রোগী বা বিদ্যমান রোগীর জন্য একটি নতুন টাইম পয়েন্টের পূর্বাভাস দিতে আগ্রহী? আপনি এটি যে কোনও উপায়ে করতে পারেন, তবে পূর্ববর্তীটির প্রয়োজন হয় যে আপনি (পুনরায়) রোগী-নির্দিষ্ট পরামিতিগুলি একীকরণের জন্য সম্ভাবনা ফাংশনটি লিখুন।


2
খুব তথ্যপূর্ণ বেন। বিস্তারিত প্রতিক্রিয়া জানাতে সময় দেওয়ার জন্য অনেক ধন্যবাদ Thanks সুযোগ সম্পর্কে আপনার প্রশ্নের উত্তর দিতে, আমি নতুন রোগীদের উল্লেখ করছি। আমি একটি সাধারণ দার্শনিক প্রশ্ন রেখেছি যা আমি মূল প্রশ্নের শেষের দিকে যুক্ত করেছি।
ফ্র্যাঙ্ক হ্যারেল

2
আমি এই জাতীয় চেকগুলি আমাদের পূর্বের বিশ্বাসের দিকগুলি প্রতিফলিত করে যা আমরা ব্যবহৃত পূর্ববর্তী বিতরণগুলিতে তৈরি করি না বা করতে পারি না বলে মনে করি। উদাহরণস্বরূপ, নীতিগতভাবে, আপনাকে সমস্ত প্যারামিটারগুলির উপরে একটি যৌথ পূর্ববর্তী পিডিএফ নির্দিষ্ট করা উচিত, তবে প্রায় সবসময়ই ধরে নেওয়া যায় যে এটি এর থেকে স্বতন্ত্র, একটি প্রাইরি , কারণ আপনি সত্যই বিশ্বাস করেন না যে তারা স্বাধীন, তবে কেবল কারণ নির্দিষ্টকরণ মাল্টিভারিয়েট নির্ভরতা কাঠামো খুব কঠিন। পূর্বাভাসের মতো মাল্টিভিয়ারিয়েট ফাংশন আপনাকে ইনপুটগুলি যৌথভাবে বুদ্ধিমান ছিল কিনা তা জানার পরেও আপনাকে সাহায্য করতে পারে।
বেন গুডরিচ

এটি অসাধারণ ধারণা দেয় এবং খুব অন্তর্দৃষ্টিযুক্ত। "চরম" বিষয়গুলির জন্য ভবিষ্যদ্বাণীমূলক নির্ভুলতার মূল্যায়ন সম্পর্কে আমি এখনও কিছুটা বিশৃঙ্খলা ফেলে রেখেছি, খুব কম বা খুব উচ্চ মানের পূর্বাভাসযুক্ত মানগুলি। [এবং বয়েসের জন্য, যা মূল্যবোধের পূর্বাভাস দেয়। স্থানান্তরিত উত্তরোত্তর বিতরণ সহ এমন বিষয়গুলি বা নিম্ন / উচ্চতর উত্তরোত্তর লোকেরা কি?]
ফ্র্যাঙ্ক হ্যারেল

1
এই অন্য একটি চিন্তার: এটা অনেক পরিস্থিতিতে মনে হয়, অনুশীলনকারীদের সম্পর্কে মোটামুটি সুসঙ্গত এবং অ বিতর্কিত বিশ্বাসের আছে হর বায়েসের রুল। উদাহরণস্বরূপ, কারও কাছে এই বা সেই ক্যান্সার থাকলে, অন্য কোনও কিছুর শর্ত ছাড়াই বেঁচে থাকার সময়ের বিতরণ কী? তবে বেয়েস রুলের অঙ্কটি নির্দিষ্ট করা আরও কঠিন এবং আরও বিতর্কিত যে আপনি যদি সমস্ত প্যারামিটারগুলি একীভূত করেন তবে আপনি যেটি হ'ল বিশ্বাস করেন তার সাথে আপনার বাকী থাকে। ভবিষ্যদ্বাণীপূর্ণ চেকিং (পূর্ব এবং পূর্ববর্তী উভয়ই) বায়েসের বিধি বিভাজনের সাথে অঙ্ককে সারিবদ্ধ করার একটি উপায়।
বেন গুডরিচ

1

ওভারফিটিং মানে মডেলটি প্রশিক্ষণ সংস্থায় ভাল কাজ করে তবে পরীক্ষার সেটটিতে খারাপ অভিনয় করে। আইএমএইচও, এটি দুটি উত্স থেকে এসেছে: ডেটা এবং আমরা যে মডেলটি ব্যবহার করি (বা আমাদের সাবজেক্টিভিটি)।

ডেটা সম্ভবত আরও গুরুত্বপূর্ণ ফ্যাক্টর। আমরা যে কোনও মডেল / পন্থা ব্যবহার করি না কেন, আমরা স্পষ্টভাবে ধরে নিই যে আমাদের ডেটা যথেষ্ট প্রতিনিধি, আমরা আমাদের (প্রশিক্ষণ) থেকে প্রাপ্ত তথ্যগুলি জনগণের কাছেও সাধারণীকরণ করতে পারি। অনুশীলনে এটি সর্বদা ক্ষেত্রে হয় না। যদি ডেটা আইড না হয় তবে স্ট্যান্ডার্ড ফোল্ড সিভি অত্যধিক মান এড়ানোর কোনও মানে করে না।

ফলস্বরূপ, আমরা যদি ঘনঘনবাদী হয়ে থাকি তবে ওভারফিটের উত্সটি এমএলই থেকে আসে। যদি আমরা বায়েশিয়ান হয় তবে এটি পূর্ববর্তী বিতরণের (বিষয়গত) পছন্দ থেকে (এবং অবশ্যই সম্ভাবনার পছন্দ) থেকে আসে। সুতরাং আপনি যদি পোস্টেরিয়র ডিস্ট্রিবিউশন / গড় / মিডিয়ান ব্যবহার করেন, আপনি ইতিমধ্যে শুরু থেকেই ওভারফিট হয়ে গেছেন এবং এই ওভারফিটটি বরাবর বহন করে। পূর্বের বিতরণ এবং সম্ভাবনার যথাযথ পছন্দ সাহায্য করবে তবে তারা এখনও মডেল, আপনি কখনই পুরোপুরি অতিরিক্ত মানা এড়াতে পারবেন না।


ঘন ঘন এবং বায়েশিয়ান পদ্ধতির জন্য প্রচলিত ডেটা সম্ভাবনা উপেক্ষা করা, পূর্বের পছন্দ থেকে অত্যধিক মানানসই ধারণাটি অন্তর্দৃষ্টিযুক্ত। এর থেকে বোঝা যায় যে ওভারফিটিংয়ের জন্য যাচাই করার কোনও উপায় নেই, কারণ আগে থেকে আমাদের সমস্ত প্রাক-ডেটা চিন্তাভাবনা আগেই করা হয়ে থাকলে কোনও উপায় বা পূর্বের পরীক্ষা করার প্রয়োজন নেই। তবে তবুও আমি ডুবে থাকা অনুভূতির সাথে রয়েছি যে চরম ভবিষ্যদ্বাণীগুলি অত্যধিক মানসিকতা দেখাবে (এর প্রতি প্রতিক্রিয়া)। পূর্ববর্তীগুলি পরামিতিগুলি সম্পর্কে হয়, ডেটাগুলিতে চূড়ান্ত সম্পর্কে নয়।
ফ্র্যাঙ্ক হ্যারেল
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.