মডেল অনিশ্চয়তা সম্বোধন

Question

আমি ভাবছিলাম যে ক্রসভিলেটেড সম্প্রদায়ের বায়েশিয়ানরা মডেল অনিশ্চয়তার সমস্যাটিকে কীভাবে দেখে এবং তারা কীভাবে এটি মোকাবেলা করতে পছন্দ করে? আমি আমার প্রশ্নটি দুটি অংশে বলার চেষ্টা করব:

1. মডেল অনিশ্চয়তার সাথে আপনার অভিজ্ঞতা (মতামত) কতটা গুরুত্বপূর্ণ? আমি এই সমস্যাটি নিয়ে মেশিন লার্নিং সম্প্রদায়টিতে কোনও কাগজপত্র পাইনি, সুতরাং আমি কেন ভাবছি।

2. মডেল অনিশ্চয়তা পরিচালনা করার জন্য সাধারণ পন্থাগুলি কী কী (যদি আপনি রেফারেন্স সরবরাহ করেন তবে বোনাস পয়েন্ট)? আমি বায়েশিয়ান মডেলটির গড় কথা শুনেছি, যদিও আমি এই পদ্ধতির নির্দিষ্ট কৌশল / সীমাবদ্ধতার সাথে পরিচিত নই। কিছু অন্যান্য কী এবং আপনি কেন একে অপরের চেয়ে বেশি পছন্দ করেন?

Comments

কম জনপ্রিয় পদ্ধতি (তবে ক্রমবর্ধমান জনপ্রিয়তার সাথে) হ'ল স্কোরিং বিধি যা মডেলগুলির ভবিষ্যদ্বাণীপূর্ণ পারফরম্যান্সকে মূল্যায়ন করে।

Answer 1

মডেল-বাছাইয়ের ক্ষেত্রে দুটি মামলা দেখা দেয়:

• প্রকৃত মডেলটি যখন মডেলের জায়গার অন্তর্গত হয়।

  এটি বিআইসি ব্যবহারের সাথে মোকাবেলা করা খুব সহজ । ফলাফল রয়েছে যা দেখায় যে বিআইসি উচ্চ সম্ভাবনা সহ সত্য মডেলটি নির্বাচন করবে।

যাইহোক, বাস্তবে এটি খুব বিরল যে আমরা আসল মডেলটি জানি। আমি লক্ষ্য আবশ্যক সাথে BIC অপব্যবহার হতে থাকে কারণ এই (সম্ভাব্য কারণ হিসেবে তার অনুরূপ হয় এআইসি ) । এই ফোরামে এই বিষয়গুলি আগে বিভিন্ন রূপে সম্বোধন করা হয়েছিল। একটি ভাল আলোচনা এখানে ।

• আসল মডেলটি যখন মডেল স্পেসে থাকে না।

  এটি বায়েশিয়ান সম্প্রদায়ের গবেষণার একটি সক্রিয় ক্ষেত্র। তবে এটি নিশ্চিত হয়ে গেছে যে লোকেরা জানেন যে এই ক্ষেত্রে বিআইসিকে একটি মডেল নির্বাচনের মানদণ্ড হিসাবে ব্যবহার করা বিপজ্জনক। উচ্চ মাত্রার ডেটা বিশ্লেষণে সাম্প্রতিক সাহিত্য এটি দেখায়। এই ধরনের একটি উদাহরণ হল এই । বেইস ফ্যাক্টরটি অবশ্যই উচ্চ মাত্রায় আশ্চর্যজনকভাবে ভাল অভিনয় করে। বিবিসির বেশ কয়েকটি সংশোধনী প্রস্তাব করা হয়েছে যেমন এমবিআইসি, তবে noক্যমত্য হয় না। গ্রিনের আরজেএমসিএমসি বায়েশিয়ান মডেল নির্বাচন করার আরেকটি জনপ্রিয় উপায়, তবে এর নিজস্ব শর্ট-কমিং রয়েছে। আপনি এই সম্পর্কে আরও ফলোআপ করতে পারেন।

বায়েশিয়ান বিশ্বের আরও একটি শিবির রয়েছে যা মডেলকে গড় গড় প্রস্তাব দেয়। উল্লেখযোগ্য সত্ত্বা, রাফারি।

• বায়েশিয়ান মডেল গড় গড়।

  ক্রিস ভোলিংসির এই ওয়েবসাইটটি বয়েশিয়ান মডেলকে বিস্তৃত করার একটি বিস্তৃত উত্স। আরও কিছু কাজ এখানে ।

আবার, বায়েশিয়ান মডেল-নির্বাচন এখনও গবেষণার একটি সক্রিয় ক্ষেত্র এবং আপনি কাকে জিজ্ঞাসা করছেন তার উপর নির্ভর করে আপনি খুব আলাদা উত্তর পেতে পারেন।

Comments

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$$A_n$$A_1$$\log|A_1|=O(1)$

ল্যাপ্লেস আনুমানিকভাবে খারাপভাবে পারফর্ম করার কারণে এটিও হতে পারে

— সম্ভাব্যতা ব্লগ

Answer 2

একজন "সত্য" বায়েসিয়ান সকল প্লাসযোগ্য মডেলের তুলনায় প্রান্তিককরণ (সংহতকরণ) করে মডেল অনিশ্চয়তার মোকাবেলা করবে। সুতরাং উদাহরণস্বরূপ, লিনিয়ার রিজ রিগ্রেশন সমস্যার ক্ষেত্রে আপনি রিগ্রেশন প্যারামিটারগুলিতে প্রান্তিক হয়ে উঠবেন (যার কোনও গাউসিয়ান উত্তরোত্তর হবে, সুতরাং এটি বিশ্লেষণাত্মকভাবে সম্পন্ন করা যেতে পারে), তবে তারপরে হাইপার-প্যারামিটারগুলির (শব্দের স্তর এবং নিয়মিতকরণের পরামিতি) উদাহরণস্বরূপ এমসিএমসির মাধ্যমে প্রান্তিককরণ করুন পদ্ধতি।

একটি "কম" বায়েশিয়ান সমাধান মডেল প্যারামিটারগুলির তুলনায় প্রান্তিককরণ করা হবে, তবে মডেলটির প্রান্তিক সম্ভাবনা ("বেইসিয়ান প্রমাণ হিসাবেও পরিচিত) সর্বাধিক করে হাইপার-প্যারামিটারগুলি অনুকূল করতে হবে। তবে এটি প্রত্যাশার চেয়ে বেশি ওজনের ফিটনেস নিয়ে যেতে পারে (উদাহরণস্বরূপ কাওলি এবং টালবোট )। মেশিন লার্নিংয়ের প্রমাণ সর্বাধিককরণ সম্পর্কিত তথ্যের জন্য ডেভিড ম্যাকের কাজ দেখুন । তুলনা করার জন্য, অনুরূপ সমস্যার "সমস্ত কিছুকে একীভূত করতে" র্যাডফোর্ড নীলের কাজ দেখুন । নোট করুন যে প্রমাণগুলির কাঠামোটি এমন পরিস্থিতিতেগুলির পক্ষে খুব কার্যকরী যেখানে সংহত করা খুব কম গণ্য ব্যয়বহুল, তাই উভয় পদ্ধতির সুযোগ রয়েছে।

কার্যকরভাবে বায়েশিয়ানরা অনুকূলিত করার পরিবর্তে সংহত করে। আদর্শভাবে, আমরা সমাধানের বৈশিষ্ট্যগুলি (যেমন মসৃণতা) সম্পর্কে আমাদের পূর্ব বিশ্বাসটি বর্ণনা করব এবং কোনও মডেল তৈরি না করেই কল্পিতভাবে ভবিষ্যদ্বাণী করব। মেশিন লার্নিংয়ে ব্যবহৃত গাউসিয়ান প্রক্রিয়া "মডেল" এই ধারণার উদাহরণ, যেখানে কোভেরিয়েন্স ফাংশন সমাধান সম্পর্কিত আমাদের পূর্ব বিশ্বাসকে এনকোড করে। রাসমুসেন এবং উইলিয়ামসের চমৎকার বইটি দেখুন ।

ব্যবহারিক বায়েশিয়ানদের জন্য, সর্বদা ক্রস-বৈধতা থাকে, বেশিরভাগ জিনিসের জন্য এটি বীট করা শক্ত!

Answer 3

"মডেল অনিশ্চয়তা" বিশ্বে আমি যে আকর্ষণীয় বিষয়গুলি পাই তা হ'ল একটি "সত্য মডেল" এর ধারণা of এর সুস্পষ্ট অর্থ হল যে আমাদের "মডেল প্রস্তাবগুলি" ফর্মের:

$$M_i^{(1)}:\text{The ith model is the true model}$$

$P(M_i^{(1)}|DI)$$M_i^{(1)}$

ক্লান্তিহীনতা এখানে গুরুত্বপূর্ণ, কারণ এটি সম্ভাব্যতাগুলিকে 1-এ যোগ করার বিষয়টি নিশ্চিত করে, যার অর্থ আমরা মডেলটিকে প্রান্তিক করতে পারি।

তবে এগুলি ধারণাগত পর্যায়ে - মডেল গড়ের ভাল পারফরম্যান্স রয়েছে। সুতরাং এর অর্থ আরও ভাল ধারণা থাকতে হবে।

ব্যক্তিগতভাবে, আমি হাতুড়ি বা ড্রিলের মতো মডেলগুলিকে সরঞ্জাম হিসাবে দেখি। মডেলগুলি এমন মানসিক গঠন যা আমরা পর্যবেক্ষণ করতে পারি এমন জিনিসগুলির বিষয়ে পূর্বাভাস দেওয়ার জন্য বা বর্ণনা করার জন্য ব্যবহৃত হয়। "সত্যিকারের হাতুড়ি" বলতে খুব অদ্ভুত লাগে, এবং "সত্যিকারের মানসিক কাঠামো" বলার জন্য সমান বিজারেও লাগে। এর ভিত্তিতে, একটি "সত্য মডেল" ধারণাটি আমার কাছে অদ্ভুত বলে মনে হয়। "ডান" মডেল এবং "ভুল" মডেলগুলির চেয়ে "ভাল" মডেল এবং "খারাপ" মডেলগুলি ভাবা অনেক বেশি স্বাভাবিক বলে মনে হয়।

এই দৃষ্টিভঙ্গিটি গ্রহণ করা, আমরা মডেলগুলির একটি নির্বাচন থেকে, ব্যবহারের জন্য "সেরা" মডেল হিসাবে সমানভাবে অনিশ্চিত থাকতে পারি। সুতরাং ধরুন আমরা পরিবর্তে প্রস্তাবটি সম্পর্কে যুক্তিযুক্ত:

$$M_i^{(2)}:\text{Out of all the models that have been specified,}$$ $$\text{the ith model is best model to use}$$

$M_{i}^{(2)}$$M_{i}^{(2)}$

তবে এই পদ্ধতির ক্ষেত্রে আপনার "সেরা" মডেলটি কতটা ভাল তা অনুমান করার জন্য আপনার কিছুটা ফিট মাপের ধার্মিকতার প্রয়োজন। "নিশ্চিত জিনিস" মডেলগুলির বিরুদ্ধে পরীক্ষা করে এটি দুটি উপায়ে করা যেতে পারে, যা সাধারণ GoF পরিসংখ্যান (কেএল ডাইভারজেন্স, চি-স্কোয়ার ইত্যাদি) এর সমান। এটির गेজ করার আরেকটি উপায় হ'ল আপনার ক্লাসের মডেলগুলিতে একটি অত্যন্ত নমনীয় মডেল অন্তর্ভুক্ত করা - সম্ভবত শত শত উপাদান সহ একটি সাধারণ মিশ্রণ মডেল, বা একটি ডিরিচলেট প্রক্রিয়া মিশ্রণ। যদি এই মডেলটি সেরা হিসাবে আসে, তবে সম্ভবত আপনার অন্যান্য মডেলগুলি অপর্যাপ্ত।

এই কাগজটিতে একটি ভাল তাত্ত্বিক আলোচনা রয়েছে এবং আপনি ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে ধাপে আসেন, আপনি কীভাবে মডেল নির্বাচন করবেন তার একটি উদাহরণ।

Comments

একটি বড় +1। খুব চিন্তাশীল, স্পষ্ট বিশ্লেষণ।

— হোবার

দুর্দান্ত উত্তর। আমার উল্লেখ করা উচিত যে একটি নির্দিষ্ট শ্রেণির মডেল থেকে বিচার করা, বিআইসি দুর্দান্ত। তবে বেশিরভাগ সময়, যেমন আপনি উল্লেখ করেছেন, সত্য মডেলটি মডেলের জায়গার বাইরে। তারপরে, আপনি যেমন উল্লেখ করেছেন, সত্য মডেল এবং "সেরা মডেল" এর মধ্যে ঘনিষ্ঠতাটি বোঝায়। এই উত্তরগুলি এআইসি এবং অন্যান্য আইসি উত্তর দেওয়ার চেষ্টা করে। বিএমএ কাজ করে তবে এটি কাজ না করার বিষয়টিও দেখিয়েছে। এটি যে খারাপ তা বলার অপেক্ষা রাখে না, তবে এটি সর্বজনীন বিকল্প হিসাবে চিন্তা করার সময় আমাদের সাবধান হওয়া উচিত।

— সানকুলসু

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

Answer 4

আমি জানি লোকেরা ডিআইসি এবং বেইস ফ্যাক্টর ব্যবহার করে, যেমন সানকুলসু বলেছিলেন। এবং আমি আগ্রহী যখন তিনি বলেছিলেন "এমন ফলাফল রয়েছে যা দেখায় যে বিআইসি উচ্চ সম্ভাবনার সাথে সত্য মডেলটি নির্বাচন করবে" (রেফারেন্স?)। তবে আমি কেবলমাত্র আমার জানা জিনিসটিই ব্যবহার করি, এটি উত্তরোত্তর ভবিষ্যদ্বাণীমূলক চেক, অ্যান্ড্রু গেলম্যানের চ্যাম্পিয়ন। আপনি যদি অ্যান্ড্রু গেলম্যান এবং উত্তরোত্তর ভবিষ্যদ্বাণীমূলক চেকগুলি গুগল করেন তবে আপনি অনেক কিছুই দেখতে পাবেন। আর আমি কি খ্রিস্টান রবার্ট কটাক্ষপাত করা চাই লিখছি হয় এবিসি মডেল পছন্দ সম্পর্কে । যাই হোক না কেন, এখানে আমি পছন্দ করি এমন কিছু রেফারেন্স এবং জেলম্যানের ব্লগে সাম্প্রতিক কিছু পোস্ট রয়েছে:

ব্লগ

ডিআইসি এবং এআইসি ; DIC আরো । মডেল চেকিং এবং বাহ্যিক বৈধতা

পূর্ববর্তী ভবিষ্যদ্বাণীমূলক চেকগুলিতে কাগজপত্রগুলি:

জেলমান, অ্যান্ড্রু। (2003a)। "এক্সপ্লোরার ডেটা অ্যানালাইসিস এবং গডনেস-অফ-ফিট টেস্টিংয়ের একটি বায়েশিয়ান সূত্র"। আন্তর্জাতিক পরিসংখ্যান পর্যালোচনা, খণ্ড 71, এন 2, পিপি 389-382।

জেলমান, অ্যান্ড্রু। (2003b)। "জটিল মডেলগুলির জন্য অনুসন্ধানের ডেটা বিশ্লেষণ"। গণনা এবং গ্রাফিক পরিসংখ্যান জার্নাল, খণ্ড। 13, এন। 4, পৃষ্ঠা 755/779।

জেলমান, অ্যান্ড্রু; ম্যাচেলেন, আইভেন ভ্যান; ভার্বেক, গের্ট; হিটজান, ড্যানিয়েল এফ।; মেল্ডার্স, মিশেল (2005)। "মডেল চেকিংয়ের জন্য একাধিক মূল্যায়ন: মিসিং এবং লেটেন্ট ডেটা সমাপ্ত ডেটা প্লট।" বায়োমেট্রিকস 61১, ––-–৫, মার্চ

জেলমান, অ্যান্ড্রু; মেনজি, জিয়াও-লি; স্টার্ন, হাল (1996)। "আদায়যোগ্য ত্রুটির মাধ্যমে মডেল ফিটনেসের উত্তরীয় ভবিষ্যদ্বাণীমূলক মূল্যায়ন"। পরিসংখ্যান সিনিকা, 6, পিপি 733-807।