আমার মডেলটি ভুল হলে আমি কেন বায়েশিয়ান হব?

Question

সম্পাদনাগুলি: আমি একটি সাধারণ উদাহরণ জুড়েছি: গড়ের অনুমান । আত্মবিশ্বাসের অন্তরগুলির সাথে মেলে না এমন বিশ্বাসযোগ্য ব্যবধানগুলি কেন খারাপ তা আমিও কিছুটা স্পষ্ট করে দিয়েছি।$X_i$

আমি, মোটামুটি ধর্মপ্রাণ বায়েশিয়ান, বিভিন্ন প্রকারের বিশ্বাসের সঙ্কটের মাঝে আছি।

আমার সমস্যাটি নিম্নলিখিত is ধরে নিন যে আমি কিছু আইআইডি ডেটা বিশ্লেষণ করতে চাই । আমি যা করবো তা হ'ল:$X_i$

• প্রথমে শর্তযুক্ত মডেলটির প্রস্তাব দিন:

  $$p(X|\theta)$$

• তারপরে, : আগে একটি পছন্দ চয়ন করুন$\theta$

  $$p(\theta)$$

• পরিশেষে, বয়েসের নিয়মটি প্রয়োগ করুন, উত্তরোত্তর গণনা করুন: (বা এটি কিছুটা অনুকম্পযোগ্য হতে হবে যদি তার কাছাকাছি) এবং আমার সম্পর্কে সমস্ত প্রশ্নের উত্তর দিন ta$p(\theta | X_1 \dots X_n )$$\theta$

এটি একটি বোধগম্য পদ্ধতি: যদি ডেটার সত্যিকারের মডেলটি সত্যই আমার শর্তাধীনের "ভিতরে" থাকে (এটি কিছু মানের সাথে মিলিত হয় ) তবে আমি পরিসংখ্যানগত সিদ্ধান্ত তত্ত্বকে আমার পদ্ধতিটি বলে বলতে পারি (রবার্টের দেখুন) বিশদগুলির জন্য "বায়েশিয়ান পছন্দ"; "সমস্ত পরিসংখ্যান" প্রাসঙ্গিক অধ্যায়েও একটি স্পষ্ট অ্যাকাউন্ট দেয়)।$X_i$$\theta_0$

যাইহোক, সবাই জানেন, আমার মডেলটি সঠিক বলে ধরে নিচ্ছেন যে মোটামুটি অহংকারী: আমি যে মডেলগুলি বিবেচনা করেছি তার বাক্সের ভিতরে প্রকৃতি কেন ঝরঝরে পড়বে? এটা আরো অনেক বাস্তবসম্মত অনুমান করা যে ডেটা প্রকৃত মডেল থেকে পৃথক সব মানের জন্য । একে সাধারণত "ভুল বর্ণিত" মডেল বলা হয়।p ( X | θ ) $p_{true}(X)$$p(X|\theta)$$\theta$

আমার সমস্যাটি হ'ল, এই আরও বাস্তববাদী ভুল বর্ণিত মামলায় আমার বেইসিয়ান হওয়ার পক্ষে কোনও ভাল যুক্তি নেই (যেমন: উত্তরোত্তর বিতরণ গণনা) বনাম কেবলমাত্র সর্বাধিক সম্ভাবনার প্রাক্কলনকারী (এমএলই) গণনা:

$$\hat \theta_{ML} = \arg \max_\theta [ p(X_1 \dots X_n |\theta) ]$$

প্রকৃতপক্ষে, ক্লিজন, ভিডি ভার্ট (২০১২) এর মতে , ভুল বানানযুক্ত মামলায় উত্তরোত্তর বিতরণ:

• একটি at কেন্দ্রে একটি ডায়রাক বিতরণে হিসাবে রূপান্তর করে$n\rightarrow \infty$$\hat \theta_{ML}$

• জন্য উত্তরোত্তর ম্যাচের আত্মবিশ্বাসের অন্তরগুলির বিশ্বাসযোগ্য অন্তরগুলি নিশ্চিত করার জন্য সঠিক ভেরিয়েন্সটি (দুটি মান ঠিক একই রকম না হলে) থাকে না । (দ্রষ্টব্য, যদিও আত্মবিশ্বাসের ব্যবধানগুলি স্পষ্টতই এমন কিছু যা বেইসিয়ানরা অতিরিক্ত মাত্রায় যত্ন নেয় না, তবে এর গুণগতভাবে বোঝায় যে উত্তরোত্তর বিতরণটি অভ্যন্তরীণভাবে ভুল, কারণ এটি বোঝাচ্ছে যে এর বিশ্বাসযোগ্য অন্তরগুলির সঠিক কভারেজ নেই)$\theta$

সুতরাং, আমরা কোনও অতিরিক্ত সম্পত্তি ছাড়াই একটি গণনামূলক প্রিমিয়াম (বায়েশিয়ান অনুমান, সাধারণত এমএলইয়ের চেয়ে বেশি ব্যয়বহুল) প্রদান করি

সুতরাং, অবশেষে, আমার প্রশ্ন: মডেলটির ভুল বানান করা হয়েছে যখন সহজ এমএলই বিকল্পের উপর বায়েশিয়ান অনুমান ব্যবহার করার জন্য তাত্ত্বিক বা অভিজ্ঞতাবাদী কোনও যুক্তি আছে কি?

(যেহেতু আমি জানি যে আমার প্রশ্নগুলি প্রায়শই অস্পষ্ট থাকে, দয়া করে আপনি যদি কিছু বুঝতে না পারেন তবে আমাকে জানান: আমি এটি পুনরায় লেখার চেষ্টা করব)

সম্পাদনা করুন: আসুন একটি সহজ উদাহরণ বিবেচনা করুন: গাউসিয়ান মডেলটির অধীনে এর গড় করা (পরিচিত আরও ভিন্নতা সহ আরও সহজ করার জন্য)। আমরা একটি গাউসিয়ান পূর্বে বিবেচনা করি: আমরা পূর্বের বোঝায়, পূর্বের বিপরীত । যাক এর গবেষণামূলক গড় হতে । অবশেষে, দ্রষ্টব্য: ।$X_i$$\sigma$$\mu_0$$\beta_0$$\bar X$$X_i$$\mu = (\beta_0 \mu_0 + \frac{n}{\sigma^2} \bar X) / (\beta_0 + \frac{n}{\sigma^2} )$

উত্তরোত্তর বিতরণ:

$$p(\theta |X_1 \dots X_n)\; \propto\; \exp\!\Big( - (\beta_0 + \frac{n}{\sigma^2} ) (\theta - \mu)^2 / 2\Big)$$

সঠিকভাবে নির্দিষ্ট ক্ষেত্রে (যখন সত্যিকার অর্থে গাউসিয়ান বিতরণ রয়েছে), এই উত্তরোত্তরতে নিম্নলিখিত সুন্দর বৈশিষ্ট্য রয়েছে$X_i$

• যদি হায়ারারিকিকাল মডেল থেকে উত্পন্ন হয় যেখানে পূর্ববর্তী বিতরণ থেকে তাদের ভাগ করা বেছে নেওয়া হয়, তবে উত্তরোত্তর বিশ্বাসযোগ্য অন্তরগুলির সঠিক কভারেজ থাকে। তথ্যের শর্তসাপেক্ষ, কোনও ব্যবধানে থাকার সম্ভাবনা উত্তরোত্তর এই ব্যবধানে যে সম্ভাবনার সমতুল্য$X_i$$\theta$

• এমনকি যদি পূর্বেরটি সঠিক না হয় তবে বিশ্বাসযোগ্য সীমা এর সঠিক কভারেজ থাকে যার মধ্যে পূর্বের প্রভাবটি অদৃশ্য হয়ে যায়$n\rightarrow \infty$

• উত্তরোত্তরটিতে আরও ভাল ঘন ঘন বৈশিষ্ট্য রয়েছে: পশ্চিমা থেকে নির্মিত যে কোনও বায়েশিয়ান অনুমানকটি গ্রহণযোগ্য বলে গ্যারান্টিযুক্ত, উত্তরোত্তর গড়টি একটি দক্ষ অনুমানকারী (ক্র্যামার-রাও অর্থে), বিশ্বাসযোগ্য অন্তরগুলি, অ্যাসিপোটোটিকভাবে, আত্মবিশ্বাসের অন্তর অন্তর্ভুক্ত।

ভুল বর্ণিত ক্ষেত্রে, এই সম্পত্তিগুলির বেশিরভাগের তত্ত্ব দ্বারা গ্যারান্টি নেই। ধারণাগুলি ঠিক করার জন্য, ধরে নেওয়া যাক এর আসল মডেল হ'ল তারা পরিবর্তে শিক্ষার্থীদের বিতরণ। একমাত্র সম্পত্তি যা আমরা গ্যারান্টি দিতে পারি (ক্লিজন এট আল) উত্তরোত্তর বিতরণটি এর প্রকৃত মধ্যে কেন্দ্রীভূত করে । সাধারণভাবে, সমস্ত কভারেজের সম্পত্তি বিলুপ্ত হবে। সবচেয়ে খারাপ, সাধারণভাবে, আমরা গ্যারান্টি দিতে পারি যে, এই সীমাতে, কভারেজের বৈশিষ্ট্যগুলি মূলত ভুল: উত্তরোত্তর বিতরণ স্থানের বিভিন্ন অঞ্চলে ভুল সম্ভাবনা হিসাবে বর্ণনা করে।$X_i$$X_i$$n \rightarrow \infty$

Comments

ঠিক আছে, বায়েশিয়ান নিয়মিত করার জন্য এগিয়ে যায়। ওভারফিটিংয়ের বিরুদ্ধে সহায়তা করার জন্য এটি এমন কিছু - আপনার মডেলটি ভুল বানানযুক্ত কিনা। অবশ্যই, এটি কেবল নিয়মিত ধ্রুপদী পদ্ধতির (লাসো, রিজ রিগ্রেশন, ইলাস্টিক নেট ইত্যাদি) বিরুদ্ধে বায়েশিয়ান অনুমানের পক্ষে যুক্তি সম্পর্কিত সম্পর্কিত প্রশ্নকে বাড়ে ।

— স্টিফান কোলাসা

আপনি এই কাজ এবং এর আত্মীয়দের সম্পর্কে আগ্রহী হতে পারেন ।

— ডগল

ভুল সম্ভাবনা ফাংশনটি ব্যবহারের ক্ষেত্রে যখন আপনার মডেলটিকে ভুল বানান করা হয়, তখন এমএলই এবং বায়সিয়ান উভয় অনুমানই ভুল হবে ...

— টিম

@ টিম: ভুল বর্ণিত ক্ষেত্রে এমএলই এবং বেয়েশিয়ান অনুমান অর্থহীন নয়: তারা দু'জনেই শর্তাধীন মডেলগুলির মধ্যে ডেটার সেরা অ্যাকাউন্ট দেয় যা প্যারামিটার মান পুনরুদ্ধারের চেষ্টা করে । আরও স্পষ্টভাবে বলতে গেলে, হ'ল আরগমিন যেখানে KL কুলব্যাক লেবেলার বিচ্যুতি। হালকা অনুমানের অধীনে, উভয় MLE এবং Bayesian অনুমান সঠিকভাবে চিহ্নিত এই যখন ডেটার একটি যথেষ্ট পরিমাণ সাথে উপলব্ধ করা$\tilde \theta_0$$\tilde \theta_0$$KL[p(X), p(X|\theta)]$$\tilde \theta_0$

— Guillaume, Dehaene

@ আমেবা আমি হার্ড-কোর বায়েশিয়ান চেহারা এবং কমন্ড্যান্ট চে

— আকসাকাল

Answer 1

আমি বায়সিয়ান পদ্ধতির বিষয়টি বিবেচনা করি যখন আমার ডেটা সেট বিষয় সম্পর্কে জানা সমস্ত কিছু নয় এবং কোনওভাবেই আমার পূর্বাভাসের মধ্যে সেই বহিরাগত জ্ঞানকে অন্তর্ভুক্ত করতে চাই।

উদাহরণস্বরূপ, আমার ক্লায়েন্ট তাদের পোর্টফোলিওতে loanণ খেলাপিগুলির পূর্বাভাস চায়। কয়েক বছরের ত্রৈমাসিক historicalতিহাসিক ডেটা সহ তাদের 100 টি loansণ রয়েছে। অপরাধের কয়েকটি ঘটনা (দেরীতে অর্থ প্রদান) এবং মাত্র কয়েকটা খেলাপি হয়েছিল। যদি আমি এই ডেটা সেটে বেঁচে থাকার মডেলটি অনুমান করার চেষ্টা করি তবে এটি অনুমান করার জন্য খুব অল্প পরিমাণ ডেটা হবে এবং পূর্বাভাসের পক্ষে খুব বেশি অনিশ্চিত হবে।

অন্যদিকে, পোর্টফোলিও পরিচালকরা অভিজ্ঞ ব্যক্তি, তাদের মধ্যে কিছু decadesণগ্রহীতাদের সাথে সম্পর্ক পরিচালনায় কয়েক দশক ব্যয় করেছেন। ডিফল্ট হারগুলি কেমন হওয়া উচিত সে সম্পর্কে তাদের ধারণা রয়েছে। সুতরাং, তারা যুক্তিসঙ্গত priors সঙ্গে আসতে সক্ষম। দ্রষ্টব্য, প্রিরিয়ারদের নয়, যাদের গাণিতিক বৈশিষ্ট্য রয়েছে এবং তারা বৌদ্ধিকভাবে আমার কাছে আবেদন করে । আমি তাদের সাথে চ্যাট করব এবং সেই অভিজ্ঞদের আকারে তাদের অভিজ্ঞতা এবং জ্ঞান বের করব।

এখন বায়েশিয়ান কাঠামোটি আমাকে উপাত্ত দিয়ে প্রেরকদের আকারে বহির্মুখী জ্ঞানের সাথে বিবাহ করার জন্য মেকানিক্স সরবরাহ করবে এবং আমার মতে খাঁটি গুণগত রায় এবং খাঁটি ডেটা চালিত পূর্বাভাসের চেয়ে উচ্চতর উত্তরোত্তর প্রাপ্ত করবে। এটি দর্শন নয় এবং আমি বায়েশিয়ান নই। তথ্য-চালিত অনুমানের মধ্যে বিশেষজ্ঞ জ্ঞানকে ধারাবাহিকভাবে অন্তর্ভুক্ত করার জন্য আমি কেবল বায়েশিয়ান সরঞ্জামগুলি ব্যবহার করছি।

Comments

খুব সুন্দর একটি বিষয়। বায়েশিয়ান অনুমান আপনি যে উপস্থাপন করেছেন ঠিক তেমন একটি কাজ সমাধানের জন্য একটি কাঠামো সরবরাহ করে। ধন্যবাদ.

— গিল্লুম দেহেন

এটি বায়েশিয়ান মডেলিংয়ের পক্ষে একটি সাধারণ যুক্তি, তবে এটি ভুল বর্ণিত মডেলের নির্দিষ্ট ক্ষেত্রে কীভাবে সম্পর্কিত? আমি কোনও সংযোগ দেখছি না।

— রিচার্ড হার্ডি

ঠিক আছে, এটি আমার প্রশ্নের সাথে সম্পর্কিত: এমনকি ভুল বানানো ক্ষেত্রেও বেইসিয়ান অনুমান এমএলই পদ্ধতিগুলির চেয়ে পূর্বের মাধ্যমে গুণগত তথ্যকে আরও ভালভাবে পরিচালনা করতে পারে (যেমন: আরও মূলত ফ্যাশনে) নিয়মিতকরণকারীদের সাথে কাজ করতে হবে। এটি এমএলইয়ের চেয়ে বায়সিয়ান অনুমান কেন সামান্য ভাল তা অনুপ্রেরণামূলক যুক্তির একটি রূপ।

— গিল্লুম দেহেয়েন

@ আকসাকাল, মডেলগুলি ভুল বর্ণিত কিনা তা মূলত বিষয়গুলি ছাড়াও। আমি যে বিষয়টি নিয়ে উদ্বিগ্ন তা হ'ল আপনি প্রশ্নের উত্তর দেন না। (যদি ওপি দ্বিমত পোষণ করে তবে আমি মনে করি যে তিনি প্রশ্নটি গঠনের ক্ষেত্রে একটি খারাপ কাজ করেছেন।) তবে আমি দেখি একটি সাম্প্রতিক সম্পাদনা হয়েছে, তাই সম্ভবত এখনই প্রশ্নটি পরিবর্তিত হয়েছে।

— রিচার্ড হার্ডি

@ রিচার্ড হার্দি, আমি মনে করি আমার উত্তর ওপি'র বিশ্বাসের সঙ্কটের কেন্দ্রস্থলে চলে যায় যা এই চিন্তায় পরিচালিত হয় যে যদি আপনার শর্তসাপেক্ষী মডেলটি ভুল বানানো হয় তবে এটি নমুনার আকার বৃদ্ধির সাথে পূর্ববর্তীটিকে ছাপিয়ে যাবে এবং আপনার উত্তরকে ভুল মডেলের দিকে ঠেলে দেওয়া হবে । এক্ষেত্রে বায়েশিয়ানকে কেন শুরু করতে বিরক্ত করবেন, কেবল এমএলই-র কাছে কেন নয়, তিনি প্রশ্ন করেন। আমার উদাহরণটি দৃ philosop়ভাবে দার্শনিক নয়, তবে ব্যবহারিক: আপনি প্রায়শই সীমাবদ্ধ নয়, বরং ছোট ছোট নমুনাগুলি দিয়ে व्यवहार করেন। সুতরাং, আপনার ডেটা পূর্বের থেকে খুব দূরে পোস্টারিয়রটিকে টেনে আনবে না, যা বহিরাগত জ্ঞানের প্রতিনিধিত্ব করে।

— আকসকাল

Answer 2

একটি খুব আকর্ষণীয় প্রশ্ন ... এর উত্তর নাও থাকতে পারে (তবে এটি এটিকে কম আকর্ষণীয় করে না!)

এই মেম সম্পর্কে কয়েকটি ধারণা (এবং আমার ব্লগের এন্ট্রিগুলিতে অনেকগুলি লিঙ্ক!) যা সমস্ত মডেল ভুল :

1. অনুমানের মডেলটি যদিও প্রায় অভাবনীয় এবং অপ্রত্যাশিতভাবে ভুল , তবুও যদি এটি সর্বোত্তমভাবে করতে পারে তবে এই মডেলটির প্রতি শ্রদ্ধা রেখে একটি দক্ষ বা সুসংগত পদ্ধতিতে কাজ করা এখনও বোধগম্য। ফলস্বরূপ অনুমান আনুষ্ঠানিক মডেলের একটি মূল্যায়ন উত্পাদন করে যা প্রকৃত ডেটা উত্পাদনকারী মডেলের (যদি থাকে) "নিকটতম";
2. মডেল ব্যতীত বায়েশিয়ান পদ্ধতির অস্তিত্ব রয়েছে , এটির সাম্প্রতিক উদাহরণ বিসিরি এট আল- র কাগজপত্র being ( আমার মন্তব্য সহ ) এবং ওয়াটসন এবং হোমস দ্বারা (যা আমি জুডিথ রুশোর সাথে আলোচনা করেছি );
3. একটি সংযুক্ত উপায়ে, এম-ওপেন অনুমানের সাথে লেনদেনকারী বায়েশিয়ান পরিসংখ্যানগুলির একটি সম্পূর্ণ শাখা বিদ্যমান ;
4. এবং অন্য একটি দিক আমার খুব বেশি পছন্দ হ'ল পিটার গ্রানওয়াল্ডের সেফবিয়েস পদ্ধতির , যিনি সম্ভাবনার পরিবর্তনের মূল সম্ভাবনার শক্তি হিসাবে প্রকাশিত একটি নিম্ন-গ্রেড সংস্করণ দিয়ে সম্ভাবনাটি প্রতিস্থাপনের জন্য মডেলটির অপব্যবহারের বিষয়টি বিবেচনা করেন।
5. জেলমান এবং হেননিগের অতি সাম্প্রতিক রিড পেপার এই বিষয়টি সুস্পষ্টভাবে বিবেচনা করেছে, যদিও এটি নির্বিঘ্নে (এবং আমি আমার ব্লগে কিছু মন্তব্য যুক্ত করেছি )। আমি অনুমান করি আপনি আপনার প্রশ্ন সম্পর্কিত এন্ট্রি থেকে আলোচনার জন্য উপাদান সংগ্রহ করতে পারেন।
6. এক দিক থেকে, বেইসিয়ানদের এই দিক সম্পর্কে পরিসংখ্যানবিদ এবং মডেলারদের মধ্যে সবচেয়ে কম উদ্বেগ হওয়া উচিত, কারণ নমুনা মডেলটিকে বেশ কয়েকটি পূর্ব অনুমান হিসাবে গ্রহণ করা উচিত এবং ফলাফলটি পূর্ববর্তী সমস্ত অনুমানের সাথে শর্তযুক্ত বা আপেক্ষিক ।

Comments

এটি সম্পর্কে আপনার মতামতটি পেয়ে খুব ভাল লাগছে। আপনার প্রথম বিষয়টি স্বজ্ঞাত অর্থে তৈরি করে: যদি মডেলটি খুব বেশি ভুল না হয় তবে আমাদের অনুমানের ফলাফলটি ঠিক হওয়া উচিত। যাইহোক, কেউ কি কখনও এর মতো কোনও ফলাফল প্রমাণ করেছেন (বা প্রশ্নটি উত্সাহের সাথে অনুসন্ধান করেছেন)? আপনার শেষ পয়েন্টটি (যা আমি ভুল বুঝেছি) আমাকে বিভ্রান্ত করে ফেলেছে: নমুনা মডেল একটি সমালোচনামূলক পছন্দ। আমরা এছাড়াও পছন্দগুলি তৈরি করি এর অর্থ এই নয় যে স্যাম্পলিং মডেলটির নির্বাচনের ত্রুটিগুলি পুরো মডেলটিকে কলঙ্কিত করতে পারে না। তথ্যসূত্র এবং দুর্দান্ত ব্লগের জন্য আপনাকে ধন্যবাদ।

— গিলাইম দেহানে

পয়েন্ট ১ এর জন্য, কেন বয়েসিয়ান মডেল গড় করছেন না? শুধু 'সেরা' মডেলটি কেন ব্যবহার করবেন?

— নির্বিচারে

@ নিনসফ্রি: আপনি ফলাফলটি নিয়ে কী পরিকল্পনা করবেন তার উপর নির্ভর করে, সেরা মডেল বনাম গড়ের মডেল সম্পর্কে আমার কোনও ধর্ম নেই।

— শি'য়ান

আপনি পরামর্শ দিচ্ছেন বলে মনে হচ্ছে যে গড় 'মডেল অনিশ্চয়তা বনাম কেবল' সেরা 'মডেল বাছাইয়ের সিদ্ধান্ত-তাত্ত্বিক দিক রয়েছে। অবশ্যই এটি সর্বদা সুবিধাজনক, অর্থাত্ মডেল অনিশ্চয়তা সহ সমস্ত অনিশ্চয়তা সংহতভাবে সংহত করতে আরও ভাল সিদ্ধান্ত নিতে সহায়তা করে।

— নির্বিচারে

নন-প্যারাম্যাট্রিকগুলিতে আমার প্রধান আপত্তিটি ব্যবহারিক: সহজ বিকল্পগুলির তুলনায় এগুলি বেশ কয়েকটি আদেশের দ্বারা আরও বেশি গণ্য ব্যয়বহুল। তদুপরি, আমরা অ-প্যারাম্যাট্রিকগুলি নিয়েও সমস্যায় পড়ি না, কারণ দুটি পূর্ববর্তী বিতরণের পক্ষে সাধারণ সমর্থন পাওয়া প্রায় অসম্ভব? এর অর্থ হ'ল পূর্বের একটি ভারী প্রভাব ফেলবে এবং বেইসিয়ান পরিসংখ্যানবিদদের পক্ষে বিভিন্ন প্রিয়ার থেকে শুরু করার সময় একমত হওয়া অসম্ভব হয়ে উঠবে।

— গিল্লুম দেহেন

Answer 3

সম্পাদনাগুলি: ওপি-র অনুরোধ অনুসারে শরীরে এই কাগজের সাথে যুক্ত রেফারেন্স ।

---

আমি এখানে একটি নিরীহ অভিজ্ঞতাবাদী বায়েশিয়ান হিসাবে একটি উত্তর দিচ্ছি ।

প্রথমত, উত্তরোত্তর বিতরণ আপনাকে এমন গণনাগুলি করতে দেয় যা আপনি সরল এমএলইয়ের সাথে সহজেই করতে পারবেন না। সবচেয়ে সহজ ঘটনাটি হ'ল আজকের পোস্টটি কালকের পূর্ববর্তী । বায়েশিয়ান অনুমান প্রাকৃতিকভাবে ক্রমান্বয়ে আপডেট করার অনুমতি দেয়, বা আরও সাধারণভাবে অনলাইন বা একাধিক তথ্যের উত্সের বিলম্বিত সংমিশ্রণে (পূর্বে অন্তর্ভুক্ত করা যেমন সংমিশ্রণের কেবল একটি পাঠ্যপুস্তক উদাহরণ)। নান্ট্রাইভিয়াল লোকসান ফাংশন সহ বায়েশিয়ান ডিসিশন থিওরির আরও একটি উদাহরণ। না হলে কী করতে হবে তা আমি জানতাম না।

দ্বিতীয়ত, এই উত্তরের সাথে আমি চেষ্টা করব এবং যুক্তি দেব যে অনিশ্চয়তার পরিমাপের মন্ত্রটি সাধারণত কোনও অনিশ্চয়তার চেয়ে কার্যকর হয় কার্যকরভাবে একটি অনুশীলনমূলক প্রশ্ন, যেহেতু উপপাদাগুলি (যেমন আপনি উল্লেখ করেছেন, এবং যতদূর আমি জানি) কোনও গ্যারান্টি দেয় না।

বৈজ্ঞানিক প্রচেষ্টা একটি খেলনা মডেল হিসাবে অপ্টিমাইজেশন

যে ডোমেনটি আমি সমস্যার জটিলতা পুরোপুরি ক্যাপচারে অনুভব করি তা হ'ল একটি ব্যবহারিক, নন-বাজে কথা, ব্ল্যাক-বক্স ফাংশনটির অপ্টিমাইজেশন । আমরা ধরে নিই যে আমরা ক্রমান্বয়ে point একটি বিন্দুতে কোয়েরি করতে এবং no সহ একটি সম্ভাব্য গোলমাল পর্যবেক্ষণ । আমাদের লক্ষ্যটি ন্যূনতম ফাংশন মূল্যায়নের সাথে ।$f: \mathcal{X} \subset \mathbb{R}^D \rightarrow \mathbb{R}$$x \in \mathcal{X}$$y = f(x) + \varepsilon$$\varepsilon \sim \mathcal{N}(0,\sigma^2)$$x^* = \arg\min_x f(x)$

অগ্রসর হওয়ার একটি বিশেষ কার্যকর উপায়, যেমনটি আপনি আশা করতে পারেন, তা হল কী হবে তার একটি ভবিষ্যদ্বাণীপূর্ণ মডেল তৈরি করা যদি আমি কোনও query কে জিজ্ঞাসা করি , এবং এই তথ্যটি পরবর্তী কী করবেন তা সিদ্ধান্ত নিতে ব্যবহার করুন (হয় হয় স্থানীয়ভাবে বা বিশ্বব্যাপী)। ডেরাইভেটিভ-মুক্ত গ্লোবাল অপ্টিমাইজেশন পদ্ধতিগুলির পর্যালোচনার জন্য রিওস এবং সহিনিডিস (2013) দেখুন । যখন মডেলটি যথেষ্ট জটিল হয়, তখন এটিকে মেটা-মডেল বা সারোগেট ফাংশন বা প্রতিক্রিয়া পৃষ্ঠের পদ্ধতির বলে। গুরুতরভাবে, মডেলটি একটি বিন্দু অনুমান হতে পারে (উদাহরণস্বরূপ, আমাদের পর্যবেক্ষণের জন্য একটি রেডিয়াল ভিত্তিক নেটওয়ার্ক ফাংশনের মাপসই), বা আমরা বায়সিয়ান হতে পারি এবং কোনওভাবে উপর পুরো পোস্টারিওর বিতরণ পেতে পারি$x^\prime \in \mathcal{X}$$f$$f$ (উদাহরণস্বরূপ, গাউসিয়ান প্রক্রিয়ার মাধ্যমে)।

Bayesian অপ্টিমাইজেশান উপর অবর ব্যবহার (বিশেষ করে, যুগ্ম শর্তসাপেক্ষ অবর মানে এবং কোন সময়ে ভ্যারিয়েন্স) কিছু নীতিগত অনুসন্ধানমূলক মাধ্যমে (গ্লোবাল) সর্বোত্তম সন্ধানে পরিচালিত করবে। ক্লাসিকাল পছন্দটি বর্তমান সেরা পয়েন্টের তুলনায় প্রত্যাশিত উন্নতি সর্বাধিক করে তোলা , তবে ন্যূনতম অবস্থানের উপরে প্রত্যাশিত এনট্রপিকে হ্রাস করার মতো (এমনকি এখানেও দেখুন ) এমন কল্পিত পদ্ধতি রয়েছে methods$f$

এখানকার অভিজ্ঞতাগত ফলাফলটি হ'ল একটি উত্তরোত্তর অ্যাক্সেস থাকা, এমনকি আংশিকভাবে ভুল বানানো থাকলেও, অন্যান্য পদ্ধতির তুলনায় সাধারণত ভাল ফলাফল দেয়। (এমন সতর্কতা এবং পরিস্থিতি রয়েছে যেখানে বেইসিয়ান অপ্টিমাইজেশান এলোমেলো অনুসন্ধানের চেয়ে উচ্চতর মাত্রার চেয়ে ভাল নয়)) এই কাগজে আমরা একটি উপন্যাস বিও পদ্ধতি বনাম অন্যান্য অপ্টিমাইজেশন অ্যালগরিদমগুলির একটি অনুশীলনমূলক মূল্যায়ন করি, বিও ব্যবহার করা সুবিধাজনক কিনা তা পরীক্ষা করে বাস্তবে, আশাব্যঞ্জক ফলাফল সহ।

যেহেতু আপনি জিজ্ঞাসা করেছেন - এটি অন্যান্য অ-বাইশিয়ান পদ্ধতির তুলনায় অনেক বেশি কম্পিউটেশনাল ব্যয় করেছে এবং আপনি কেন ভাবছেন যে আমাদের বায়েশিয়ান হওয়া উচিত। এখানে অনুমানটি হ'ল সত্য মূল্যায়নের সাথে জড়িত ব্যয় (উদাহরণস্বরূপ, একটি বাস্তব দৃশ্যে, একটি জটিল ইঞ্জিনিয়ারিং বা মেশিন লার্নিং এক্সপেরিমেন্ট) বায়েশিয়ান বিশ্লেষণের জন্য গণনা ব্যয়ের তুলনায় অনেক বড়, সুতরাং বেয়েসিয়ান হওয়ার অর্থ প্রদান করা হয় ।$f$

এই উদাহরণ থেকে আমরা কী শিখতে পারি?

প্রথমত, বায়েসিয়ান অপ্টিমাইজেশন কেন মোটেই কাজ করে? আমি অনুমান করি যে মডেলটি ভুল, তবে এটি ভুল নয় এবং যথারীতি অন্যায়টি আপনার মডেলটি কী তার উপর নির্ভর করে। উদাহরণস্বরূপ, এর সঠিক আকারটি অপ্টিমাইজেশনের জন্য প্রাসঙ্গিক নয়, যেহেতু আমরা এর কোনও একরোটিক রূপান্তরকে অনুকূল করতে পারি। আমার ধারণা প্রকৃতি এ জাতীয় আক্রমণে পরিপূর্ণ। সুতরাং, আমরা যে অনুসন্ধানটি করছি তা সর্বোত্তম হতে পারে না (যেমন, আমরা ভাল তথ্য ফেলে দিচ্ছি) তবে কোনও অনিশ্চয়তার তথ্য না দিয়ে এখনও ভাল।$f$

দ্বিতীয়ত, আমাদের উদাহরণটি হাইলাইট করে যে এটি সম্ভব যে বয়েসিয়ান হওয়ার উপযোগিতা প্রসঙ্গে নির্ভর করে যেমন উদ্বৃত্ত ব্যয় এবং উপলভ্য (গণনামূলক) সংস্থানসমূহের পরিমাণ। (অবশ্যই আপনি যদি একজন বেইশিয়ান হন তবে আপনি বিশ্বাস করেন যে প্রতিটি গণনা কিছুটা পূর্ব এবং / বা আনুমানিকের অধীনে বায়েশিয়ান অনুমান ।)

পরিশেষে, বড় প্রশ্ন হ'ল - আমরা যে মডেলগুলি ব্যবহার করি না কেন সর্বোপরি এত খারাপ ব্যবহার করা হয় না কেন , এই অর্থে যে পোস্টারিয়রগুলি এখনও দরকারী এবং পরিসংখ্যানীয় আবর্জনা নয়? আমরা যদি ফ্রি লাঞ্চের উপপাদ্য গ্রহণ করি, স্পষ্টতই আমাদের বেশি কিছু বলতে পারা উচিত নয়, তবে ভাগ্যক্রমে আমরা সম্পূর্ণরূপে এলোমেলো (বা প্রতিকূলভাবে নির্বাচিত ) ফাংশন বিশ্বে বাস করি না ।

আরও সাধারণভাবে, যেহেতু আপনি "দার্শনিক" ট্যাগটি রেখেছেন ... আমি অনুমান করি যে আমরা পরিসংখ্যানের সমস্যাটি বা পরিসংখ্যান বিজ্ঞানের গণিতের অযৌক্তিক কার্যকারিতা (বিশেষত আমাদের গাণিতিক অন্তর্দৃষ্টি এবং মডেলগুলি নির্দিষ্ট করার দক্ষতার মধ্যে প্রবেশ করছি) যা অনুশীলনে কাজ করে) - এই অর্থে যে বিশুদ্ধরূপে অগ্রাধিকার দৃষ্টিকোণ থেকে আমাদের অনুমানগুলি ভাল হওয়া বা কোনও গ্যারান্টি থাকার কোনও কারণ নেই (এবং নিশ্চিতভাবেই আপনি গাণিতিক পাল্টা উদাহরণ তৈরি করতে পারেন যার মধ্যে বিষয়গুলি খারাপ হয়) তবে তারা পরিণত হয় অনুশীলনে ভাল কাজ করতে।

Comments

দুর্দান্ত উত্তর। আপনার অবদানের জন্য আপনাকে অনেক ধন্যবাদ। বায়েশিয়ান অপ্টিমাইজেশান বনাম সাধারণ অপ্টিমাইজেশনের কৌশলগুলির কোনও পর্যালোচনা / ন্যায্য তুলনা আছে কি যা আপনার দাবি অনুসারে বায়েসীয় সংস্করণটি যথাক্রমে আরও উন্নত? (আপনাকে আপনার কথায়

— কান দেওয়ার ব্যাপারে

ধন্যবাদ! আমি মনে করি যে সম্ভাব্য সংখ্যায় কল-টু- এ্যাসে বেশ কয়েকটি তাত্ত্বিক এবং অভিজ্ঞতামূলক যুক্তি রয়েছে। আমি এমন একটি বেঞ্চমার্ক সম্পর্কে সচেতন নই যা সত্যিকার অর্থে বিও পদ্ধতির সাথে স্ট্যান্ডার্ড পদ্ধতিগুলির সাথে তুলনা করে, তবে [ ট্রিগার সতর্কতা: নির্লজ্জ প্লাগ ] আমি বর্তমানে কমপিটেশনাল নিউরোসায়েন্সের ক্ষেত্রে এই লাইনগুলি বরাবর কিছু নিয়ে কাজ করছি; আমি আশা করি আগামী কয়েক সপ্তাহের মধ্যেই আরএক্সিভের কয়েকটি ফলাফল রাখার পরিকল্পনা করছি।

— lacerbi

আসলে, তাদের চিত্র 2 কমপক্ষে একটি পরিষ্কার তুলনা আছে। আপনার মূল প্রশ্নটি শেষ হয়ে গেলে আপনি কি কাজটি যুক্ত করতে পারেন? আমি মনে করি এটি একটি মূল্যবান সংযোজন হবে।

— গিলাইম দেহেন

হ্যাঁ - এটি অভিযোজিত বায়েশিয়ান চতুর্ভুজগুলির জন্য তাদের পদ্ধতি, যা একটি দুর্দান্ত ধারণা practice আমার কাজ উপলব্ধ হলে আমি উত্তরের লিঙ্কটি যুক্ত করব, ধন্যবাদ।

— lacerbi

@ আইএমএ: দুঃখিত, আমি মনে করি না যে আমি আপনার পয়েন্টটি 100% পেয়েছি। আমি ব্ল্যাক-বক্স অপটিমাইজেশনটি বৈজ্ঞানিক প্রচেষ্টার খেলনা মডেল হিসাবে নিচ্ছিলাম । আমি বিশ্বাস করি আপনি এই বিজ্ঞানের (তবে এখনও অবিশ্বাস্যরকম জটিল) ডোমেনে "বিজ্ঞানের" অনেক পদক্ষেপ এবং সমস্যাগুলি ম্যাপ করতে পারেন can আমার যুক্তির জন্য "গাউসিয়ান শোরগোল" অনুমানের দরকার নেই, এটি ছিল কেবল সরলতার জন্য। রিয়েল-ওয়ার্ল্ড অপটিমাইজেশন সমস্যাগুলি (উদাহরণস্বরূপ, ইঞ্জিনিয়ারিংয়ের ক্ষেত্রে) অ-গাউশিয়ান কোলাহল দ্বারা দূষিত হতে পারে এবং এটি এমন একটি বিষয় যা মোকাবেলা করা দরকার। এবং গাউসীয় প্রক্রিয়াগুলির জন্য গাউসিয়ান পর্যবেক্ষণের শব্দ প্রয়োজন হয় না (যদিও এটি অনুমানকে সহজ করে তোলে)।

— লেসারবি

Answer 4

আমি কেবল এটি আজই দেখি তবে এখনও আমি মনে করি যে আমি এক ধরনের বিশেষজ্ঞ এবং কমপক্ষে দুটি উত্তর (এনআর 3 এবং 20 (আমার কাজ শি'য়ান উল্লেখ করার জন্য ধন্যবাদ!)) এ আমার কাজের উল্লেখ উল্লেখ করে আমার চিপ করা উচিত সেফবয়েস - বিশেষত জি এবং ভ্যান ওমেন, "ভুল বর্ণিত লিনিয়ার মডেলগুলির জন্য বায়সিয়ান ইনফেরেন্সের অসঙ্গতি এবং এটি মেরামত করার জন্য একটি প্রস্তাব" (২০১৪)। এবং আমি মন্তব্য 2 তে কিছু যুক্ত করতে চাই:

2 বলেছেন: (ভুল বানানের অধীনে বেয়েসের একটি সুবিধা হ'ল ...) "আচ্ছা, বায়েসিয়ান নিয়মিত করার চেষ্টা করছে over এটি এমন কিছু যা অতিমাত্রায় লড়াইয়ের বিরুদ্ধে সহায়তা করার জন্য - আপনার মডেলটির ভুল বানান রয়েছে কিনা তা অবশ্যই। অবশ্যই এটি সম্পর্কিত সম্পর্কিত প্রশ্নটির দিকে পরিচালিত করে নিয়মিত ধ্রুপদী পদ্ধতির (লেসো ইত্যাদি) বিরুদ্ধে বায়েশিয়ান অনুমানের পক্ষে যুক্তি "

এটি সত্য, তবে এটি যোগ করা অত্যন্ত গুরুত্বপূর্ণ যে বায়েশিয়ান পদ্ধতিগুলি যথেষ্ট পরিমাণে নিয়মিত নাও হতে পারে যদি মডেলটি ভুল হয়। এটি ভ্যান ওমেনের সাথে কাজ করার মূল বিষয় - আমরা সেখানে দেখলাম যে ভুল-তবে-খুব-দরকারী-মডেলগুলির সাথে কিছুটা রিগ্রেশন প্রসঙ্গে স্ট্যান্ডার্ড বায়েস ভয়াবহভাবে ওভারফিট করে। এমএলইয়ের মতো খারাপ নয়, তবে এখনও কার্যকর হতে অনেক বেশি উপায়। (ঘন ঘনবাদী এবং গেম-তাত্ত্বিক) তাত্ত্বিক মেশিন লার্নিংয়ে কাজ করার পুরো স্ট্র্যান্ড রয়েছে যেখানে তারা বেয়েসের অনুরূপ পদ্ধতি ব্যবহার করে তবে অনেক ছোট 'শিক্ষার হার' দিয়ে - পূর্বের আরও এবং ডেটা কম গুরুত্বপূর্ণ করে তোলে, এইভাবে আরও নিয়মিত করা হয়। এই পদ্ধতিগুলি সবচেয়ে খারাপ পরিস্থিতিতে (অপব্যবহার এবং আরও খারাপ, প্রতিকূল তথ্য) ভালভাবে কাজ করার জন্য ডিজাইন করা হয়েছে - সেফবাইস পদ্ধতির ডেটা থেকেই 'সর্বোত্তম শিক্ষার হার শিখতে' ডিজাইন করা হয়েছে - এবং এই অনুকূল শিক্ষার হার, অর্থাৎ সর্বোত্তম পরিমাণ নিয়ন্ত্রনের,

সম্পর্কিতভাবে, একটি লোক উপপাদ্য রয়েছে (উপরের বেশ কয়েকটি দ্বারা বর্ণিত) বলেছেন যে কেইএল 'সত্যের' দিকে ডাইভারজেন্সের নিকটতম বিতরণে বেয়েসের উত্তরকেন্দ্রিক মনোনিবেশ করবে। তবে এটি কেবল খুব কড়া অবস্থার অধীনে রয়েছে - সুনির্দিষ্ট ক্ষেত্রে অভিভাবনের জন্য প্রয়োজনীয় শর্তের চেয়ে অনেক বেশি কঠোর। যদি আপনি স্ট্যান্ডার্ড লো ডাইমেনশনাল প্যারামিট্রিক মডেলগুলির সাথে ডিল করছেন এবং কিছু বিতরণ অনুসারে ডেটা আইড করা হয় (মডেলটিতে নয়) তবে উত্তরোত্তর প্রকৃতপক্ষে মডেলটির সেই বিন্দুর চারদিকে মনোনিবেশ করবে যা কেএল ডাইভারজেন্সের সত্যের সবচেয়ে কাছাকাছি। এখন যদি আপনি বড় ননপ্যারামেট্রিক মডেলগুলির সাথে কাজ করে থাকেন এবং মডেলটি সঠিক হয়, তবে (মূলত) আপনার উত্তরোত্তর এখনও যথেষ্ট পরিমাণ ডেটা প্রদত্ত সত্য বিতরণের আশেপাশে মনোনিবেশ করবে, যতক্ষণ না আপনার পূর্ববর্তী সত্যিকারের বিতরণের চারদিকে ছোট কেএল বলগুলিতে পর্যাপ্ত পরিমাণ রাখে। এইযদি মডেলটি সঠিক হয় তবে ননপ্যারমেট্রিক ক্ষেত্রে কনভার্সনের জন্য প্রয়োজনীয় দুর্বল অবস্থা।

তবে যদি আপনার মডেলটি অপ্রমাণিত এখনও ত্রুটিযুক্ত থাকে তবে উত্তরবর্তীটি কেবল নিকটতম কেএল পয়েন্টের আশেপাশে মনোনিবেশ করতে পারে না, এমনকি যদি আপনার পূর্ববর্তী লোকেরা সেখানে 1 (!) এর কাছাকাছি রাখে - আপনার উত্তরোত্তর চিরকালের জন্য বিভ্রান্ত থাকতে পারে, সর্বদা-বিভাজনে মনোনিবেশ করে সময় বাড়ার সাথে সাথে তবে কখনই সেরাের কাছাকাছি হয় না। আমার কাগজপত্রগুলিতে আমার এই ঘটনার বেশ কয়েকটি উদাহরণ রয়েছে। এই কাগজগুলিতে যেগুলি ভুল বানান (যেমন ক্লিজন এবং ভ্যান ডের ভার্ট) এর অধীনে রূপান্তর দেখায় তাদের প্রচুর অতিরিক্ত শর্তাদি প্রয়োজন, উদাহরণস্বরূপ মডেলটি উত্তল হতে হবে, বা পূর্ববর্তীগুলিকে অবশ্যই কিছু নির্দিষ্ট (জটিল) বৈশিষ্ট্য মানতে হবে। আমি 'কঠোর' শর্ত দ্বারা এটি বোঝাতে চাই।

অনুশীলনে আমরা প্রায়শই প্যারামিট্রিকের সাথে খুব উচ্চ মাত্রিক মডেলগুলি (বায়েসিয়ান রিজ রিগ্রেশন ইত্যাদি মনে করি) নিয়ে ডিল করি। তারপরে যদি মডেলটি ভুল হয়, অবশেষে আপনার উত্তরোত্তর মডেলটির সেরা কেএল-বিতরণে মনোনিবেশ করবে তবে ননপ্যারমেট্রিকের অসঙ্গতিটির একটি ছোট সংস্করণ এখনও ধারণ করেছে: কনভার্ভেশন হওয়ার আগে এটি আরও ডেটার পরিমাণের আদেশ নিতে পারে - আবার, আমার কাগজটি দিয়ে ভ্যান ওমেন উদাহরণ দেয়।

SafeBayes পদ্ধতির স্ট্যান্ডার্ড বেগুলিকে এমনভাবে সংশোধন করা হয়েছে যা ননপ্যারমেট্রিক মডেলগুলিতে (প্রয়োজনীয়ভাবে) সুনির্দিষ্ট ক্ষেত্রে যেমন একই অবস্থার অধীনে গ্যারান্টি দেয়, অর্থাত্ মডেলটিতে কেএল-অনুকূল বিতরণের কাছে পর্যাপ্ত পূর্বের ভর (জি এবং মেহতা, ২০১৪) )।

তারপরেও প্রশ্ন আছে যে বেয়েসের এমনকি ভুল বানানের অধীনে যুক্তি রয়েছে কি না। আইএমএইচও (এবং উপরেও বেশ কয়েকটি লোক উল্লেখ করেছেন), বেয়েসের স্ট্যান্ডার্ড ন্যায়সঙ্গততা (গ্রহণযোগ্যতা, স্যাভেজ, ডি ফিনেটি, কক্স ইত্যাদি) এখানে ধারণ করে না (কারণ আপনি যদি বুঝতে পারেন যে আপনার মডেলটি ভুল বানানো হয়েছে, আপনার সম্ভাবনাগুলি আপনার সত্য বিশ্বাসকে উপস্থাপন করে না !)। অনেকগুলি বেইস পদ্ধতিতে 'ন্যূনতম বিবরণ দৈর্ঘ্য (এমডিএল) পদ্ধতি' হিসাবেও ব্যাখ্যা করা যেতে পারে - এমডিএল একটি তথ্য-তাত্ত্বিক পদ্ধতি যা 'যতটা সম্ভব তথ্যকে সংকুচিত করার চেষ্টা করে' ডেটা থেকে শেখার সমতুল্য '। (কিছু) বায়েশিয়ান পদ্ধতিগুলির ডেটা সংক্ষেপণ ব্যাখ্যা ভুল বানানের অধীনে বৈধ থাকবে। সুতরাং এখনও কিছু আছেঅন্তর্নিহিত ব্যাখ্যা যা ভুল বানানের অধীনে রয়েছে - তবুও সমস্যা আছে, ভ্যান ওমেন (এবং মূল পোস্টে উল্লিখিত আত্মবিশ্বাসের বিরতি / বিশ্বাসযোগ্য সেট সমস্যা) সহ আমার কাগজটি শো হিসাবে।

এবং তারপরে মূল পোস্ট সম্পর্কে একটি চূড়ান্ত মন্তব্য: আপনি বাইয়েসের 'গ্রহণযোগ্যতা' ন্যায্যতার উল্লেখ করেছেন (1940/50 এর দশকে ওয়াল্ডের সম্পূর্ণ শ্রেণির থেম ফিরে)। এটি সত্যই বায়েসের ন্যায়সঙ্গত হওয়া বা না হওয়া 'বায়েশিয়ান ইনফারেন্স' (যা গবেষক থেকে গবেষকের চেয়ে পৃথক ...) এর সঠিক সংজ্ঞাটির উপর খুব বেশি নির্ভর করে। কারণ হ'ল এই গ্রহণযোগ্যতার ফলাফলগুলি এমন কোনও সম্ভাবনাটিকে অনুমতি দেয় যা সমস্যার আগে যেমন নমুনা আকার এবং স্বার্থ হ্রাসকরণ ইত্যাদির উপর নির্ভর করে এমন একটি ব্যবহার করে যা বেশিরভাগ 'আসল' বায়েশিয়ানরা তাদের প্রাইমটি পরিমাণ পরিবর্তন করতে চাইবে না তাদের পরিবর্তনগুলি প্রক্রিয়া করতে হবে এমন ডেটা, বা হ্রাসের হ্রাস ফাংশনটি হঠাৎ করে পরিবর্তন করা হয়েছে। উদাহরণস্বরূপ, কঠোরভাবে উত্তল ক্ষতি ফাংশন সহ, মিনিম্যাক্স অনুমানগুলিও গ্রহণযোগ্য - যদিও সাধারণত বায়েশিয়ান হিসাবে ভাবা হয় না! কারণটি হ'ল প্রতিটি স্থির নমুনা আকারের জন্য এগুলি একটি নির্দিষ্ট পূর্বের সাথে বেয়েসের সমতুল্য, তবে প্রতিটি নমুনা আকারের জন্য পূর্ব পৃথক।

আশা করি এটি কার্যকর!

Comments

ক্রসভিলেটেডে স্বাগতম এবং এই প্রশ্নের জবাব দেওয়ার জন্য ধন্যবাদ। একটি ছোট্ট নোট - আপনি যেভাবে উত্তরগুলি দেখেছেন ঠিক একই ক্রমে সাজানো হচ্ছে তার উপর নির্ভর করতে পারবেন না; বিভিন্ন লোক বিভিন্ন অর্ডার অনুসারে বাছাই করতে পারে (সর্বোচ্চ স্থানের উত্তরের শীর্ষে বিভিন্ন বাছাই করার মানদণ্ডের একটি পছন্দ আছে) এবং সময়ের সাথে সেই মানদণ্ডগুলির মধ্যে দুটি পরিবর্তন হয়। এটি হ'ল যদি আপনি তাদের "এনআর 3 এবং 20" হিসাবে উল্লেখ করেন তবে লোকেরা জানেন না যে আপনার উত্তরগুলি কী বোঝায়। [আমি পাশাপাশি দশটি উত্তরও খুঁজে পেতে পারি]]

— গ্লেন_বি

পিটার একটি দুর্দান্ত উত্তরের জন্য আপনাকে ধন্যবাদ। আপনার মন্তব্য সম্পর্কে আমি বিভ্রান্ত হয়েছি যে ভুল বর্ণিত মামলায় বায়েশিয়ান অনুমানের খুব দৃ strong় অনুমানের প্রয়োজন। আপনি কোন অনুমানগুলি স্পষ্টভাবে উল্লেখ করছেন? আপনি কি সেই অবস্থার বিষয়ে কথা বলছেন যে উত্তরের সেরা প্যারামিটার মানটিতে ডায়রাক বিতরণে রূপান্তর করতে হবে? বা আপনি সম্ভাবনা সম্পর্কে আরও প্রযুক্তিগত অবস্থার বিষয়ে কথা বলছেন যা অ্যাসিপটোটিক স্বাভাবিকতা নিশ্চিত করে?

— গিল্লুম দেহেয়েন

ঠিক আছে, গ্লেন বি (মডারেটর) কে ধন্যবাদ - আমি এখন থেকে এটিকে মনে রাখব।

— পিটার গ্রানওয়াল্ড

গিলিয়াম - আপনার মন্তব্যটি আমলে নেওয়ার জন্য আমি উপরেরটি আপডেট করছি

— পিটার

Answer 5

সাধারণ পক্ষপাত-বৈকল্পিক ট্রেড অফ রয়েছে। এম-ক্লোজড কেস [১,২] ধরে নিয়ে বায়েশিয়ান অনুমানের একটি ভিন্নতা রয়েছে [৩] তবে মডেল অপব্যবহারের ক্ষেত্রে পক্ষপাত দ্রুত বৃদ্ধি পায় [৪]। এম-ওপেন কেস [১,২] ধরে নিয়ে বায়েশিয়ান অনুমান করাও সম্ভব, যার উচ্চতর বৈকল্পিকতা রয়েছে [৩] তবে মডেল অপব্যবহারের ক্ষেত্রে পক্ষপাত ছোট হয় [৪]। বায়সিয়ান এম-ক্লোজড এবং এম-ওপেন কেসের মধ্যে বায়াস-পার্সিয়েন্স ট্রেড অফের আলোচনা নীচের উল্লেখগুলিতে অন্তর্ভুক্ত কয়েকটি রেফারেন্সে প্রদর্শিত হয়, তবে আরও স্পষ্টভাবে এর প্রয়োজন রয়েছে।

[1] বার্নার্ডো এবং স্মিথ (1994)। বায়েশিয়ান থিয়োরি। জন উইলি S এন্ড সন্স।

[২] ভেহতারি এবং ওজনেন (২০১২)। মডেল মূল্যায়ন, নির্বাচন এবং তুলনা করার জন্য বয়েসিয়ান ভবিষ্যদ্বাণীমূলক পদ্ধতির একটি সমীক্ষা। পরিসংখ্যান সমীক্ষা, 6: 142-228। http://dx.doi.org/10.1214/12-SS102

[3] জুহো পাইওরনেন এবং আকী ভেহতারি (2017)। মডেল নির্বাচনের জন্য বায়েশিয়ান ভবিষ্যদ্বাণীমূলক পদ্ধতির তুলনা। পরিসংখ্যান এবং গণনা, 27 (3): 711-735। http://dx.doi.org/10.1007/s11222-016-9649-y ।

[4] ইয়াও, ভেহতারি, সিম্পসন, এবং অ্যান্ড্রু গেলম্যান (2017)। গড় বায়েশিয়ান ভবিষ্যদ্বাণীপূর্ণ বিতরণগুলিতে স্ট্যাকিং ব্যবহার করে। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1704.02030 arxiv.org/abs/1704.02030

Answer 6

ভুল বর্ণিত মডেলগুলিতে বায়েশিয়ান অনুমানকে ন্যায্যতা দেওয়ার আরও কয়েকটি উপায় এখানে রয়েছে।

• স্যান্ডউইচ সূত্রটি ব্যবহার করে (এমএলইতে আপনি যেভাবে করেন) একইভাবে আপনি উত্তরোত্তর গড়ের দিকে আত্মবিশ্বাসের ব্যবধান তৈরি করতে পারেন। সুতরাং, বিশ্বাসযোগ্য সেটগুলির কভারেজ না থাকলেও আপনি যদি এখনও আগ্রহী হন তবে আপনি পয়েন্ট অনুমানকারীদের ক্ষেত্রে বৈধ আত্মবিশ্বাসের বিরতি তৈরি করতে পারেন।

• বিশ্বাসযোগ্য সেটগুলির কভারেজ রয়েছে তা নিশ্চিত করার জন্য আপনি উত্তরোত্তর বিতরণ পুনরুদ্ধার করতে পারেন, যা গ্রহণ করা পদ্ধতি:

মুলার, উলরিখ কে। "ভুল বর্ণিত মডেলগুলিতে বায়েশিয়ান অনুমানের ঝুঁকি এবং স্যান্ডউইচ কোভেরিয়েন্স ম্যাট্রিক্স" " ইকোনোমেট্রিকা 81.5 (2013): 1805-1849।

• বেয়েসের নিয়মের একটি অ-অ্যাসিম্পটোটিক ন্যায়সঙ্গততা রয়েছে: প্রযুক্তিগত শর্তগুলি বাদ দেওয়া, যদি পূর্বের হয় , এবং লগ-সম্ভাবনাটি হয় , তবে হ'ল বিতরণ যা হ্রাস করা হয় over সমস্ত বিতরণ । প্রথম শব্দটি একটি প্রত্যাশিত ইউটিলিটির মতো: আপনি প্যারামিটারগুলিতে ভর স্থাপন করতে চান যা উচ্চ সম্ভাবনা দেয়। দ্বিতীয় শব্দটি নিয়মিত করে: আপনি পূর্বের চেয়ে একটি ছোট কেএল বিচ্যুতি চান। এই সূত্রটি সুস্পষ্টভাবে জানায় যে উত্তরোত্তরটি কী অনুকূল করছে। এটি আধা-সম্ভাবনার প্রসঙ্গে অনেক ব্যবহৃত হয়, যেখানে লোকেরা লগ-সম্ভাবনাটিকে অন্য একটি ইউটিলিটি ফাংশন দ্বারা প্রতিস্থাপন করে।$p(\theta)$$\ell_n(\theta)$$-\int \ell_n(\theta) d\nu(\theta) + \int \log\!\Big(\frac{\nu(\theta)}{p(\theta)}\Big)d\nu(\theta)$$\nu(\theta)$

Comments

মুলার পেপারের জন্য আপনাকে ধন্যবাদ: আমি মনে করি এটি আমার কাছে থাকা অনেক প্রশ্নের উত্তর দেয়।

— গিলাইম দেহেন

Answer 7

অনুমান ডেটার বাস্তব মডেল থেকে পৃথক সব মানের জন্য$p_{true}(X)$$p(X|\theta)$$\theta$

এই ধৃষ্টতা এর Bayesian ব্যাখ্যা একটি অতিরিক্ত দৈব চলক আছে যে এবং একটি মান তার সীমার মধ্যে যেমন যে । আপনার পূর্বের জ্ঞান এবং । তারপরে যা সঠিক সম্ভাবনা বন্টন নয়।$\phi$$\phi_0$$\phi_0$$\int p(X|\theta,\phi=\phi_0) \mathrm{d}\theta =0$$p(\phi=\phi_0)\propto 1$$p(\phi\neq\phi_0)=0$$p(\theta|X,\phi=\phi_0)=0$

এই যুক্তিতে একই অনুরোধের নিয়মের সাথে মিলে যায় যেখানে , অর্থাৎ আপনি কোনও দ্বন্দ্ব থেকে কোনও কিছু বের করতে পারবেন না। ফলাফল এমন এক উপায় যা বেয়েসিয়ান সম্ভাব্যতা তত্ত্ব আপনাকে বলে যে আপনার পূর্ববর্তী জ্ঞানটি আপনার ডেটার সাথে সামঞ্জস্যপূর্ণ নয়। যদি কেউ উত্তরোত্তর আবিষ্কারের ক্ষেত্রে এই ফলাফল পেতে ব্যর্থ হয় তবে এর অর্থ হ'ল সূত্রটি সমস্ত প্রাসঙ্গিক পূর্ববর্তী জ্ঞানকে এনকোড করতে ব্যর্থ হয়েছিল। এই পরিস্থিতির মূল্যায়ন করার জন্য আমি জেনেসের হাতে তুলে দিয়েছি (২০০৩, পৃষ্ঠা ৪৪):$A, \neg A \vdash \emptyset$$p(\theta|X,\phi=\phi_0)=0$

... এটি একটি শক্তিশালী বিশ্লেষণাত্মক সরঞ্জাম যা প্রস্তাবগুলির একটি সেট অনুসন্ধান করতে পারে এবং যদি বিদ্যমান থাকে তবে সেগুলির মধ্যে একটি বৈপরীত্য সনাক্ত করতে পারে। নীতিটি হ'ল বিপর্যয়কর প্রাঙ্গনে শর্তাধীন সম্ভাবনাগুলি বিদ্যমান নেই (অনুমানের স্থানটি খালি সেটটিতে হ্রাস করা হয়)। অতএব, আমাদের রোবটকে কাজে লাগান; উদাহরণস্বরূপ একটি শর্তসাপেক্ষে সম্ভাবনাগুলি গণনা করার জন্য একটি কম্পিউটার প্রোগ্রাম লিখুন যদিও কোনও বৈপরীত্য লুকানো থাকলেও, পরিদর্শন থেকে কোনও বৈপরীত্য স্পষ্ট নয় is$p(B|E)$$E= (E_1,E_2,\dots,E_n)$$E$কম্পিউটার প্রোগ্রাম ক্রাশ হবে। আমরা এটি আবিষ্কার করেছি, অভিজ্ঞতার সাথে, '' এবং কিছুটা চিন্তাভাবনা পরে বুঝতে পেরেছিলাম যে এটি হতাশার কারণ নয়, বরং একটি মূল্যবান ডায়াগোনস্টিক সরঞ্জাম যা আমাদেরকে অপ্রত্যাশিত বিশেষ ক্ষেত্রে সতর্ক করে যেখানে আমাদের সমস্যার গঠণটি ভেঙে যেতে পারে।

অন্য কথায়, যদি আপনার সমস্যার সূত্রটি ভুল হয় - যদি আপনার মডেলটি ভুল হয় তবে বেইসিয়ান পরিসংখ্যানগুলি আপনাকে এটির ক্ষেত্রে এটি আবিষ্কার করতে সহায়তা করতে পারে এবং মডেলের কোন দিকটি সমস্যার উত্স তা খুঁজে পেতে আপনাকে সহায়তা করতে পারে।

অনুশীলনে, এটি সম্পূর্ণরূপে পরিষ্কার নয় যে জ্ঞানটি কী প্রাসঙ্গিক এবং এটি উত্পন্নকরণে অন্তর্ভুক্ত করা উচিত কিনা। বিভিন্ন মডেল পরীক্ষার কৌশল (গেলম্যান এট আল।, 2013 এর অধ্যায় 6 এবং 7, একটি ওভারভিউ সরবরাহ করে) এরপরে একটি ত্রুটিযুক্ত সমস্যা গঠনের সন্ধান এবং সনাক্ত করতে ব্যবহৃত হয়।

গেলম্যান, এ।, কার্লিন, জেবি, স্টার্ন, এইচএস, ডানসন, ডিবি, ভেহতারি, এ।, এবং রুবিন, ডিবি (2013)। বায়েশিয়ান ডেটা বিশ্লেষণ, তৃতীয় সংস্করণ। চ্যাপম্যান অ্যান্ড হল / সিআরসি।

জেনেস, ইটি (2003) সম্ভাবনা তত্ত্ব: বিজ্ঞানের যুক্তি। ক্যামব্রিজ ইউনিভার্সিটি প্রেস.

Comments

আপনার উত্তরটি বিন্দুটি হারিয়েছে এবং একটি সহজ পরিস্থিতি বিবেচনা করছে। আমি এমন কোনও পরিস্থিতি বিবেচনা করি না যেখানে আমাদের মডেলটি এতটা ভুল যে এটি ডেটার সাথে অসঙ্গতিপূর্ণ। আমি এমন পরিস্থিতিতে দেখি যেখানে আমাদের মডেলটি ভুল, তবে বিপর্যয়করভাবে নয়। উদাহরণস্বরূপ, এক্স_আই এর গড় । আসল মডেল ল্যাপ্লেস হওয়া সত্ত্বেও আপনি এর গাউসিয়ান মডেলটিকে অনুমানের জন্য ব্যবহার করতে পারেন । এই সাধারণ উদাহরণে, মডেলটি ভুল তবে আপনার বিবরণ মতো "বিস্ফোরণ" হবে না। $X_i$$X_i$

— গিল্লুম দেহেয়েন

@ গুইলাউমডিহেইনে আপনার প্রশ্নটি ছিল মডেলকে ভুল বর্ণিত করার সময় বেয়েস ব্যবহারের জন্য কিছু যুক্তি রয়েছে কিনা। স্পষ্টতই, বিপর্যয়যুক্ত ভুল বর্ণিত মডেলটি ভুল বানানযুক্ত। আপনার মডেলটি বিপর্যয়জনকভাবে ভুল বানানযুক্ত হয়েছে বা কেবল ভুল বানানযুক্ত কিনা তা আপনি এপ্রিওরিও জানতে পারবেন না। বাস্তবে বেয়েস আপনাকে অবশ্যই তা বলতে পারে, যা এটি কার্যকর করে তোলে এবং আমার উত্তর সেটিকে নির্দেশ করে।

— matus

যদি এটি বিপর্যয়করভাবে ভুল না হয়, তবে কভারেজটি থেকে এত আলাদা হবে না । এটি পরীক্ষা করতে আপনি ল্যাপলাসিয়ান ডেটা সহ এই সাধারণ মডেলের সিমুলেশন লিখতে পারেন। ধারণাগত সুবিধা সর্বদা উপস্থিত থাকত present এটি সম্পর্কে চিন্তা করুন: আপনি যদি নিজের পোস্টটি উইন্ডো থেকে ফেলে দেওয়ার সিদ্ধান্ত নেন তবে আপনি কেবল এমএলই গণনা করবেন না, তবে কিছুটা আত্মবিশ্বাসের ব্যবধানও গণনা করবেন। তবে আমরা জানি যে একটি নির্দিষ্ট পরীক্ষার জন্য সিআই গণিতের ব্যাখ্যাটি রুবিক। তাই আরাম করুন এবং বায়সিয়ান বিয়ার উপভোগ করুন। যদি আপনি বুঝতে পারছেন যে মডেলটি ভুল বানান করা হয়েছে, তবে আরও ভাল একটি বিল্ড করতে এই তথ্যটি ব্যবহার করুন। $1-\alpha$

— জেন

@ গুইলুমেহেহেন হ্যাঁ, আমার উত্তরটি সম্পূর্ণ নয়। আমি আনন্দের সাথে এটিকে বিপর্যয়কর ঘটনা না বলে স্পষ্ট করতে প্রসারিত করেছি, তবে আপনার মনে কী রয়েছে তা নির্দিষ্ট করে আপনার প্রয়োজন: আপনার অর্থ কী কোথায় হল কিছু ছোট সংখ্যা যাতে কম? বা আপনি কি বলছেন যে যেমন এখনও আছে বা অন্যকিছু? আমি জেনের সাথে একমত হই যে সাধারণত এই কম গুরুতর ক্ষেত্রে উত্তরোত্তর খুব বেশি প্রভাবিত হবে না, যদিও কেউ সীমান্ত কেস তৈরি করতে পারে। $\int p(X,\theta|\phi=\phi_0) \mathrm{d}\theta =k$$k$$p(X|\phi=\phi_0)$$\theta=\theta_0$$p(\theta=\theta_0|\phi=\phi_0)=0$$p(X,\theta=\theta_k|\phi=\phi_0)>0$

— matus

Answer 8

আপনি যে মডেলটি নির্দিষ্ট করেছেন এবং এটি সঠিক বলে ধরেছেন তার মধ্যে এমএলই প্যারামিটারের অনুমানকারী। একটি ঘন ঘন ওএলএসের রিগ্রেশন সহগগুলি এমএলই এবং আপনার সাথে সংযুক্ত করতে চান এমন সমস্ত বৈশিষ্ট্য (নিরপেক্ষ, একটি নির্দিষ্ট অ্যাসেম্পটোটিক ভেরিয়েন্স) নিয়ে এখনও অনুমান করা যায় যে আপনার খুব নির্দিষ্ট লিনিয়ার মডেলটি সঠিক।

আমি এটি আরও একধাপ এগিয়ে নিয়ে যাচ্ছি এবং বলব যে প্রতিবার আপনি কোনও অনুমানকারীকে অর্থ এবং বৈশিষ্ট্য নির্ধারণ করতে চান আপনাকে একটি মডেল ধরে নিতে হবে। এমনকি আপনি যখন কোনও সাধারণ নমুনা গ্রহণ করেন তখনও আপনি ধরে নিচ্ছেন যে ডেটা বিনিময়যোগ্য এবং প্রায়শই আইআইডি হয়।

এখন, বায়েশিয়ান অনুমানকারীগুলির অনেক পছন্দসই বৈশিষ্ট্য রয়েছে যা কোনও এমএলইর কাছে নাও থাকতে পারে। উদাহরণস্বরূপ, আংশিক পুলিং, নিয়মিতকরণ, এবং কোনও উত্তরোত্তর ব্যাখ্যা যা এটি অনেক পরিস্থিতিতে আকাঙ্ক্ষিত করে তোলে।

Comments

কোনও অর্থ দেওয়ার জন্য আপনাকে আইআইডি ধরে নিতে হবে না। বিনিময়যোগ্যতা ধরে নেওয়া যথেষ্ট (তবে, হ্যাঁ, এটি এখনও একটি অনুমান ...)

— কেজেটিল বি হালওয়ারসেন

@ কেজেটিল বি হালওয়ারসেন ধন্যবাদ, আমি স্বচ্ছতার জন্য সম্পাদনা করেছি।

— ট্রাইন্নাডোস্ট্যাট

Answer 9

আমি জেলম্যান এবং শালিজির দর্শন এবং বায়েশিয়ান পরিসংখ্যান অনুশীলনের প্রস্তাব দিই । তাদের এই প্রশ্নগুলির সুসংহত, বিশদ এবং ব্যবহারিক প্রতিক্রিয়া রয়েছে।

আমরা মনে করি বায়েশিয়ান অনুমানের প্রাপ্তির বেশিরভাগ দৃষ্টিভঙ্গিই ভুল। বায়েশিয়ান পদ্ধতিগুলি পরিসংখ্যানগত অনুক্রমের অন্য কোনও পদ্ধতির চেয়ে প্ররোচক নয়। হাইপোথিটো-ডিডাকটিভ দৃষ্টিকোণ থেকে বায়েশিয়ান ডেটা বিশ্লেষণ আরও ভালভাবে বোঝা যায় । সেরা বায়েশীয় অনুশীলনে অন্তর্ভুক্ত হ'ল একটি অবস্থান যা মায়োর ত্রুটি-পরিসংখ্যানগত পদ্ধতির সাথে অনেকটা মিল রয়েছে, যদিও পরবর্তীকালের বার বারের প্রবণতা সত্ত্বেও। প্রকৃতপক্ষে, মডেল চেকিংয়ের মতো বায়সিয়ান ডেটা বিশ্লেষণের গুরুত্বপূর্ণ অংশগুলি মায়োর অর্থে 'ত্রুটি তদন্ত' হিসাবে বোঝা যায়।

আমরা অনুশীলনমূলক সামাজিক বিজ্ঞান গবেষণায় বায়সিয়ান ডেটা বিশ্লেষণের কংক্রিট কেসগুলি পরীক্ষা করার এবং বায়েসীয় আপডেটের ধারাবাহিকতা এবং সংহতকরণের তাত্ত্বিক ফলাফলগুলির সংমিশ্রণে এগিয়ে চলেছি। সামাজিক-বৈজ্ঞানিক ডেটা বিশ্লেষণ আমাদের উদ্দেশ্যগুলির জন্য বিশেষত স্পষ্ট কারণ এখানে সাধারণ চুক্তি রয়েছে যে, এই ডোমেনে, ব্যবহারের সমস্ত মডেল ভুল - নিছক মিথ্যা নয়, বরং সত্য মিথ্যা। পর্যাপ্ত ডেটা সহ - এবং প্রায়শই কেবল মোটামুটি পরিমিত পরিমাণে - কোনও বিশ্লেষক যে কোনও পছন্দসই আত্মবিশ্বাসের স্তরের ক্ষেত্রে এখন যে কোনও মডেলকে প্রত্যাখ্যান করতে পারেন । মডেল ফিটিং তবুও একটি মূল্যবান ক্রিয়াকলাপ, এবং প্রকৃতপক্ষে ডেটা বিশ্লেষণের জটিল। এটি কেন এমন তা বোঝার জন্য আমাদের কীভাবে মডেলগুলি তৈরি করা হয়, লাগানো হয়, ব্যবহৃত হয় এবং যাচাই করা হয়, এবং মডেলগুলিতে ভুল বানানের প্রভাব কী তা দেখে নিতে হবে।

...

আমাদের দৃষ্টিতে, [প্রমিত বায়েশিয়ান দর্শনের] শেষ অনুচ্ছেদের অ্যাকাউন্টটি অত্যন্ত গুরুতরভাবে ভুল হয়েছে। উপাত্ত-বিশ্লেষণ প্রক্রিয়া - বায়েসিয়ান বা অন্যথায় - প্যারামিটারের অনুমান বা উত্তর বিতরণ গণনা করে শেষ হয় না। বরং, মডেলটি চিত্তাকর্ষক প্রমাণের সাথে লাগানো মডেলের প্রভাবগুলির তুলনা করে পরীক্ষা করা যায়। কেউ এমন প্রশ্ন জিজ্ঞাসা করে যেমন লাগানো মডেল থেকে সিমুলেশনগুলি মূল ডেটার সাথে সাদৃশ্যযুক্ত, উপযুক্ত জিনিসগুলি মডেলটির ফিটনে ব্যবহৃত না হওয়া অন্যান্য তথ্যের সাথে সামঞ্জস্যপূর্ণ কিনা এবং মডেলটি যে শব্দগুলি ("ত্রুটির শর্তাবলী") শব্দটির মধ্যে রয়েছে তা কিনা সহজেই সনাক্তযোগ্য প্যাটার্নগুলি প্রদর্শন করে। মডেল এবং উপাত্তের মধ্যে স্বতন্ত্রতা বৈজ্ঞানিক উদ্দেশ্যে যে পদ্ধতিতে অপ্রতুল, সেই পদ্ধতিগুলি সম্পর্কে জানতে এবং মডেলটির বিস্তৃতি এবং পরিবর্তনগুলি অনুপ্রাণিত করার জন্য (বিভাগ ৪) ব্যবহার করা যেতে পারে।

Answer 10

আমি মনে করি আপনি মডেল অনিশ্চয়তার প্রভাব বর্ণনা করছেন - আপনি উদ্বেগ প্রকাশ করেছেন যে ডেটা আলোতে অজানা প্যারামিটার সম্পর্কে আপনার অনুমিতি মডেল, , পাশাপাশি ডেটা-র উপর শর্তযুক্ত । কি হবে যদি একটি অভাবনীয় মডেল? যদি সঙ্গে একই অজানা প্যারামিটার বিকল্প মডেলের অস্তিত্ব, , তাহলে আপনি Bayesian মডেল গড় সঙ্গে মডেল অনিশ্চয়তা একঘরে করতে যদিও এই হল বিবেচিত মডেলগুলির কার্যকরী এবং তাদের প্রিরিয়ার্স।$x$$d$$m$

$$p (x|d, m),$$ $m$$x$ $$p (x|d) = \sum_m p (x|d, m) p(m|d)$$

অন্যদিকে, প্যারামিটার এর সংজ্ঞাটি মডেল সাথে স্বতঃস্ফূর্তভাবে আবদ্ধ থাকে , যেমন কোনও বিকল্প নেই, এটি খুব কমই আশ্চর্যজনক যে সম্পর্কে সূত্রগুলি উপর শর্তাধীন । $x$$m$$x$$m$

Comments

মডেল গড় আমাদেরকে বাঁচাতে পারে না: সত্যিকারের মডেলটি কোনওভাবে ঝরঝরেভাবে আমাদের বৃহত মডেলের পরিসরের মধ্যে পড়ে তা ধরে নেওয়া বোকামি। মডেল তুলনার সাথে, আমরা নির্ধারণ করতে পারি যে কোন কোন মডেল ডেটার সেরা অ্যাকাউন্ট দেয়, তবে এটি কেবল একটি ভুল মডেল দেয় যা অন্যান্য মডেলের তুলনায় কম ভুল।

— গিল্লুম দেহেন

এটি আপনাকে অজানা পরিমাণ সম্পর্কে সূচনা / অনুমান তৈরি করতে সহায়তা করতে পারে যা মডেল অনিশ্চয়তাকে সহজাতভাবে অন্তর্ভুক্ত করে। যদিও এটি আপনার জন্য নতুন অনুমান আবিষ্কার করতে পারে না। যদি এমন কোনও পরিসংখ্যান ব্যবস্থা ছিল যে তথ্যগুলির আলোকে মডেলগুলি আবিষ্কার করেছিল, যেমন বিজ্ঞান অনেক সহজ হবে।

— নির্বিচারে

Answer 11

"ভুল-নির্দিষ্ট" মডেল কী তা আপনি কীভাবে সংজ্ঞায়িত করবেন? এর অর্থ কি মডেল ...

• "খারাপ" ভবিষ্যদ্বাণী করে?
• কিছু "সত্য মডেল" এর জন্য ফর্মটি নয় ? $p_{T}(x)$
• একটি পরামিতি অনুপস্থিত?
• "খারাপ" সিদ্ধান্তে বাড়ে?

যদি আপনি কোনও প্রদত্ত মডেলকে কীভাবে ভুলভাবে নির্দিষ্ট করা যায় সেগুলি সম্পর্কে ভাবেন, তবে আপনি কীভাবে আরও ভাল মডেল তৈরি করবেন সে সম্পর্কিত তথ্যগুলি অবশ্যই আপনাকে বের করতে হবে। আপনার মডেলটিতে অতিরিক্ত তথ্য অন্তর্ভুক্ত করুন!

যদি আপনি বেইসিয়ান কাঠামোয় একটি "মডেল" কী তা নিয়ে ভাবেন, আপনি সর্বদা একটি মডেল তৈরি করতে পারেন যা ভুল-নির্দিষ্ট করা যায় না। এটি করার একটি উপায় হ'ল আপনার বর্তমান মডেলটিতে আরও পরামিতি যুক্ত করা। আরও পরামিতি যুক্ত করে আপনি আপনার মডেলটিকে আরও নমনীয় এবং অভিযোজ্য করে তুলছেন। মেশিন লার্নিং পদ্ধতিগুলি এই ধারণার পুরো ব্যবহার করে। এটি "নিউরাল নেটওয়ার্ক" এবং "রিগ্রেশন ট্রি" এর মতো বিষয়গুলিকে অন্তর্নিহিত করে। আপনার যদিও প্রিয়ারদের নিয়ে চিন্তা করা দরকার (এমএল নিয়মিত করার মতো)।

উদাহরণস্বরূপ, আপনি আপনার উদাহরণ হিসাবে "রৈখিক মডেল" দিয়েছেন, সুতরাং আপনার কাছে ... যেখানে । এখন ধরা যাক আমরা প্রতিটি পর্যবেক্ষণের জন্য একটি নতুন প্যারামিটার যুক্ত করেছি .... যেখানে আগের মতো। কীভাবে এই জিনিসগুলি পরিবর্তন হয়? আপনি বলতে পারেন "মডেল 1 টি সঠিক হলে মডেল 1 টি নির্দিষ্ট করে দেওয়া হয়েছে"। তবে মডেল 2 অনুমান করা শক্ত, কারণ এতে আরও অনেকগুলি পরামিতি রয়েছে। এছাড়াও, তথ্যটি আমরা যা যত্ন করি তা যদি মডেল 1 "ভুল" হয় তবে তা কি বিবেচনা করে?
ই আমি ~ এন ( 0 , 1 ) মডেল 2:  এক্স আমি = θ + + σ ই

$$\text {model 1: }x_i =\theta + \sigma e_i$$ $e_i \sim N (0,1)$ ei∼N(0,1) $$\text {model 2: }x_i =\theta + \sigma \frac{e_i}{w_i}$$
$e_i \sim N (0,1)$$\theta$

যদি আপনি ধরে যে (একটি "মডেল 2 এ" এর মতো) তবে আমরা মূলত "সাধারণ ত্রুটি" এর পরিবর্তে "সাবধানী ত্রুটি" থাকি এবং মডেলটি ডেটাতে অপ্রত্যাশিতদের প্রত্যাশা করে। অতএব, আপনার মডেলটিতে পরামিতি যুক্ত করে এবং তাদের জন্য পূর্বনির্ধারণ চয়ন করে আমি একটি "আরও দৃ rob় মডেল" তৈরি করেছি। তবে মডেলটি এখনও ত্রুটির পদগুলিতে প্রতিসাম্য প্রত্যাশা করে। অন্য কোনও পূর্ব পছন্দ করে, এটির জন্যও এটির জন্য অ্যাকাউন্ট করা যেতে পারে ...$w_i\sim N (0,1)$

Comments

এবং আপনি যত বেশি প্যারামিটার ব্যবহার করবেন তত বেশি ডেটা আপনার প্রয়োজন। তাহলে তথ্য সম্পর্কে দুর্লভ হয়, তাহলে যোগ পরামিতি সাহায্য করবে না। নতুন ডেটা সহ, ডিজিপি আরও কম ধ্রুবক, তাই আপনাকে আবার আরও বেশি পরামিতি প্রয়োজন। আপনার মডেল যত বেশি সাধারণ (আরও পরামিতি), এটি "ভুল-নির্দিষ্ট" হওয়ার সম্ভাবনা তত কম, তবে আপনার আরও বেশি ডেটা অনুমান করতে হবে। বিপরীতে, আপনি আপনার মডেল সম্পর্কে যত কম জিজ্ঞাসা করবেন, আপনার প্রয়োজন কম ডেটা। তবে এর অর্থ বাস্তবে, শর্তাধীন মুহুর্তে পুরো উত্তরোত্তর বনাম বললে "ডান" কীভাবে সম্ভবত মডেল? f ( x $x$$f(x)$

— আইএমএ