সম্ভাবনা অনুপাত বনাম বয়েস ফ্যাক্টর

আমি বরং কোনও প্রদত্ত ঘটনার পক্ষে / বিপরীতে উদ্দেশ্যমূলক প্রমাণ উপস্থাপনের জন্য সম্ভাবনা অনুপাতের ব্যবহারের সাথে সম্পর্কিত সুসমাচার প্রচার করছি। যাইহোক, আমি সম্প্রতি শিখেছি যে বেয়েস ফ্যাক্টর বায়েসীয় পদ্ধতিগুলির প্রসঙ্গে একই ধরণের কাজ করে (অর্থাত্ত্বিক পূর্বে উদ্দেশ্য বায়েস ফ্যাক্টরের সাথে একত্রিত হয়ে একটি অবজেক্টিভ আপডেটেড সাবজেক্টিভ স্টেট অব বিশ্বাস অর্জন করা যায়)। আমি এখন সম্ভাবনার অনুপাত এবং একটি বেয়েস ফ্যাক্টরের মধ্যে গণ্য এবং দার্শনিক পার্থক্য বোঝার চেষ্টা করছি।

কম্পিউটেশনাল স্তরে, আমি বুঝতে পারি যে সম্ভাবনা অনুপাত সাধারণত প্রতিটি মডেলের স্বতন্ত্র পরামিতিগুলির জন্য সর্বাধিক সম্ভাবনা উপস্থাপন করে এমন সম্ভাবনা ব্যবহার করে গণনা করা হয় (হয় ক্রসের বৈধতা দ্বারা অনুমান করা হয় বা এআইসি ব্যবহার করে মডেল জটিলতায় শাস্তি দেওয়া হয়), সম্ভবত বেইস ফ্যাক্টরটি কোনওভাবে ব্যবহার করে সম্ভাবনাগুলি যা প্রতিটি মডেলের সম্পূর্ণ পরামিতি জায়গার (যেমন কেবল এমএলএই নয়) একত্রিত হওয়ার সম্ভাবনা উপস্থাপন করে। এই ইন্টিগ্রেশনটি সাধারণত কীভাবে সাধিত হয়? কেউ কি প্যারামিটার স্পেস থেকে হাজার হাজার (মিলিয়ন?) এলোমেলো নমুনাগুলির সম্ভাবনা গণনা করার চেষ্টা করছে, বা প্যারামিটারের জায়গা জুড়ে সম্ভাবনা একীভূত করার জন্য বিশ্লেষণ পদ্ধতি রয়েছে? অতিরিক্তভাবে, বেয়েস ফ্যাক্টর গণনা করার সময়,

এছাড়াও, সম্ভাবনা অনুপাত এবং বেয়েস ফ্যাক্টরের মধ্যে দার্শনিক পার্থক্যগুলি কীভাবে হয় (এনবি আমি সাধারণভাবে সম্ভাবনা অনুপাত এবং বেইসিয়ান পদ্ধতিগুলির মধ্যে দার্শনিক পার্থক্য সম্পর্কে জিজ্ঞাসা করছি না, তবে বিশেষভাবে উদ্দেশ্য প্রমাণের উপস্থাপনা হিসাবে বেয়েস ফ্যাক্টর)। সম্ভাবনার অনুপাতের তুলনায় কেউ কীভাবে বেয়েস ফ্যাক্টরের অর্থকে চিহ্নিত করে চলে যাবে?

likelihood-ratio bayes-factors

— মাইক লরেন্স
সূত্র

আপনি কি উইকিপিডিয়ায় উদাহরণটি

— হেনরি

চেন, শাও এবং ইব্রাহিমের (2000) বইটি বয়েস ফ্যাক্টরের মন্টে কার্লো গণনায় উত্সর্গীকৃত।

— শি'আন

উত্তর:

স্পষ্টতই বেইস ফ্যাক্টর কোনওভাবে এমন সম্ভাবনা ব্যবহার করে যা প্রতিটি পরামিতরের পুরো পরামিতি জায়গার (যেমন কেবল এমএলই তে নয়) একত্রিত হওয়ার সম্ভাবনা উপস্থাপন করে। এই ইন্টিগ্রেশনটি সাধারণত কীভাবে সাধিত হয়? কেউ কি প্যারামিটার স্পেস থেকে হাজার হাজার (মিলিয়ন?) এলোমেলো নমুনাগুলির সম্ভাবনা গণনা করার চেষ্টা করছে, বা প্যারামিটারের জায়গা জুড়ে সম্ভাবনা একীভূত করার জন্য বিশ্লেষণ পদ্ধতি রয়েছে?

প্রথমত, আপনি ডেটা এবং মডেল জন্য মতো কোনও শব্দ বিবেচনা করলে যে কোনও পরিস্থিতি সম্ভাবনার মডেল হিসাবে বিবেচিত হয় । এটি প্রায়শই কোনও পরিসংখ্যানগত বিশ্লেষণ, ঘন ঘন বিশেষজ্ঞ বা বায়েশিয়ান এর রুটি এবং মাখন হয় এবং আপনার বিশ্লেষণটি বোঝানোর জন্য এটিই সেই অংশটি হয় যা ভাল ফিট বা খারাপ ফিট। সুতরাং বেইস ফ্যাক্টরগুলি সম্ভাবনা অনুপাতের তুলনায় মৌলিকভাবে আলাদা কিছু করছে না। $P(D|M)$ $D$ $M$

বেয়েস ফ্যাক্টরগুলি তাদের সঠিক সেটিংয়ে রাখা গুরুত্বপূর্ণ। যখন আপনার দুটি মডেল থাকে, বলুন এবং আপনি সম্ভাবনাগুলি থেকে বৈষম্যগুলিতে রূপান্তর করেন, তখন বেইস ফ্যাক্টরগুলি পূর্ব বিশ্বাসের উপর অপারেটরের মতো কাজ করে:

P o s t e r i o r O d d s = B a y e s F a c t o r * P r i o r O d d s

$Posterior Odds = Bayes Factor * Prior Odds$

\frac{P (M_{1} | D)}{P (M_{2} | D)} = B . F . \times \frac{P (M_{1})}{P (M_{2})}

$\frac{P(M_{1}|D)}{P(M_{2}|D)} = B.F. \times \frac{P(M_{1})}{P(M_{2})}$

আসল পার্থক্য হ'ল সম্ভাবনা অনুপাতগুলি গণনা করার জন্য সস্তা এবং সাধারণভাবে ধারণাগতভাবে নির্দিষ্ট করা সহজ। এমএলইতে সম্ভাবনা যথাক্রমে বেইস ফ্যাক্টরের অঙ্ক এবং ডিনোমিনেটরের কেবলমাত্র একটি পয়েন্ট অনুমান। বেশিরভাগ ঘনঘনবাদী নির্মাণের মতো, এটিকে পাওয়া শক্ত যে পূর্বে এটি বৈষম্যমূলক বিশ্লেষণের একটি বিশেষ ক্ষেত্রে হিসাবে দেখা যেতে পারে। তবে বেশিরভাগ ক্ষেত্রেই এটি উত্থাপিত হয়েছিল কারণ এটি বিশ্লেষণাত্মকভাবে ট্র্যাকটেবল এবং গণনা করা সহজ (আনুমানিক বায়েশিয়ান গণনা পদ্ধতির উত্থানের আগে যুগে)।

গণনার মূল বিষয়টিতে, হ্যাঁ: আপনি প্রায় কোনও ব্যবহারিক আগ্রহের ক্ষেত্রেই বৃহত আকারের মন্টি কার্লো পদ্ধতির সাথে বয়েশিয়ান সেটিংয়ের বিভিন্ন সম্ভাবনা সংহতগুলির মূল্যায়ন করবেন will কিছু বিশিষ্ট সিমুলেটর রয়েছে যেমন জিএইচকে, আপনি নির্দিষ্ট বিতরণ অনুমান করে যদি কাজ করে এবং আপনি যদি এই অনুমানগুলি করেন তবে কখনও কখনও আপনি বিশ্লেষণাত্মকভাবে ট্র্যাকটেবল সমস্যা খুঁজে পেতে পারেন যার জন্য সম্পূর্ণ বিশ্লেষণযোগ্য বেয়েস উপাদান রয়েছে।

কিন্তু কেউ এগুলি ব্যবহার করে না; কোন কারণ নেই। অপ্টিমাইজড মেট্রোপলিস / গীবস স্যাম্পেলার এবং অন্যান্য এমসিসি পদ্ধতিতে, এই সমস্যাগুলিকে সম্পূর্ণ ডেটা চালিত উপায়ে পৌঁছাতে এবং সংখ্যার সাথে আপনার অখণ্ডগুলি গণনা করা সম্পূর্ণরূপে ট্র্যাকটেবল। প্রকৃতপক্ষে, কেউ প্রায়শই এই শ্রেণিবদ্ধভাবে কাজ করে এবং আরও তথ্য সংগ্রহের প্রক্রিয়া, অজানা পরীক্ষামূলক ডিজাইন ইত্যাদির সাথে সম্পর্কিত মেটা-প্রিয়ারদের উপর ফলাফলকে সংহত করে will

আমি এ সম্পর্কে আরও জানার জন্য বায়েশিয়ান ডেটা অ্যানালাইসিস বইটি সুপারিশ করছি । যদিও, লেখক, অ্যান্ড্রু গ্যালম্যান, বেয়েসের কারণগুলির জন্য খুব বেশি যত্ন নেবেন না বলে মনে হয় । একপাশে, আমি জেলম্যানের সাথে একমত। আপনি যদি বায়েশিয়ান যাচ্ছেন, তবে পুরো পশ্চাতটি ব্যবহার করুন। বায়েশিয়ান পদ্ধতিগুলির সাহায্যে মডেল নির্বাচন করা তাদের প্রতিবন্ধকতার মতো, কারণ মডেল নির্বাচনটি দুর্বল এবং বেশিরভাগই অনুপযুক্ত ফর্ম। আমি বরং মডেল নির্বাচনের উপর বিতরণগুলি জানতে পারতাম ... যদি আপনার প্রয়োজন হয় না তখন কে "মডেল বি এর চেয়ে মডেল এ তুলনায় ভাল" নামিয়ে রাখার বিষয়ে চিন্তা করে?

তদ্ব্যতীত, বেয়েস ফ্যাক্টরটি গণনা করার সময়, কোনও সম্ভাবনার অনুপাতের সাথে একইভাবে জটিলতার জন্য (সম্ভাবনার ক্রস-ভ্যালিটেড অনুমানের মাধ্যমে বা এআইসির মাধ্যমে বিশ্লেষণাত্মকভাবে) সংশোধন প্রয়োগ করে?

এটি বায়েশিয়ান পদ্ধতি সম্পর্কে একটি দুর্দান্ত জিনিস। প্রযুক্তিগত দিক থেকে বেইস ফ্যাক্টরগুলি স্বয়ংক্রিয়ভাবে মডেল জটিলতার জন্য অ্যাকাউন্ট করে। এবং একটি নমুনা আকার সহ যথাক্রমে ধরে নেওয়া মডেল জটিলতা এবং সহ দুটি মডেল, এবং সহ আপনি একটি সাধারণ করতে পারেন । $M_{1}$ $M_{2}$ $d_{1}$ $d_{2}$ $d_{1} < d_{2}$ $N$

তারপরে যদি সহ ফ্যাক্টর হয় , এই ধারণাটি অনুসারে যে true সত্য যে কেউ হিসাবে প্রমাণ করতে পারে , পন্থা একটি হার মডেলটির জটিলতা পার্থক্য উপর নির্ভর করে, এবং যে বায়েসের ফ্যাক্টর সহজ মডেল উপযোগী হয়। আরও সুনির্দিষ্টভাবে, আপনি উপরের সমস্ত অনুমানের অধীনে দেখাতে পারেন, $B_{1,2}$ $M_{1}$ $M_{1}$ $N\to\infty$ $B_{1,2}$ $\infty$

B_{1, 2} = O (N^{\frac{1}{2} (d_{2} - d_{1})})

$B_{1,2} = \mathcal{O}(N^{\frac{1}{2}(d_{2}-d_{1})})$

আমি সিলভিয়া ফ্রেহওয়ার্থ-স্নাত্তর রচিত ফিনিট মিকচার এবং মার্কভ সুইচিং মডেল বইয়ের আলোচনার সাথে এই বংশগতির সাথে পরিচিত, তবে সম্ভবত আরও সরাসরি পরিসংখ্যান সম্পর্কিত বিবরণ রয়েছে যা এটিকে অন্তর্নিহিত জ্ঞানতত্ত্বের দিকে আরও ডুব দেয়।

আমি এখানে এগুলি দেওয়ার জন্য যথেষ্ট পরিমাণে বিশদ জানি না, তবে আমি বিশ্বাস করি এটির এবং এটির আবিষ্কারের মধ্যে কিছুটা গভীর তাত্ত্বিক সংযোগ রয়েছে। কভার এবং থমাসের ইনফরমেশন থিওরি বইটি অন্তত ইঙ্গিত দিয়েছিল।

এছাড়াও, সম্ভাবনা অনুপাত এবং বেয়েস ফ্যাক্টরের মধ্যে দার্শনিক পার্থক্যগুলি কীভাবে হয় (এনবি আমি সাধারণভাবে সম্ভাবনা অনুপাত এবং বেইসিয়ান পদ্ধতিগুলির মধ্যে দার্শনিক পার্থক্য সম্পর্কে জিজ্ঞাসা করছি না, তবে বিশেষভাবে উদ্দেশ্য প্রমাণের উপস্থাপনা হিসাবে বেয়েস ফ্যাক্টর)। সম্ভাবনার অনুপাতের তুলনায় কেউ কীভাবে বেয়েস ফ্যাক্টরের অর্থকে চিহ্নিত করে চলে যাবে?

"বিশ্লেষণে" উইকিপিডিয়ার নিবন্ধের অধ্যায় এই (বিশেষ করে প্রমাণ স্কেল জেফ্রিস 'শক্তি দেখাচ্ছে চার্ট) আলোচনা একটি ভাল পেশা আছে।

যথারীতি, বায়েশিয়ান পদ্ধতি এবং ঘন ঘনবাদী পদ্ধতিগুলির (যা আপনি ইতিমধ্যে পরিচিত বলে মনে করছেন) এর মধ্যে মৌলিক পার্থক্যের বাইরে খুব বেশি দার্শনিক জিনিস নেই।

মূল বিষয় হ'ল সম্ভাবনা অনুপাত ডাচ বইয়ের অর্থে সুসংগত নয়। আপনি এমন পরিস্থিতিগুলি একত্র করতে পারেন যেখানে সম্ভাবনা অনুপাত থেকে মডেল নির্বাচন অনুমিতি হারানো বাজি গ্রহণ করতে নেতৃত্ব দেয়। বায়েশিয়ান পদ্ধতিটি সুসংগত, তবে এমন একটি পূর্ববর্তীতে কাজ করে যা অত্যন্ত দরিদ্র হতে পারে এবং তাকে বিষয়গতভাবে বেছে নিতে হবে। ট্রেড অফস .. ট্রেড অফস ...

এফডাব্লুআইডাব্লু, আমি মনে করি যে এই ধরণের ভারী প্যারামিটারাইজড মডেল নির্বাচন খুব ভাল দিকনির্দেশনা নয়। আমি বায়েশিয়ান পদ্ধতিগুলিকে পছন্দ করি এবং আমি এগুলি আরও শ্রেণিবদ্ধভাবে সংগঠিত করতে পছন্দ করি এবং আমি এটি যদি পুরোপুরি উত্তরোত্তর বিতরণকে কেন্দ্র করে নিই তবে এটি যদি নিরঙ্কুগতভাবে করা সম্ভব হয় তবে এটি করা সম্ভব। আমার মনে হয় বেয়েস ফ্যাক্টরগুলির কিছু ঝরঝরে গাণিতিক বৈশিষ্ট্য রয়েছে তবে আমি নিজে বয়েসিয়ান হিসাবে আমি সেগুলি দ্বারা প্রভাবিত হই না। তারা বাইয়েশিয়ান বিশ্লেষণের সত্যিকারের দরকারী অংশটি গোপন করে, এটি হ'ল এটি আপনাকে আপনার জেলাগুলিকে আলগা করে বাছা করার পরিবর্তে খোলাখুলিভাবে মোকাবেলা করতে বাধ্য করে এবং আপনাকে পুরো পোস্টারিয়রগুলিতে অনুমান করতে দেয়।

— এলী
সূত্র

"যথারীতি, বায়েশিয়ান পদ্ধতি এবং ঘন ঘনবাদী পদ্ধতিগুলির মধ্যে মূল পার্থক্য ছাড়িয়ে খুব বেশি দার্শনিক জিনিস নেই (যার সাথে আপনি ইতিমধ্যে পরিচিত বলে মনে করছেন।) মূল বিষয়টি সম্ভাবনা অনুপাতের পরীক্ষা ..." স্পষ্টতার এক বিন্দু, আমি করলাম না সম্ভাবনা অনুপাত পরীক্ষার সাথে বায়েসের কারণগুলির তুলনা করার ইচ্ছা নেই , তবে তাদের নিজস্ব সম্ভাবনা অনুপাতের সাথে কোনও ঘন ঘন / নাল অনুমানের পরীক্ষার ব্যাগেজ নেই।

— মাইক লরেন্স

উপরের আমার ব্যাখ্যা অনুসারে: এটি আমার কাছে মনে হয়েছে যে বিএফস এবং এলআরগুলির মধ্যে বড় পার্থক্য হ'ল জটিলতার জন্য প্রাক্তন স্বয়ং-সংশোধন করার জন্য তবে প্রচুর পরিমাণে গণনার প্রয়োজন রয়েছে যদিও পরেরটির তুলনায় অনেক কম গুন প্রয়োজন তবে সুস্পষ্ট সংশোধন প্রয়োজন মডেল জটিলতার জন্য (হয় এআইসি ব্যবহার করুন, যা গণনাগতভাবে দ্রুত, বা ক্রস-বৈধকরণ, যা আরও বেশি গণনামূলক ব্যয়বহুল)।

— মাইক লরেন্স

দুঃখিত, সম্ভাবনা অনুপাত পরীক্ষাটি একটি টাইপো ছিল , সম্ভবত সম্ভাবনা অনুপাত হওয়া উচিত ছিল। আমি মনে করি আপনি বেশিরভাগই সঠিক, তবে আপনি এখনও বৃহত্তর ছবিটি মিস করছেন যে সম্ভাবনা অনুপাত কেবলমাত্র একটি বিন্দু অনুমান। এটি কেবল তখনই কার্যকর হতে পারে যদি অন্তর্নিহিত সম্ভাব্যতা বিতরণগুলি এমএলই এর আশেপাশে একটি চতুষ্কোণ অনুমানের সাথে ভাল আচরণ করে .. বেইস ফ্যাক্টরগুলি এর মতো অ্যাসিম্পটোটিক বিতরণ বৈশিষ্ট্যগুলির যত্ন নেওয়ার প্রয়োজন নেই, সুতরাং এটি বিশেষত আরও সাধারণ। এটা তোলে subsumes MLE ভিত্তিক মডেল নির্বাচন অনুমান।

— এলী

এটিকে অন্য উপায়ে বলতে গেলে, এমএলইকে সর্বাধিক পোস্টেরিয়েরি এসিমেটর (এমএপি) হিসাবে দেখা যেতে পারে, কেবলমাত্র একটি অনুচিত পূর্বের সাথে (যখন ইন্টিগ্রেশন এটির জন্য অনুমতি দেয়), এবং এমএপি আরও জোরালো পয়েন্ট অনুমান যেহেতু এটি পূর্বের তথ্য অন্তর্ভুক্ত করে। এখন, কেবল পূর্ববর্তী মোডটি বাছাই করার পরিবর্তে ... কেন পূর্ববর্তী সমস্ত মানগুলি তাদের পূর্ব সম্ভাবনা অনুসারে একত্রিত করবেন না? এটি আপনাকে প্যারামিটারগুলির একটি বিন্দু অনুমান দেবে না, তবে বেশিরভাগ ক্ষেত্রে লোকেরা সত্যিই একটি বিন্দুর প্রাক্কলন চায় না। পরামিতি উপর ডিস্ট্রিবিউশন সবসময় বিন্দু অনুমান চেয়ে আরো উপযোগী যখন আপনি তাদের পেতে সামর্থ হয়

— এলী

সম্ভাবনা অনুপাত এবং বেয়েসের কারণগুলির মধ্যে পার্থক্য বোঝার জন্য, বেয়েসের কারণগুলির একটি মূল বৈশিষ্ট্য আরও বিশদে বিবেচনা করা দরকারী:

অন্তর্নিহিত মডেলগুলির জটিলতার জন্য বায়েস ফ্যাক্টরগুলি কীভাবে স্বয়ংক্রিয়ভাবে অ্যাকাউন্টে পরিচালনা করতে পারে?

এই প্রশ্নের একটি দৃষ্টিকোণ হ'ল ডিটারমিনিস্টিক আনুমানিক অনুমানের জন্য পদ্ধতিগুলি বিবেচনা করা। ভেরিয়েন্টাল বয়েস এমন একটি পদ্ধতি। এটি নাটকীয়ভাবে স্টোকাস্টিক অনুমানের গণ্য জটিলতা (যেমন, এমসিসিএম নমুনা) হ্রাস করতে পারে না। ভেরিয়েশনাল বেয়েস কীভাবে বেইস ফ্যাক্টরটি তৈরি করে তার একটি স্বজ্ঞাত ধারণা দেয় understanding

প্রথমে স্মরণ করুন যে দুটি প্রতিযোগী মডেলের মডেল প্রমাণগুলির উপর ভিত্তি করে একটি বয়েস ফ্যাক্টর,

\begin{aligned} B F_{1, 2} = \frac{p (data ∣ M_{1})}{p (data ∣ M_{2})}, \end{aligned}

$\begin{align} BF_{1,2} = \frac{p(\textrm{data} \mid M_1)}{p(\textrm{data} \mid M_2)}, \end{align}$

যেখানে পৃথক মডেল প্রমাণগুলি জটিল অবিচ্ছেদ্য দ্বারা গণনা করতে হবে:

\begin{aligned} p (data ∣ M_{i}) = \int p (data ∣ θ, M_{i}) p (θ ∣ M_{i}) d θ \end{aligned}

$\begin{align} p(\textrm{data} \mid M_i) = \int p(\textrm{data} \mid \theta,M_i ) \ p(\theta \mid M_i) \ \textrm{d}\theta \end{align}$

এই অবিচ্ছেদ্য শুধুমাত্র একটি বেইস ফ্যাক্টর গণনা করার প্রয়োজন হয় না; এটি প্যারামিটারগুলিতে নিজেরাই অনুমানের জন্য প্রয়োজন, অর্থাত্, যখন । $p(\theta \mid \textrm{data}, M_i)$

একটি নির্দিষ্ট-রূপের বৈকল্পিক বায়েস পদ্ধতির শর্তসাপেক্ষ পোস্টেরিয়ারগুলি (যেমন, গাউসীয় অনুমান) সম্পর্কে বিতরণীয় ধারণা তৈরি করে এই সমস্যাটিকে মোকাবেলা করা হয়েছে। এটি একটি জটিল ইন্টিগ্রেশন সমস্যাটিকে আরও সহজতর অপ্টিমাইজেশান সমস্যায় রূপান্তরিত করে: একটি আনুমানিক ঘনত্বের মুহুর্তগুলি খুঁজে পাওয়ার সমস্যা যা সত্যের সাথে সর্বাধিক অনুরূপ, তবে অজানা, উত্তর । $q(\theta)$ $p(\theta \mid \textrm{data},M_i)$

ভেরিয়েন্টাল ক্যালকুলাস আমাদের বলে যে তথাকথিত নেতিবাচক মুক্ত-শক্তি , যা লগ মডেলের প্রমাণগুলির সাথে সরাসরি সম্পর্কিত, সর্বাধিক করে এটি অর্জন করা যেতে পারে : $\mathcal{F}$

\begin{aligned} F = log p (data ∣ M_{i}) - KL [q (θ) | | p (θ ∣ data, M_{i})] \end{aligned}

$\begin{align} \mathcal{F} = \textrm{log} \; p(\textrm{data} \mid M_i) - \textrm{KL}\left[q(\theta) \; || \; p(\theta \mid \textrm{data},M_i) \right] \end{align}$

এ থেকে আপনি দেখতে পাচ্ছেন যে theণাত্মক মুক্ত-শক্তিকে সর্বাধিক করা কেবলমাত্র আমাদেরকে আনুমানিক পোস্টেরিয়র । যেহেতু কুলব্যাক-লেবলার ডাইভারজেন্স অ-নেতিবাচক, নিজেও (লগ) মডেল প্রমাণগুলির উপর একটি নিম্ন সীমা সরবরাহ করে । $q(\theta) \approx p(\theta \mid \textrm{data},M_i)$ $\mathcal{F}$

আমরা এখন কোনও বেয়েস ফ্যাক্টর কীভাবে স্বয়ংক্রিয়ভাবে ফিট থাকা এবং জড়িত মডেলগুলির জটিলতার ভারসাম্য বজায় রাখার মূল প্রশ্নে ফিরে যেতে পারি। এটি দেখা গেছে যে নেতিবাচক মুক্ত-শক্তি নিম্নরূপে আবারও লেখা যেতে পারে:

\begin{aligned} F = {⟨ p (data ∣ θ, M_{i}) ⟩}_{q} - KL [q (θ) | | p (θ ∣ M_{i})] \end{aligned}

$\begin{align} \mathcal{F} = \left\langle p(\textrm{data} \mid \theta,M_i) \right\rangle_q - \textrm{KL}\left[ q(\theta) \; || \; p(\theta \mid M_i) \right] \end{align}$

প্রথম শব্দটি আনুমানিক উত্তরের অধীনে প্রত্যাশিত ডেটার লগ-সম্ভাবনা; এটি মডেলের ফিটের (বা যথার্থতা ) উপকারের প্রতিনিধিত্ব করে । দ্বিতীয় শব্দটি হ'ল আনুমানিক উত্তরোত্তর এবং পূর্ববর্তীগুলির মধ্যে কেএল বিচ্যুতি; এটি মডেলটির জটিলতার প্রতিনিধিত্ব করে , একটি সহজ মডেল এমন একটি যা আমাদের পূর্ব বিশ্বাসগুলির সাথে আরও সামঞ্জস্যপূর্ণ, বা এই দৃশ্যের অধীনে যে কোনও সরল মডেল ডেটা সামঞ্জস্য করার জন্য প্রসারিত করতে হবে না।

লগ মডেলের প্রমাণগুলির সাথে মুক্ত-শক্তির সান্নিধ্য প্রমাণ করে যে মডেল প্রমাণগুলি ডেটা মডেলিংয়ের মধ্যে (যেমন, উপযুক্ততার ভালতা) এবং আমাদের পূর্বের (যেমন, সরলতা বা নেতিবাচক জটিলতা) এর সাথে সামঞ্জস্য রেখে একটি বাণিজ্য বন্ধকে অন্তর্ভুক্ত করে।

বায়েস ফ্যাক্টর (সম্ভাবনা অনুপাতের বিপরীতে) এভাবে বলা হয় যে দুটি প্রতিযোগী মডেলের মধ্যে কোনটি তথ্যের একটি সহজ তবে সঠিক ব্যাখ্যা দেওয়ার ক্ষেত্রে ভাল ।

— কে ব্রোডারসেন
সূত্র