বায়েশিয়ান এ / বি পরীক্ষা কখন শেষ করতে হবে?

Question

আমি হ্যাকারস এবং বায়েশিয়ান এ / বি পরীক্ষার সম্ভাব্য প্রোগ্রামিংয়ের মতো বায়েশিয়ান পদ্ধতিতে এ / বি পরীক্ষার চেষ্টা করছি । উভয় নিবন্ধই ধরে নিয়েছে যে সিদ্ধান্ত নির্ধারণকারী কোন ভেরিয়েন্টগুলি কোনও কোনও মানদণ্ডের সম্ভাবনার উপর ভিত্তি করে আরও ভাল, যেমন , সুতরাং আরও ভাল। এই সম্ভাবনাটি এ থেকে কোনও সিদ্ধান্ত নেওয়ার জন্য পর্যাপ্ত পরিমাণে ডেটা ছিল কিনা তা নিয়ে কোনও তথ্য সরবরাহ করে না। সুতরাং, এটি আমার কাছে অস্পষ্ট, কখন পরীক্ষা বন্ধ করবেন।$P(p_A > p_B) = 0.97$$A$

ধরা যাক, দুটি বাইনারি আরভি রয়েছে, এবং , এবং আমি অনুমান করতে চাই যে এটি সম্ভবত এবং এবং এর পর্যবেক্ষণের ভিত্তিতে রয়েছে । অতিরিক্ত হিসাবে, ধরুন যে এবং পোস্টারিয়র বিটা-বিতরণ করা হয়েছে।$A$$B$$p_A > p_B$$\frac{p_A - p_B}{p_A} > 5\%$$A$$B$$p_A$$p_B$

যেহেতু আমি for জন্য পরামিতি এবং পারি, তাই আমি পোস্টারিয়ারগুলি নমুনা করতে পারি এবং অনুমান করতে পারি । অজগর উদাহরণ:$\alpha, \beta$$p_A\,|\,\text{data}$$p_B\,|\,\text{data}$$P(p_A > p_B\ |\ \text{data})$

import numpy as np

samples = {'A': np.random.beta(alpha1, beta1, 1000),
           'B': np.random.beta(alpha2, beta2, 1000)}
p = np.mean(samples['A'] > samples['B'])

আমি পেতে পারি, উদাহরণস্বরূপ, । এখন আমি মতো কিছু পেতে চাই ।$P(p_A > p_B) = 0.95$$P(p_A > p_B\ |\ \text{data}) = 0.95 \pm 0.03$

আমি বিশ্বাসযোগ্য ব্যবধান এবং বেয়েস ফ্যাক্টরগুলি নিয়ে গবেষণা করেছি, তবে তারা যদি প্রযোজ্য হয় তবে এই ক্ষেত্রে কীভাবে তাদের গণনা করা যায় তা বুঝতে পারি না। আমি কীভাবে এই অতিরিক্ত পরিসংখ্যানগুলি গণনা করতে পারি যাতে আমার একটি ভাল সমাপ্তির মানদণ্ড থাকে?

Comments

এ সম্পর্কে একটি ভাল নিবন্ধ, গণনার সহ একটি উদাহরণের জন্য পরিশিষ্ট পরীক্ষা করুন ... সমর্থন

— ফ্যাবিও বেলট্রামিনী

Answer 1

আপনি এই উদাহরণটি উল্লেখ করেছেন বলে আমি আনন্দিত, আমি যে প্রকল্পে কাজ করছি সেটি বেয়েসিয়ান এ / বি পরীক্ষার উপর একটি সম্পূর্ণ অধ্যায় লিখছে।

আমরা দুটি পরিমাণে আগ্রহী: এবং "বৃদ্ধি" এর কিছু পরিমাপ। আমি প্রথমে পরিমাণ নিয়ে আলোচনা করব ।P ( p A > p $P( p_A > p_B \;|\; data)$$P( p_A > p_B \;|\; data)$

কোনও ত্রুটির সীমা নেই , এটি সত্য পরিমাণ। এটি "পূর্ববর্তীটির অর্থ কী?" বলার মতো, এখানে কেবল 1 টি অর্থ আছে এবং আমরা সমস্ত নমুনার গড় গ্রহণ করে এটি গণনা করতে পারি (আমি কোনও মন্টি কার্লো ত্রুটি উপেক্ষা করছি, কারণ তারা হ্রাস পেতে পারে) আরও নমুনা দিয়ে তুচ্ছ করা)। আমি মনে করি আপনি অজানা পরিমাণ মিশ্রণ করছেন, যেখানে আমরা "+ - 3%", এবং উত্তর-গণিত পরিমাণের মতো কিছু বলতে পারি।$P( p_A > p_B \;|\; \text{data})$

আমি যা বলছি তা হ'ল নিশ্চিত: আপনার পর্যবেক্ষণ করা ডেটা এবং প্রিরিয়ারদের দেওয়া, এটি আপনার উপসংহার।$P(p_A > p_B \;|\; \text{data}) = 0.95$

মনে রাখবেন যে আমরা দ্রুত : এটির জন্য পর্যাপ্ত পরিমাণে পৃথক এবং কেবলমাত্র মাঝারি পর্যবেক্ষণের প্রয়োজন । বি এর চেয়ে এ কী বৃদ্ধি পেয়েছে তা পরিমাপ করা অনেক শক্ত এবং আরও আকর্ষণীয় (এবং প্রায়শই এটি A / B পরীক্ষার লক্ষ্য: আমরা রূপান্তর কতটা বাড়িয়ে দিচ্ছি)। আপনি উল্লেখ করেছেন যে 5% - আপনি কতটা নিশ্চিত?পি এ পি বি পি এ - পি $p_A > p_B$$p_A$$p_B$$\frac{p_A - p_B}{p_B} >$

মনে রাখবেন যে হ'ল বুলিয়ান এবং তাই পরিমাপ করা সহজ, অবশ্যই বুলিয়ান নয়। এটি সম্ভাবনার একটি বিতরণ:পি এ - পি $p_A > p_B$$\frac{p_A - p_B}{p_B}$

আরও বেশি করে ডেটা অর্জিত হওয়ার সাথে সাথে এই বিতরণটি প্রকৃত আপেক্ষিক বৃদ্ধিতে রূপান্তরিত হয়, কেউ বলতে পারেন যে বিতরণ স্থিতিশীল হয়। আমি এখানেই পরীক্ষার সমাপ্তি সম্পর্কে চিন্তাভাবনা করার পরামর্শ দিই। এই বিতরণটি একবার "শান্ত" হয়ে যায় বলে মনে হয় এবং আমরা বৃদ্ধি সম্পর্কে আত্মবিশ্বাস বোধ করতে পারি, তারপরে পরীক্ষাটি বন্ধ করে দেব।

Comments

জবাবের জন্য ধন্যবাদ! শীঘ্রই নতুন অধ্যায়টি দেখার অপেক্ষায় রইলাম। আপাতত, আমি এর নমুনা বৈকল্পিকতা বিবেচনা করছি এবং শূন্যের কাছে পরীক্ষাটি সমাপ্ত করছি। $\frac{p_A - p_B}{p_A}$

— বোগদান কুলিনিচ

আরে @ ক্যাম.ড্যাভিডসন.পিলন, আপনার উত্তরের জন্য ধন্যবাদ। আমি সম্ভাব্যতা দেওয়ার বিষয়ে এখনও বিভ্রান্ত হয়েছি যেমন: "সম্ভাবনাটি হ'ল বি এক্স এর চেয়ে 10% ভাল" আমি 2 টি বিতরণ তৈরি করেছি; একটি অন্যের তুলনায় 10% ভাল, এবং বিশাল এন মান ব্যবহার করে, তাই ডিফ (এ / বি -1) এর 10% গড় সহ একটি সাধারণ-মত বিতরণ রয়েছে। সুতরাং (ডিফ>> দশ) .মান () ~ 50% প্রদান করে, তবে এটি 100% হওয়া উচিত নয়?

— CanCeylan

@ ক্যানকেলান আপনার কি ভাগ করার কোড আছে? আপনি কীভাবে

— বিতরণগুলি

Answer 2

আমি কোনও বয়েশিয়ান এ / বি পরীক্ষা বন্ধ করার উপায় নিয়ে পরীক্ষা-নিরীক্ষা করেছি এবং আপনি ঠিক বলেছেন - চারদিকে গুগলিংয়ের মতো সুস্পষ্ট উপায় নেই। সবচেয়ে ভালো পদ্ধতি আমি একটি স্পষ্টতা ভিত্তিক পদ্ধতি, এই উপর ভিত্তি করে: http://doingbayesiandataanalysis.blogspot.com/2013/11/optional-stopping-in-data-collection-p.html । যাইহোক, আমি এর আশেপাশে খুব বেশি গাণিতিক সাহিত্যের সন্ধান পাইনি, এখনই এটি কেবল একটি ভাল ধর্মতাত্ত্বিক।

আমি দেখতে পেয়েছি যে কিছু পরীক্ষার যথাযথতা ধরে রাখার জন্য আমার পরীক্ষাগুলি আরও দীর্ঘায়িত হওয়া দরকার, এটি আরও স্বজ্ঞাত এবং আপনি বিতরণের জন্য একটি উদ্দেশ্যকে "শান্ত" করার জন্য সময় দিচ্ছেন উপায়, অর্থাত্ চোখ বোলিংয়ের চেয়ে বরং।$P(A > B | data)$

Answer 3

বায়সিয়ান এ / বি পরীক্ষায় সিদ্ধান্ত নেওয়ার জন্য দুটি প্রধান পন্থা বলে মনে হচ্ছে। প্রথমটি ইন্ডিয়ানা বিশ্ববিদ্যালয় (কে। ক্রশচেকে, বায়সিয়ান অনুমানের টি টেস্ট, পরীক্ষামূলক মনোবিজ্ঞান জার্নাল: জেনারেল, 142, 573 (2013)) এর জন ক্রুশকের একটি গবেষণাপত্রের উপর ভিত্তি করে তৈরি হয়েছে। এই কাগজে ব্যবহৃত সিদ্ধান্তের নিয়মটি অঞ্চলটির ব্যবহারিক সমতা (আরওপিই) এর ধারণার ভিত্তিতে তৈরি।

আর সম্ভাবনা হ'ল প্রত্যাশিত ক্ষতির ধারণাটি ব্যবহার করা। এটি ক্রিস স্টুচিয়ো (সি। স্টুচিও, ভিডাব্লুও-তে বায়েসিয়ান এ / বি টেস্টিং) প্রস্তাব করেছে। এটি আমি বিবেচনা করব অন্য পদ্ধতির।

ক্যাম.ড্যাভিডসন দ্বারা প্রস্তাবিত পাইলন অনেক করে এবং এটি আরওপি পদ্ধতিতে ভাল ফিট করে। আরওপিই পদ্ধতিটি ব্যবহারের ক্ষেত্রে নিয়ম দেওয়ার অতিরিক্ত সুবিধা রয়েছে যখন পরীক্ষাটি অনির্বাচিত হয় (কেবল যখন "এ" বা "বি" রূপগুলি বিজয়ী হিসাবে ঘোষণা করা যায়)। $(p_A - p_B) / p_A$

আপনি এই ব্লগ পোস্টে আরও খুঁজে পেতে পারেন: বায়েশিয়ান এ / বি পরীক্ষা: একটি ধাপে ধাপে গাইড । এটিতে পাইথন কোড স্নিপেটগুলিও অন্তর্ভুক্ত রয়েছে যা বেশিরভাগ গিথুবে হোস্ট করা পাইথন প্রকল্পের ভিত্তিতে থাকে ।