আমি বছর পূর্বে পরিসংখ্যান অধ্যয়ন করেছি এবং এগুলি সব ভুলে গিয়েছি তাই এগুলি নির্দিষ্ট কোনও কিছুর চেয়ে সাধারণ ধারণাগত প্রশ্নের মতো মনে হতে পারে তবে এখানে আমার সমস্যা।
আমি ইউএক্স ডিজাইনার হিসাবে একটি ই-বাণিজ্য ওয়েবসাইটের জন্য কাজ করি। আমাদের একটি A / B পরীক্ষার কাঠামো রয়েছে যা কয়েক বছর আগে নির্মিত হয়েছিল যা আমি এটি সম্পর্কে সন্দেহ করতে শুরু করি।
আমরা আমাদের যে সকল সিদ্ধান্তের বিষয়ে মেট্রিক করি তা রূপান্তর হিসাবে পরিচিত, এবং এটি সাইটটি পরিদর্শনকারী, শতকরা কিছু কেনার সমাপ্তির শতাংশের উপর ভিত্তি করে তৈরি।
সুতরাং আমরা কিনতে বোতামের রঙ সবুজ থেকে নীল করে পরীক্ষা করতে চাই।
নিয়ন্ত্রণটি হ'ল আমাদের ইতিমধ্যে যা আছে, সবুজ বোতামটি যেখানে আমরা জানি আমাদের গড় রূপান্তর হারটি কী। পরীক্ষাটি নীল বোতামটির সাথে সবুজ বোতামটি প্রতিস্থাপন করছে।
আমরা সম্মতি দিচ্ছি যে 95% তাত্পর্যটি আমরা যে আত্মবিশ্বাসের স্তরের সাথে সন্তুষ্ট তা হ'ল এবং আমরা পরীক্ষাটি চালু করি, এটি চালিয়ে যান।
ব্যবহারকারীরা যখন সাইটটিতে যান, তখন পর্দার আড়ালে একটি 50/50 সুযোগ থাকে তাদের নিয়ন্ত্রণ সংস্করণে (সবুজ বোতাম) বনাম পরীক্ষার সংস্করণ (নীল বোতাম) এ প্রেরণ করা হবে।
Days দিন পর পরীক্ষার দিকে তাকানোর পরে, আমি দেখতে পাচ্ছি যে রূপান্তরটি ১০০০% এর নমুনা আকারের সাথে 3000 (1500 নিয়ন্ত্রণে চলেছে, 1500 পরীক্ষায় যাচ্ছে) এবং 99.2% এর একটি পরিসংখ্যানিক তাত্পর্য রয়েছে। দুর্দান্ত আমি মনে করি।
পরীক্ষা চালিয়ে যায়, নমুনার আকারটি বৃদ্ধি পায় এবং তারপরে আমি 98.1% এর তাত্পর্য সহ রূপান্তরিতকরণে + 9% বৃদ্ধি দেখতে পাচ্ছি। ঠিক আছে, পরীক্ষা চালিয়ে যাওয়া চালিয়ে যান এবং এখন পরীক্ষাটি ৯২% এর তাত্পর্যপূর্ণ তাত্পর্য সহ রূপান্তরকরণের মধ্যে মাত্র 5% লিফট দেখায়, ফ্রেমওয়ার্কটি আমাকে বলেছে যে 95% তাত্পর্য অর্জনের আগে আমাকে আরও 4600 নমুনা দরকার?
তাহলে কোন পর্যায়ে পরীক্ষাটি শেষ?
যদি আমি এমন কোনও ক্লিনিকাল ট্রায়াল প্রক্রিয়া বলার কথা ভাবি যেখানে আপনি নমুনার আকারের বিষয়ে আগেই সম্মত হন এবং পরীক্ষাটি শেষ করার পরে আপনি যে পরিমাণ মেট্রিকের 99% তাত্পর্যপূর্ণ হন তার 10% উন্নতি দেখতে পান, তবে সিদ্ধান্ত নেওয়া হয় যে সেই ড্রাগটি তখন বাজারে যায়। তবে তারা যদি 4000 জনের উপর এই পরীক্ষাটি করে থাকেন এবং তারা যদি মেট্রিকের 5% উন্নতি দেখতে পান কেবলমাত্র 92% তাৎপর্যপূর্ণ হয় তবে সেই ড্রাগটিকে বাজারে যেতে দেওয়া হবে না।
আমরা কি নমুনা আকারের আগাম একমত হতে পারি এবং নমুনার আকারটি পৌঁছে দেওয়ার পরে যদি থামানো উচিত এবং পরীক্ষাটি বন্ধ করে দেওয়ার মুহুর্তে তাত্পর্যটি 99% হয় তবে ফলাফলগুলি নিয়ে খুশি হওয়া উচিত?