আমি এ / বি টেস্টিং সিস্টেমে কাজ করা একটি সফটওয়্যার বিকাশকারী। আমার কোনও শক্ত পরিসংখ্যানের পটভূমি নেই তবে গত কয়েকমাস ধরে জ্ঞান বাছাই করছি।
একটি সাধারণ পরীক্ষার দৃশ্যে কোনও ওয়েবসাইটের দুটি URL টি তুলনা করা জড়িত। একজন দর্শনার্থী পরিদর্শন করেন LANDING_URL
এবং তারপরে এলোমেলোভাবে হয় হয় হয় URL_CONTROL
বা অন্যটিতে প্রেরণ করা হয় URL_EXPERIMENTAL
। একজন দর্শনার্থী একটি নমুনা গঠন করে, এবং যখন দর্শক সেই সাইটে কিছু পছন্দসই কর্ম সম্পাদন করেন তখন একটি বিজয় শর্ত অর্জন করা হয়। এটি রূপান্তর গঠন করে এবং রূপান্তর হারের হার হ'ল রূপান্তর হার (সাধারণত শতাংশ হিসাবে প্রকাশিত হয়)। প্রদত্ত ইউআরএলটির জন্য একটি সাধারণ রূপান্তর হার 0.01% থেকে 0.08% এর রাজত্বের মধ্যে কিছু। নতুন ইউআরএল কীভাবে পুরানো ইউআরএলগুলির তুলনায় তুলনা করে তা নির্ধারণ করার জন্য আমরা পরীক্ষা চালাই। তাহলে URL_EXPERIMENTAL
সুখ্যাতি দেখানো URL_CONTROL
, আমরা প্রতিস্থাপন URL_CONTROL
সঙ্গে URL_EXPERIMENTAL
।
আমরা সাধারণ অনুমান পরীক্ষা করার কৌশলগুলি ব্যবহার করে একটি সিস্টেম তৈরি করেছি। আমি এই সিস্টেমটি বিকাশ করতে এখানে অন্য ক্রসভ্যালিটেড প্রশ্নের উত্তরগুলি ব্যবহার করেছি ।
নিম্নলিখিত হিসাবে একটি পরীক্ষা সেট আপ করা হয়:
- রূপান্তরের হার অনুমান
CRE_CONTROL
এরURL_CONTROL
ঐতিহাসিক তথ্য ব্যবহার করে গণনা করা হয়। - পছন্দসই লক্ষ্য রূপান্তরের হার
CRE_EXPERIMENTAL
এরURL_EXPERIMENTAL
সেট। - 0.95 এর তাত্পর্যপূর্ণ স্তরটি সাধারণত ব্যবহৃত হয়।
- 0.8 এর শক্তি সাধারণত ব্যবহৃত হয়।
একসাথে, এই সমস্ত মানগুলি পছন্দসই নমুনার আকার গণনা করতে ব্যবহৃত হয়। আমি power.prop.test
এই নমুনা আকার পেতে আর ফাংশন ব্যবহার করছি ।
সমস্ত নমুনা সংগ্রহ না করা পর্যন্ত একটি পরীক্ষা চলবে। এই মুহুর্তে, আত্মবিশ্বাসের জন্য অন্তর অন্তর্ভূক্ত হয় CR_CONTROL
এবং CR_EXPERIMENTAL
গণনা করা হয়। যদি তারা ওভারল্যাপ না করে, তবে বিজয়ীকে 0.95 এর তাত্পর্যপূর্ণ স্তর এবং 0.8 এর শক্তি দিয়ে ঘোষণা করা যেতে পারে।
আমাদের পরীক্ষার ব্যবহারকারীদের দুটি প্রধান উদ্বেগ রয়েছে, যদিও:
১. যদি, পরীক্ষার সময় কোনও পর্যায়ে, পরিষ্কার বিজয়ী দেখানোর জন্য পর্যাপ্ত নমুনা সংগ্রহ করা হয়, তবে পরীক্ষা বন্ধ করা যাবে না?
২. পরীক্ষা শেষে যদি কোনও বিজয়ী ঘোষিত না হয়, তবে আমরা কী বিজয়ীর সন্ধানের জন্য পর্যাপ্ত নমুনা সংগ্রহ করতে পারি কিনা তা পরীক্ষা চালানোর জন্য আরও দীর্ঘ সময় চালাতে পারি?
এটি লক্ষ করা উচিত যে প্রচুর বাণিজ্যিক সরঞ্জাম বিদ্যমান রয়েছে যা তাদের ব্যবহারকারীদের আমাদের নিজস্ব ব্যবহারকারীদের যা ইচ্ছা তা করতে দেয়। আমি পড়েছি যে উপরেরগুলির সাথে অনেকগুলি ত্রুটি রয়েছে, তবে আমি একটি থামানো নিয়মের ধারণাও পেয়েছি এবং আমাদের নিজস্ব সিস্টেমে এই জাতীয় নিয়ম ব্যবহারের সম্ভাবনাটি অনুসন্ধান করতে চাই।
এখানে আমরা দুটি বিষয় বিবেচনা করতে চাই:
1. ব্যবহার করে power.prop.test
, বর্তমান পরিমাপক রূপান্তর হারকে বর্তমানের নমুনার সংখ্যার সাথে তুলনা করুন এবং বিজয়ী ঘোষণার জন্য পর্যাপ্ত নমুনা সংগ্রহ করা হয়েছে কিনা তা দেখুন।
উদাহরণ: আমাদের সিস্টেমে নিম্নলিখিত আচরণ বিদ্যমান কিনা তা দেখার জন্য একটি পরীক্ষা করা হয়েছে:
CRE_CONTROL
: 0.1CRE_EXPERIMENTAL
: 0.1 * 1.3- এই পরামিতিগুলির সাথে, নমুনার আকার
N
1774।
যাইহোক, পরীক্ষার অগ্রগতি হিসাবে এবং 325 নমুনায় পৌঁছেছে, CRM_CONTROL
(নিয়ন্ত্রণের জন্য পরিমাপিত রূপান্তর হার) 0.08 এবং CRM_EXPERIMENTAL
0.15। power.prop.test
এই রূপান্তর হারে চালিত হয় এবং N
এটি 325 পাওয়া যায় CRM_EXPERIMENTAL
। বিজয়ী হিসাবে ঘোষণার জন্য প্রয়োজনীয় নমুনার সংখ্যাটি ঠিক ! এই মুহুর্তে এটি আমাদের আশা যে পরীক্ষাটি শেষ হতে পারে। একইভাবে, যদি পরীক্ষাটি 1774 টি নমুনায় পৌঁছায় তবে কোনও বিজয়ী পাওয়া যায় নি তবে এটি 2122 নমুনায় পৌঁছে যা CRM_CONTROL
0.1 এবং CRM_EXPERIMENTAL
0.128 এর ফলাফলের পক্ষে যথেষ্ট যেখানে ফলাফল বিজয়ী হিসাবে ঘোষণা করা যেতে পারে।
একটি সম্পর্কিত প্রশ্নে ব্যবহারকারীরা পরামর্শ দিয়েছিলেন যে প্রারম্ভিক স্টপগুলিতে কম নমুনা থাকা এবং অনুমানের পক্ষপাতের ঝুঁকির কারণে এবং টাইপ 1 এবং টাইপ II ত্রুটির সংখ্যা বৃদ্ধি পাওয়ার কারণে এই ধরনের পরীক্ষা কম বিশ্বাসযোগ্য । এই বিরতি নিয়ম কাজ করার কোন উপায় আছে? এটি আমাদের পছন্দের পদ্ধতির কারণ এটি আমাদের জন্য প্রোগ্রামিংয়ের সময় কম করে। সম্ভবত এই স্টপিং নিয়মটি এমন এক ধরণের সংখ্যক স্কোর বা স্কোর প্রদানের মাধ্যমে কাজ করতে পারে যা পরীক্ষার বিশ্বাসযোগ্যতা পরিমাপ করে তা কি তাড়াতাড়ি বন্ধ করা উচিত?
২. ক্রমিক বিশ্লেষণ বা এসপিআরটি ব্যবহার করে ।
পরীক্ষার এই পদ্ধতিগুলি ঠিক আমাদের নিজেদের মধ্যে যে পরিস্থিতিটি খুঁজে পেয়েছে তার জন্যই ডিজাইন করা হয়েছে: কীভাবে আমাদের ব্যবহারকারীরা পরীক্ষা শুরু করতে এবং এমনভাবে শেষ করতে পারেন যাতে তারা পরীক্ষায় অতিরিক্ত সময় নষ্ট না করে? হয় খুব দীর্ঘ পরীক্ষা চালানো হয়, বা বিভিন্ন পরামিতি দিয়ে পরীক্ষা শুরু করতে হয়।
উপরোক্ত দুটি পদ্ধতির মধ্যে আমি এসপিআরটিকে সমর্থন করি কারণ গণিতটি আমার পক্ষে উপলব্ধি করা কিছুটা সহজ এবং কারণ দেখে মনে হচ্ছে এটি প্রোগ্রাম করা আরও সহজ হতে পারে। তবে এই প্রসঙ্গে সম্ভাব্যতা ফাংশনটি কীভাবে ব্যবহার করবেন তা আমি বুঝতে পারি না । যদি কেউ কীভাবে সম্ভাবনা-অনুপাতের গণনা করার সম্ভাবনা-অনুপাতের সংখ্যক যোগফলের উদাহরণ তৈরি করতে পারে এবং এমন একটি পরিস্থিতি চিত্রিত উদাহরণের মধ্য দিয়ে চালিয়ে যেতে পারে যখন কেউ পর্যবেক্ষণ অব্যাহত রাখবে, যখন কেউ নাল অনুমান এবং বিকল্প অনুমানকে গ্রহণ করবে, এটি আমাদের এসপিআরটি যাওয়ার সঠিক উপায় কিনা তা নির্ধারণে সহায়তা করবে।