নিরাপদে নিরাপদভাবে এ / বি পরীক্ষার জন্য নমুনার আকার নির্ধারণ করে

আমি একটি সফটওয়্যার ইঞ্জিনিয়ার যা একটি এ / বি পরীক্ষার সরঞ্জাম তৈরি করতে চাইছি । আমার কোনও শক্ত পরিসংখ্যানের পটভূমি নেই তবে গত কয়েকদিন ধরে বেশ কিছুটা পড়ছি।

আমি এখানে বর্ণিত পদ্ধতি অনুসরণ করছি এবং নীচের নীচে প্রাসঙ্গিক পয়েন্টগুলি সংক্ষিপ্ত করব।

এই সরঞ্জামটি ডিজাইনার এবং ডোমেন বিশেষজ্ঞদের একটি ওয়েবসাইটকে দুটি বা ততোধিক ইউআরএল এর মধ্যে নির্দিষ্ট URL এ ট্র্যাফিক বিভক্ত করতে কনফিগার করার অনুমতি দেবে। উদাহরণস্বরূপ, http://example.com/hello1 এ আগত ট্র্যাফিককে http://example.com/hello1 এবং http://example.com/hello2 এর মধ্যে বিভক্ত করা যেতে পারে । লক্ষ্যযুক্ত ইউআরএলগুলির মধ্যে ট্র্যাফিককে সমানভাবে বিভক্ত করা হবে এবং লক্ষ্য URL গুলির প্রতিটিতে বিপণন প্রক্রিয়াগুলির পারফরম্যান্সের সাথে তুলনা করা হবে।

এই পরীক্ষায়, নমুনার আকার Nদর্শকদের সাথে মিল রাখবে। পরীক্ষাটি "রূপান্তরগুলি" পরিমাপ করবে, এমন একটি শব্দ যখন দর্শনার্থী কোনও বিপণনের প্রক্রিয়াতে কোনও নির্দিষ্ট ক্রিয়াকলাপে প্রতিশ্রুতিবদ্ধ তখন তা বর্ণনা করে। রূপান্তরগুলি শতাংশে প্রকাশ করা হয় এবং একটি উচ্চতর রূপান্তর হার আকাঙ্ক্ষিত। এটি পরীক্ষাটি স্বাধীন অনুপাতের তুলনা করে। নিরাপদ ফলাফল সহ পরীক্ষার উত্পাদন করতে সরঞ্জামটি সহজেই নিযুক্ত হওয়া দরকার। একটি উপযুক্ত মান নির্বাচন Nকরা গুরুত্বপূর্ণ।

উপরের লিঙ্কযুক্ত নিবন্ধে, দুটি স্বতন্ত্র অনুপাতের একটি শক্তি বিশ্লেষণ সন্ধানের জন্য নিযুক্ত করা হয়েছে N। এই পদ্ধতির জন্য একজনকে আগাম নিয়ন্ত্রণের রূপান্তর হারের পাশাপাশি লক্ষ্য কাঙ্ক্ষিত রূপান্তর উন্নতি নির্দিষ্ট করতে হবে requires এটি 95% এর একটি তাত্পর্য স্তর এবং 80% এর একটি পরিসংখ্যানিক শক্তিও নির্দিষ্ট করে।

প্রশ্নাবলী:

Nশব্দ নির্ধারণের এই পদ্ধতিটি কি ? যদি তাই হয়, পরীক্ষা শুরুর আগে নিয়ন্ত্রণের রূপান্তর হার নির্ধারণের সবচেয়ে নিরাপদ উপায় কী?
Nএমন কি নির্ধারণের কোনও দুর্দান্ত উপায় আছে যেগুলি আগেই নিয়ন্ত্রণের রূপান্তর হারগুলি জেনে রাখে না?
লিঙ্কযুক্ত নিবন্ধে পদ্ধতিটি কি শব্দ? যদি তা না হয় তবে আপনি কি আমাকে লিংক করতে পারবেন এমন কোনও অ্যাক্সেসযোগ্য এবং সহজে হজমযোগ্য পদ্ধতি রয়েছে?

— jkndrkn
সূত্র

উত্তর:

এই জাতীয় পরীক্ষা করার জন্য সর্বাধিক প্রচলিত পদ্ধতি হ'ল দ্বিপদী অনুপাতের আত্মবিশ্বাসের ব্যবধানগুলি (দেখুন http://bit.ly/fa2K7B )

আপনি দুটি পাথের "সত্য" রূপান্তর হারটি জানতে পারবেন না, তবে এটি আপনাকে "99% আত্মবিশ্বাসের সাথে, বি এর চেয়ে রূপান্তর করতে আরও কার্যকর" এর প্রভাবটিতে কিছু বলার ক্ষমতা দেয়।

উদাহরণস্বরূপ: ধরে নেওয়া যাক যে আপনি এ.এ 1000 ট্রায়ালের নিচে 1000 ট্রায়াল চালিয়েছেন এই 1000 ট্রায়ালগুলির মধ্যে 121 সফল রূপান্তর (0.121 এর রূপান্তর হার) ছিল এবং আমরা এই 0.121 ফলাফলের কাছাকাছি একটি 99% আত্মবিশ্বাসের ব্যবধান চাই। 99% আস্থা অন্তর জন্য Z-স্কোর 2.576 (আপনি শুধু একটি সারণী এই পর্যন্ত চেহারা), তাই সূত্র সুতরাং 99% আত্মবিশ্বাসের সঙ্গে আমরা বলতে পারি যে, যেখানে প্রক্রিয়া উ এর "সত্য" রূপান্তর হার

\begin{aligned} \hat{p} & \pm 2.576 (\sqrt{\frac{0.121 * (1 - 0.121)}{1000}}) \\ \hat{p} & \pm 0.027 \end{aligned}

$\begin{aligned} \hat p &\pm 2.576\left(\sqrt{\frac{0.121 * (1 - 0.121)}{1000}}\right) \\ \hat p &\pm 0.027 \end{aligned}$

0.094 \leq \hat{p} \leq 0.148

$0.094 \le \hat p \le 0.148$

\hat{p}

$\hat p$

প্রক্রিয়া বি এর জন্য যদি আমরা একই ধরণের ব্যবধান তৈরি করি তবে আমরা অন্তরগুলি তুলনা করতে পারি। যদি অন্তরগুলি ওভারল্যাপ না হয়, তবে আমরা 98% আত্মবিশ্বাসের সাথে বলতে পারি যে একজন অন্যটির চেয়ে ভাল। (মনে রাখবেন, আমরা প্রতিটি বিরতি সম্পর্কে মাত্র 99% আত্মবিশ্বাসী, সুতরাং তুলনা সম্পর্কে আমাদের সামগ্রিক আস্থা 0.99 * 0.99)

যদি অন্তরগুলি ওভারল্যাপ করে, তবে আমাদের আরও ট্রায়াল চালাতে হবে, বা সিদ্ধান্ত নিতে হবে যে পার্থক্য করার জন্য তারা পারফরম্যান্সের ক্ষেত্রে খুব অনুরূপ, যা আমাদেরকে জটিল অংশ নিয়ে আসে - নির্ধারণ করে, পরীক্ষার সংখ্যা। আমি অন্যান্য পদ্ধতির সাথে পরিচিত নই, তবে এই পদ্ধতির সাহায্যে আপনি আপ ফ্রন্ট নির্ধারণ করতে সক্ষম হবেন না যদি আপনি A এবং B উভয় সামনের পারফরম্যান্সের সঠিক অনুমান না করেন। অন্যথায়, আপনি নমুনা না পাওয়া পর্যন্ত আপনাকে কেবল ট্রায়াল চালাতে হবে যাতে অন্তর পৃথক হয়। $N$ $N$

আপনি শুভেচ্ছা। (আমি বি প্রসেসের জন্য রুট করছি the

— রনি
সূত্র

@ ব্রনি, সাইটে আপনাকে স্বাগতম। আপনি এখানে নতুন থাকায় আপনি আমাদের প্রায়শই জিজ্ঞাসিত প্রশ্নগুলি পড়তে চাইতে পারেন । অন্যান্য জিনিসের মধ্যে এই সাইটটি

সমর্থন করে

ম্যাথজ্যাক্সের মাধ্যমে

। আপনার পোস্টটি পড়া সহজ করার জন্য আমি এমজে যুক্ত করার স্বাধীনতা নিয়েছি; নিশ্চিত করুন যে এটি এখনও যা চায় তা বলে। যেমন, আমি "পি ^" গ্রহণ মানে "পি-টুপি" (

কিন্তু তোমায় বলব এটা "সত্য" হার যে, যেহেতু P-টুপি প্রায়ই পি আপনার ডেটা থেকে আনুমানিক ইঙ্গিত করতে ব্যবহার করা হয় মনে রাখবেন, সুতরাং আমরা কেবল নিশ্চিত হতে চাই যে আপনার উত্তরটি যা বলতে চায় তা বলে।

L A T E X

$\LaTeX$

\hat{p}

$\hat p$

— গং - মনিকা পুনরায় স্থাপন করুন

রনি, আপনি সাধারণভাবে ঠিক রয়েছেন (কেবলমাত্র এই পদ্ধতির জন্য নয়): আস্থা ও অন্তর্ভুক্তি এবং ফলস্বরূপ নমুনা আকারের প্রয়োজনীয়তা এ এবং বি এর প্রকৃত অনুপাতের জন্য অত্যন্ত সংবেদনশীল হিসাবে সম্ভবত @ গুং এর মন্তব্যে আরও যথাযথ অনুসরণ করা যেতে পারে: আমি দ্রষ্টব্য আপনি ব্যবহার (এবং এর ফলে তার সম্পাদনা gung) যে

উভয় সত্য অনুপাত জন্য (মধ্যে

) এবং বিন্দু অনুমান জন্য

\hat{p}

$\hat p$

0.094 \leq \hat{p} \leq 0.148

$0.094 \leq \hat p \leq 0.148$

পর্যবেক্ষণ থেকে। আমি উপরের দুই লিখেছি চাই

পর্যবেক্ষণ থেকে), কিন্তু কম দুই

টুপি ছাড়া (সত্য অনুপাত জন্য)।

\frac{s u c e s s e s}{t r i a l s}

$\frac{sucesses}{trials}$

\hat{p}

$\hat p$

p

$p$

— সিবিলেটগুলি মনিকাকে সমর্থন করে

এই উত্তরটি ভুল। বিশেষত: "যদি অন্তরগুলি ওভারল্যাপ না হয়, তবে আমরা 98% আত্মবিশ্বাসের সাথে বলতে পারি যে একজন অন্যের চেয়ে ভাল" ভুল। দুটি নন-ওভারল্যাপিং 99% আত্মবিশ্বাসের অন্তর দেওয়া হয়েছে, আস্থা যে পার্থক্যটি 0 অন্তত 99% হিসাবে বাদ দেয়। যদি অন্তরগুলি একই আকার হয় তবে পার্থক্যটি 99.97% স্তরের কাছাকাছি উল্লেখযোগ্য। stats.stackexchange.com/questions/18215 cscu.cornell.edu/news/statnews/Stnews73insert.pdf

— বাস্কন

@ বিস্কান আপনার মন্তব্য অন্যান্য মূল্যবোধের জন্য ধারণ করে? উদাহরণস্বরূপ (আপনার প্রশংসা অনুসারে) এটি বলা কি সঠিক যে যদি আমাদের একই আকারের দুটি নন-ওভারল্যাপিং 30% আস্থা অন্তর থাকে তবে উপায়ের পার্থক্য কমপক্ষে 30%?

— ফিলিপ আলমেডা

@ ফিলিপ, হ্যাঁ মন্তব্যটি সমস্ত মানগুলির জন্য ধারণ করে এবং 30% আত্মবিশ্বাসের বিরতিতে অবিচ্ছিন্ন হয়ে যায় সেই আত্মবিশ্বাসকে বোঝায় যে 0 টি বাদ দিলে কমপক্ষে 30% হয়% এর অর্থ এই নয় যে এর মধ্যে 30% পার্থক্য রয়েছে। সত্যিকারের অর্থগুলি খুব অনুরূপ হতে পারে; আমরা কেবল প্রমাণ করার চেষ্টা করছি যে তারা ঠিক এক নয়।

— বিস্কান

আইএমএইচও, যতদূর যায় পোস্টটি সঠিক দিকে চলে যায়। যাহোক:

প্রস্তাবিত পদ্ধতি সুস্পষ্টভাবে দুটি অনুমান করে: বেসলাইন রূপান্তর হার এবং পরিবর্তনের প্রত্যাশিত পরিমাণ। আপনি এই অনুমানগুলি কীভাবে পূরণ করেন তার উপর নমুনার আকারটি নির্ভর করে। আমি আপনাকে পরামর্শ দিচ্ছি যে আপনি পি 1 এবং পি 2 এর বেশ কয়েকটি সংমিশ্রণের জন্য প্রয়োজনীয় নমুনা মাপগুলি গণনা করুন যা আপনি বাস্তববাদী বলে মনে করেন। এটি আপনাকে নমুনা আকারের গণনা আসলে কতটা নির্ভরযোগ্য সে সম্পর্কে একটি অনুভূতি দেবে।
```
> power.prop.test (p1=0.1, p2 = 0.1*1.1, sig.level=0.05, power=0.8)

     Two-sample comparison of proportions power calculation 

              n = 14750.79
             p1 = 0.1
             p2 = 0.11
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

 NOTE: n is number in *each* group 

> power.prop.test (p1=0.09, p2 = 0.09*1.1, sig.level=0.05, power=0.8)

     Two-sample comparison of proportions power calculation 

              n = 16582.2
             p1 = 0.09
             p2 = 0.099
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

 NOTE: n is number in *each* group 
```
সুতরাং প্রকৃত রূপান্তর হার যদি 10% এর পরিবর্তে 9% হয় তবে নতুন ফর্মের 10% -রও বেশি-বেসলাইন রূপান্তর হারটি সনাক্ত করতে আপনার প্রতিটি দৃশ্যের জন্য আরও 2000 টি কেস দরকার।

পরীক্ষাটি শেষ হওয়ার পরে, আপনি আপনার প্রকৃত পর্যবেক্ষণের উপর ভিত্তি করে অনুপাতের জন্য আত্মবিশ্বাসের ব্যবধানগুলি গণনা করতে পারেন।

৩. এর অধীনে শেষ উপসংহারটি (একাধিক দৃশ্যের পরীক্ষার বিষয়ে) যথেষ্ট সঠিক নয়। একাধিক পরীক্ষার জন্য সামঞ্জস্য করতে (উদাহরণে একাধিক = 2), এটি কেবলমাত্র অন্য কোনও যুক্ত করার জন্য যথেষ্ট নয় $n$ প্রতিটি নতুন দৃশ্যের জন্য পরীক্ষা:
যদি বি বা সি দুটিই মূল সংস্করণ A এর চেয়ে ভাল না হয় এবং দুটি পরীক্ষা এ। /। খ ও বি ./। সি সেখানে প্রস্তাবিত হিসাবে সম্পন্ন করা হয় $n$ প্রতিটি দৃশ্যের ক্ষেত্রে, তারপরে এ থেকে মিথ্যাভাবে দূরে সরে যাওয়ার সম্ভাবনাটি হ'ল (1 - α) ≈ ≈ 10% (α: প্রথম ধরণের ত্রুটির স্বীকৃত সম্ভাবনা ; sig.levelউপরে)। অন্য কথায়, এটি প্রাথমিকভাবে বর্ণিত প্রায় দ্বিগুণ বড় large এই পদ্ধতির সাথে দ্বিতীয় সমস্যাটি হ'ল: আপনি বি। / এর তুলনা না করে সত্যিই কি করতে পারেন। সি? আপনি যদি বি এবং সি উভয়কে এ এর চেয়ে ভাল দেখতে পান তবে আপনি কী করতে যাচ্ছেন?

— সিবিলেটগুলি মনিকাকে সমর্থন করে
সূত্র

হাই, এই পদ্ধতিগুলির সমালোচনা করতে সময় দেওয়ার জন্য অনেক ধন্যবাদ। গণনায় (1 - α) ² ≈ 10%, "α" কী বোঝায়? যেহেতু পরীক্ষার ডেটা ক্যাপচার করতে দীর্ঘ সময় লাগে, কেউ যদি তিনটি অনুপাত পরীক্ষা করতে চান তবে আপনি কীভাবে এই পরীক্ষাটি তৈরির প্রস্তাব করবেন? এমন কি নিরাপদ উপায় আছে যা একাধিক পরীক্ষা চালানো জড়িত না? তিনটি বিকল্পের সাহায্যে তিনটি পরীক্ষা মারাত্মক বোঝা নয়, তবে চারটি বিকল্পের সাথে সংমিশ্রণের সংখ্যা ছয়টি পর্যন্ত।

— jkndrkn

@jkndrkn: α হ'ল মূল ফর্ম থেকে দূরে পরিবর্তনের সম্ভাবনা হ'ল ওরফে error-ত্রুটি বা টাইপ আই ত্রুটি। আপডেট উত্তর দেখুন।

— সিবেলাইটস মনিকা

@ জেঙ্কান্ড্রাকন: একাধিক পরীক্ষা: আমি ফ্লেইস এটাল-এর দিকে একবার নজর রাখব: এই জাতীয় পরীক্ষার পদ্ধতি সম্পর্কে হার এবং অনুপাতের পরিসংখ্যানগত পদ্ধতি । যাইহোক, এই জাতীয় একাধিক পরীক্ষার মূল পয়েন্টটি সর্বদা পরীক্ষার সংজ্ঞা দেওয়ার আগে যতটা সম্ভব বিকল্পের সংখ্যা কমানোর জন্য বিশেষজ্ঞ জ্ঞান ব্যবহার করা হয় কারণ প্রয়োজনীয় নমুনা আকারগুলি বিকল্পগুলির সংখ্যার সাথে বিস্ফোরিত হয় (আপনি ইতিমধ্যে বুঝতে পেরেছিলেন)।

— ক্যাবেলাইটস মনিকাকে

-1

ওভারল্যাপিং অন্তরগুলি গণনা করার পরিবর্তে আপনি জেড-স্কোর গণনা করুন। এটি প্রয়োগ করা অ্যালগরিদমিকভাবে সহজ, এবং আপনি পরিসংখ্যানের পাঠাগারগুলি সাহায্যের জন্য পাবেন।

একবার দেখুন: https : //onlinecourses.sज्ञान.psu.edu/stat200/node/53

— শম্ভু
সূত্র