অনুপাত এবং বাইনারি শ্রেণিবদ্ধকারী জন্য পরীক্ষা

Question

আমার কাছে প্রোটোটাইপ মেশিন তৈরির অংশ রয়েছে।

প্রথম পরীক্ষায় মেশিনটি অংশ তৈরি করে এবং একটি বাইনারি শ্রেণিবদ্ধকারী আমাকে বলে যে অংশগুলি ত্রুটিযুক্ত ( , সাধারণত এবং ) এবং অংশগুলি ভাল।$N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

তারপরে কোনও প্রযুক্তিবিদ ত্রুটিযুক্ত অংশগুলির সংখ্যা হ্রাস করার জন্য মেশিনে কিছু পরিবর্তন আনেন।

একটি দ্বিতীয় এবং পরীক্ষা নিম্নলিখিত পরিবর্তন মেশিন উত্পাদন করে অংশ এবং একই বাইনারি ক্লাসিফায়ার (অস্পৃষ্ট) আমাকে বলে যে অংশের ত্রুটিপূর্ণ হয়, যাহাই হউক না কেন বেশ অনুরূপ ।$N_2$$d_2$$d_2/N_2$$d_1/N_1$

প্রযুক্তিবিদ তার পরিবর্তনগুলি কার্যকর কিনা তা জানতে চাইবেন।

অনুমান করে যে শ্রেণিবদ্ধগুলি নিখুঁত (এর সংবেদনশীলতা 100% এবং এর সুনির্দিষ্টতা 100%), আমি অনুপাতের জন্য একটি পরীক্ষা করতে পারি (আর, আমি কেবল টাইপ করি prop.test(c(d1,d2),c(N1,N2)))।

তবে শ্রেণিবদ্ধী নিখুঁত নয়, তাই প্রযুক্তিবিদকে সঠিকভাবে উত্তর দেওয়ার জন্য আমি কীভাবে শ্রেণিবদ্ধের সংবেদনশীলতা এবং স্পষ্টতা উভয় বিবেচনায় রাখতে পারি?

Comments

আপনি কি শ্রেণিবদ্ধের নির্ভুলতার হার নিশ্চিত করতে পারবেন?

— মিশেল

@ মিশেল আমি ত্রুটি এবং ছাড়াই জানি তবে কতগুলি ত্রুটিযুক্ত অংশগুলি ভুল হিসাবে তা আমি জানি না। $d_1$$d_2$

— আলেসান্দ্রো জ্যাকসন

আবার হাই। মিথ্যা ধনাত্মক হারটি অনুমান করার জন্য আপনি আলাদাভাবে এন 1 এবং এন 2 থেকে ভাল অংশগুলির একটি এলোমেলো নমুনা করতে পারেন?

— মিশেল

এই তথ্যের সাথে, আপনি পরিবর্তনগুলি তুলনা করতে এই পদ্ধতিটি ব্যবহার করতে পারেন? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract এছাড়াও এখানে ncbi.nlm.nih.gov/pubmed/18224558 এবং অন্যান্য ধারণা এখানে দেখুন, সম্পূর্ণ পাঠ্য: stat.colostate.edu/~bradb/papers/lrographicfinal। পিডিএফ

— মিশেল

(+1) এটি দুর্দান্ত প্রশ্ন!

— স্টিফেন

Answer 1

সুতরাং আমি এটি প্রথম নীতিগুলি থেকে প্রাপ্ত করছি এবং এইভাবে এটি সঠিক কিনা তা আমি নিশ্চিত নই। এখানে আমার চিন্তাভাবনাগুলি:

সম্পাদনা: এটি আগে ঠিক ছিল না। আমি এটি আপডেট করেছি।

1. আসুন দিন বোঝাতে সত্য ইতিবাচক প্রকৃত সংখ্যা মধ্যে প্রত্যাশিত পার্থক্য ও বাইনারি ক্লাসিফায়ার যা আমরা ডাকবো দ্বারা সংখ্যা আউটপুট । আপনি পরিচিত শ্রেণীর লেবেল সহ একটি সেটটিতে আপনার শ্রেণিবদ্ধ চালনা করে এটি পরিমাপ করতে পারেন। শ্রেণিবদ্ধ দ্বারা উত্পাদিত ধনাত্মক সংখ্যা থেকে প্রকৃত ধনাত্মক সংখ্যা বিয়োগ করুন এবং তারপরে by পেতে দ্বারা ভাগ করুন ।$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. সুতরাং, ত্রুটিপূর্ণ যন্ত্রাংশ প্রকৃত অনুপাত একটি বিন্দু হিসাব দেওয়া হয় দ্বারা: । এটি হ'ল ত্রুটিযুক্ত অংশগুলির পরিলক্ষিত সংখ্যা, মিথ্যা ধনাত্মকগুলির প্রত্যাশিত সংখ্যা কম, এবং মিথ্যা নেতিবাচকগুলির প্রত্যাশিত সংখ্যা।$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. একইভাবে,$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. সুতরাং, এখন একটি প্রপ পরীক্ষা করা যাক। : মান ঠেকনা পরীক্ষা, আমরা প্রথম নাল মান হিসেবে ব্যবহার pooled অনুপাত গণনা । সুতরাং এখানে, আমরা আমাদের পয়েন্ট অনুমানগুলি এবং পেতে পেতে:$p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. এবং তারপরে স্ট্যান্ডার্ড ত্রুটিটি কেবলমাত্র স্বাভাবিক:$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. এবং পরীক্ষার পরিসংখ্যান একই:$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

ব্যাখ্যায় কিছু চিন্তা:

• মডেল স্ট্যান্ডার্ড ত্রুটির জন্য কাল্পনিক মান তৈরি করতে পারে। এটি তখন ঘটবে যখন , যখন এমনটি ঘটবে যখন আমরা শ্রেণিবদ্ধদের উত্পাদনের প্রত্যাশা করে ত্রুটির সংখ্যাটি আমরা লক্ষ্য করেছি তার চেয়ে বেশি। উদাহরণস্বরূপ, ধরুন যে আমরা আশা করি যে আমাদের শ্রেণিবদ্ধটি কোনও ধনাত্মক নয় এমন একটি নমুনা দেওয়ার পরেও গড়ে ৫ টি ধনাত্মক উত্পাদন করবে। আমরা যদি 4 টি ধনাত্মক পর্যবেক্ষণ করি, তবে এটি এমন মনে হয় যেন কোনও সংকেত নেই: শ্রেণিবদ্ধ দ্বারা উত্পাদিত শব্দ থেকে আমাদের ফলাফলটি পৃথক ind এই ক্ষেত্রে, আমাদের নাল অনুমানটি বাতিল করা উচিত নয়, আমি মনে করি।$p < 0$

• এ সম্পর্কে ভাবার আর একটি উপায় হ'ল, যদি শ্রেণিবদ্ধের জন্য ত্রুটিযুক্ত অংশগুলির সংখ্যা ত্রুটির প্রান্তের মধ্যে থাকে তবে অবশ্যই কোনও পার্থক্য রয়েছে কিনা তা আমরা বলতে পারি না: আমরা কোনও অংশ ত্রুটিযুক্ত কিনা তাও বলতে পারি না!

Pha অনুমানের মধ্যে ত্রুটিগুলি অন্তর্ভুক্ত :$\alpha$

• আমি এটি সম্পর্কে আরও কিছু ভেবেছি এবং আমি মনে করি আপনি এটি করতে পারেন এমন বেশ কয়েকটি উপায় রয়েছে তবে মূলত আপনি বিতরণের একটি অনুমান পেতে চান । আদর্শভাবে আপনি এই পদ্ধতিটি ব্যবহারের ইচ্ছাকে সেট করেন এমন উপাত্তের একটি প্রতিনিধি নমুনায় অনুমান পাওয়ার জন্য আপনার পদ্ধতির পুনরাবৃত্তি করে এই ক্রয়টি করবেন do যদি এটি সম্ভব না হয় তবে আপনি এটি থেকে নমুনাগুলি অঙ্কন করে একটি ডেটাসেটের বুটস্ট্র্যাপ করতে পারেন, যদিও আপনার একক ডাটসেট আপনার পছন্দসই সমস্ত সেটের প্রতিনিধি না হলে এটি আদর্শ নয়।$\alpha$$\alpha$

মনে করুন যে আমরা আত্মবিশ্বাসের সাথে একটি আত্মবিশ্বাসের ব্যবধান গণনা করতে চাই ।$h$

• প্রায়োগিক গনা উপর আস্থা ব্যবধান স্থানে বুট-স্ট্র্যাপ বন্টন ব্যবহার করে। উপরে প্রক্রিয়ার মধ্যে উভয় প্রান্ত বিন্দু প্লাগ জন্য একটি (খুব রক্ষণশীল বা খুব উদার) বিন্দু অনুমান হিসাবে এটি ব্যবহার এবং এটি ঠেকনা পরীক্ষা ব্যবহার অনুপাত পার্থক্য অনুমান জন্য আস্থা ব্যবধান । ধরুন যে আমরা অন্তর (পেতে এবং নিচের এবং উচ্চতর মানের জন্য অন্তর যেমন । তারপরে ব্যবধান (যার মধ্যে পূর্ববর্তী উভয় অন্তর দুটি রয়েছে) অনুপাতের পার্থক্যের জন্য একটি (1-এইচ) * 100% সিআই হওয়া উচিত ... আমি মনে করি ...$\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

দ্রষ্টব্য: উপরের দিকে আমি একটি 1 তরফা পরীক্ষা গ্রহণ করেছি। আপনি দুটি পৃথক হাইপোথেসিস পরীক্ষা করে দেখছেন (এই হিসাবে আপনার মনে হয় যে বিরতিতে এবং টেস্টের পরিসংখ্যান একটি উল্লেখযোগ্য পার্থক্য রয়েছে) এর জন্য অ্যাকাউন্টটি 2 কে বিভাজন করে । আপনি যদি দ্বি-পুচ্ছ পরীক্ষা করতে চান তবে তার পরিবর্তে 4 দিয়ে ভাগ করুন।$\alpha$

Comments

+1, আপনাকে ধন্যবাদ। 6-এ আপনি "স্ট্যাটিক" লিখেছেন, আপনার অর্থ "স্ট্যাটিস্টিক"?

— আলেসান্দ্রো জ্যাকসন

আপনার প্রথম বুলেট পয়েন্টে আপনি একটি কাল্পনিক স্ট্যান্ডার্ড ত্রুটি দিচ্ছেন। কী (যা একটি কল্পিত মান ত্রুটি খুব দিতে পারে)? পাওয়া কি সম্ভব ? $p<0$$0<p<1$$0<p<1$

— আলেসান্দ্রো জ্যাকপসন

আপনার দ্বিতীয় বুলেট পয়েন্টে, আপনি "বৈকল্পিকতা" সম্পর্কে লিখেছেন, আপনার অর্থ কী? আমার বোধগম্যতাটি নীচে রয়েছে: ধরা যাক আমি প্রথম পরীক্ষার কাছ থেকে এর একটি নমুনা এবং 7 টি ত্রুটিযুক্ত অংশ পেয়েছি, তবে যদি আমি ধরে নিই আমি কোনও বৈকল্পিকতা উপেক্ষা করব । অন্যদিকে আমি (উদাহরণস্বরূপ আর এর সাথে ) এর জন্য একটি আত্মবিশ্বাসের ব্যবধান পেতে পারি এবং তারপরে এটিকে মডেলটিতে অন্তর্ভুক্ত করতে পারি। আমি কি সঠিক? $0.01(N1−d1)\approx100$$\beta=\frac{7}{100}$$\beta$$\beta$prop.test(7,100)

— আলেসান্দ্রো জ্যাকসন

@vts_cvs হ্যাঁ, এটি "পরিসংখ্যান" হওয়া উচিত। আমি এক মুহুর্তে এটি ঠিক করব। স্ট্যান্ডার্ড ত্রুটির জন্য গণনায় একটি টাইপও রয়েছে, যা পরিবর্তে পি * (1-পি) হওয়া উচিত। পি সর্বদা <1 হওয়া উচিত, যদি না আপনার শ্রেণিবদ্ধ সত্যই খারাপ হয় এবং ডি বড় হয়। আপনার তৃতীয় মন্তব্যের জন্য, হ্যাঁ, এটিই ধারণা। মডেলটিতে কীভাবে এই অনুমানকে যুক্ত করা যায় আমি ঠিক নিশ্চিত নই। সম্ভবত এখানে অন্য কেউ জানেন?

— জন ডুয়েস্ট

গ্রহণ করার জন্য ধন্যবাদ, তবে গত রাতের পর থেকে আমি এ সম্পর্কে আরও কিছু চিন্তা করেছি (উপায় দ্বারা খুব ভাল প্রশ্ন!), এবং কীভাবে বৈচিত্রটি অন্তর্ভুক্ত করা যায় সে সম্পর্কে কিছু ধারণা পেয়েছি Also এছাড়াও, আমি বুঝতে পেরেছিলাম যে এই মডেলটি বেশ সঠিক নয়। সংখ্যাবৃদ্ধি প্রয়োজনের সংখ্যা দ্বারা নেতিবাচক exemplars এবং সংখ্যা দ্বারা ইতিবাচক exemplars। আমি এটির মাধ্যমে কাজ করব এবং এটি পরে আপডেট করব। $\alpha$$\beta$

— জন ডুয়েস্ট