একটি অগ্রণী শক্তি বিশ্লেষণ মূলত অকেজো?

Question

আমি গত সপ্তাহে সোসাইটি ফর পার্সোনালিটি অ্যান্ড সোশ্যাল সাইকোলজির একটি সভায় অংশ নিয়েছি যেখানে আমি উরি সিমোনসোহনের এই বক্তব্যের ভিত্তিতে একটি বক্তৃতা দেখেছি যে নমুনা আকার নির্ধারণের জন্য একটি অগ্রাধিকার শক্তি বিশ্লেষণ ব্যবহার করা মূলত অকেজো কারণ এর ফলাফলগুলি অনুমানের প্রতি এত সংবেদনশীল।

অবশ্যই, এই দাবিটি আমার পদ্ধতিগুলির ক্লাসে আমাকে যা শেখানো হয়েছিল তার বিরুদ্ধে এবং অনেক বিশিষ্ট পদ্ধতিবিজ্ঞানীদের (সবচেয়ে উল্লেখযোগ্যভাবে কোহেন, 1992 ) এর বিপরীতে রয়েছে , তাই উরি তার দাবির উপর নির্ভর করে কিছু প্রমাণ উপস্থাপন করেছিলেন। আমি নীচে এই প্রমাণ কিছু পুনরায় তৈরি করার চেষ্টা করেছি।

সরলতার জন্য, এর একটি অবস্থা যেখানে আপনি পর্যবেক্ষণ দুই দলের আছে এবং অনুমান যে প্রভাব আকার (যেমন আদর্শায়িত গড় পার্থক্য দ্বারা পরিমাপ করা) হল কল্পনা করা যাক । একটি স্ট্যান্ডার্ড পাওয়ার গণনা ( নীচের প্যাকেজটি ব্যবহার করে করা হয়েছে ) আপনাকে বলবে যে এই নকশার সাহায্যে 80% শক্তি পাওয়ার জন্য আপনার পর্যবেক্ষণের প্রয়োজন হবে ।$.5$Rpwr$128$

require(pwr)

size <- .5
# Note that the output from this function tells you the required observations per group
# rather than the total observations required
pwr.t.test(d = size, 
           sig.level = .05, 
           power = .80, 
           type = "two.sample", 
           alternative = "two.sided")

সাধারণত, তবে, প্রভাবটির প্রত্যাশিত আকার সম্পর্কে আমাদের অনুমানগুলি (কমপক্ষে সামাজিক বিজ্ঞানে যা আমার পড়াশোনার ক্ষেত্র) এটি কেবলমাত্র - খুব রুক্ষ অনুমান। তাহলে কী হবে যদি আমাদের অনুমানের আকার সম্পর্কে কিছুটা বন্ধ হয়? একটি দ্রুত পাওয়ার গণনা আপনাকে জানায় যে যদি প্রভাবটির আকার পরিবর্তে হয় তবে আপনার পর্যবেক্ষণ প্রয়োজন - সংখ্যার গুণ যা আপনার প্রভাবের আকারের জন্য পর্যাপ্ত শক্তি থাকা প্রয়োজন । তেমনিভাবে, যদি প্রভাবটির আকার আপনার কেবল পর্যবেক্ষণ প্রয়োজন, আপনার % এর প্রভাবের আকারটি সনাক্ত করার জন্য পর্যাপ্ত শক্তি থাকতে হবে তার 70%.5 200 1.56 .5 .6 90 .50 90 $.4$$.5$$200$$1.56$$.5$$.6$$90$$.50$। ব্যবহারিকভাবে বলতে গেলে, অনুমান করা পর্যবেক্ষণগুলির পরিসীমাটি বেশ বড় - থেকে ।$90$$200$

এই সমস্যার একটি প্রতিক্রিয়া হ'ল, প্রভাবটির আকারটি কী হতে পারে সে সম্পর্কে নির্ভুল অনুমানের পরিবর্তে, আপনি পূর্ববর্তী সাহিত্যের মাধ্যমে বা পাইলট পরীক্ষার মাধ্যমে প্রভাবটির আকার সম্পর্কে প্রমাণ সংগ্রহ করেন। অবশ্যই, আপনি যদি পাইলট টেস্টিং করেন, আপনি চাইবেন যে আপনার পাইলট পরীক্ষাটি যথেষ্ট ছোট হোক যে আপনি কেবল অধ্যয়ন পরিচালনার জন্য প্রয়োজনীয় নমুনার আকার নির্ধারণ করার জন্য আপনার অধ্যয়নের কোনও সংস্করণ চালাচ্ছেন না (যেমন, আপনি চান পাইলট পরীক্ষায় ব্যবহৃত নমুনার আকারটি আপনার অধ্যয়নের নমুনা আকারের চেয়ে ছোট হওয়া চাই)।

উরি সিমোনসোহান যুক্তি দিয়েছিলেন যে আপনার শক্তি বিশ্লেষণে ব্যবহৃত প্রভাবের আকার নির্ধারণের উদ্দেশ্যে পাইলট পরীক্ষা নিরর্থক। নিম্নলিখিত সিমুলেশন বিবেচনা করুন যে আমি দৌড়েছিলাম R। এই সিমুলেশন ধরে নেয় যে জনসংখ্যা প্রভাব আকার । এটি 40 মাপের "পাইলট পরীক্ষা" পরিচালনা করে এবং 10000 পাইলট পরীক্ষার প্রতিটি থেকে প্রস্তাবিত ট্যাবলেট করে ।1000 $.5$$1000$$N$

set.seed(12415)

reps <- 1000
pop_size <- .5
pilot_n_per_group <- 20
ns <- numeric(length = reps)

for(i in 1:reps)
{
  x <- rep(c(-.5, .5), pilot_n_per_group)
  y <- pop_size * x + rnorm(pilot_n_per_group * 2, sd = 1)
  # Calculate the standardized mean difference
  size <- (mean(y[x == -.5]) - mean(y[x == .5])) / 
          sqrt((sd(y[x == -.5])^2 + sd(y[x ==.5])^2) / 2)

  n <- 2 * pwr.t.test(d = size,
                      sig.level = .05, 
                      power = .80,
                      type = "two.sample", 
                      alternative = "two.sided")$n

  ns[i] <- n
}

নীচে এই সিমুলেশন ভিত্তিক একটি ঘনত্বের প্লট রয়েছে। চিত্রটি আরও ব্যাখ্যাযোগ্য করে তোলার জন্য আমি পাইলট পরীক্ষাগুলির বাদ দিয়েছি যা উপরে বিভিন্ন পর্যবেক্ষণের সুপারিশ করেছে । এমনকি সিমুলেশনের কম চরম ফলাফলগুলিতে আলোকপাত করেও , পাইলট পরীক্ষাগুলি দ্বারা প্রস্তাবিত প্রচুর প্রকরণ রয়েছে ।500 এন এস $204$$500$$Ns$$1000$

অবশ্যই, আমি নিশ্চিত যে অনুমানগুলির সমস্যার সংবেদনশীলতা কেবলমাত্র তার ডিজাইন আরও জটিল হওয়ার সাথে সাথে আরও খারাপ হয়। উদাহরণস্বরূপ, একটি র্যান্ডম এফেক্ট স্ট্রাকচারের স্পেসিফিকেশন প্রয়োজন এমন একটি ডিজাইনে, এলোমেলো প্রভাবগুলির কাঠামোর প্রকৃতির ডিজাইনের শক্তির জন্য নাটকীয় জড়িত থাকতে হবে।

সুতরাং, আপনারা এই যুক্তিটি সম্পর্কে কী ভাবেন? একটি অগ্রণী শক্তি বিশ্লেষণ মূলত অকেজো? যদি তা হয় তবে গবেষকরা তাদের পড়াশোনার আকার কীভাবে পরিকল্পনা করবেন?

Comments

এটিকে শক্তি বিশ্লেষণ নিজেই নয়, নির্বোধ শক্তি বিশ্লেষণের নিন্দার মতো বলে মনে হয়। সবচেয়ে বড় প্রশ্ন হ'ল এটি খড়ের লোকের উপর আক্রমণ কিনা বা সত্যই এমন অনেক লোক আছে যারা অনুমানের প্রতি সংবেদনশীলতা বিবেচনা না করেই তাদের শক্তি বিশ্লেষণ (বা অন্য কোনও বিশ্লেষণ) পরিচালনা করে। যদি দ্বিতীয়টি সত্য হয় তবে তাদের আলোকিত করা ভাল তবে আমি আশা করি তারা এতটা নিরুৎসাহিত হবেন না যাতে তাদের পরীক্ষা-নিরীক্ষার পরিকল্পনার সমস্ত প্রচেষ্টা ত্যাগ করা যায়!

— whuber

আমাকে প্রচুর stats.stackexchange.com/q/2492/32036 স্মরণ করিয়ে দেয় , এবং কেবল শিরোনাম প্রশ্নটি বাক্সে বাক্য গঠনের বাক্যবিন্যাসের কারণে নয়। অনুমানগুলি কীভাবে বুঝতে হবে তা একটি প্রশ্ন মনে হচ্ছে। উভয়ের একটি প্রধান বিষয় হ'ল এই বিশ্লেষণগুলির সংবেদনশীলতাগুলি পক্ষপাত সম্পর্কে স্পষ্টতর, সর্ব-বা-কিছুই বিবেচনা করার চেয়ে বোঝা যা তাদের অনুমানগুলি (ক) একেবারে গুরুতর বা (খ) একেবারেই তুচ্ছ। এটি সাধারণভাবে কার্যকর-এবং-ক্ষতিকারক অনুক্রমের মূল বিষয়। আমি ভীত, এটি কোনও খড়ের মানুষ নয়; লোকেরা খুব ঘন ঘন মনে হয় যখন তারা জানে না বা যত্ন করতে পারে না।

— নিক স্টাওনার

আমি এটিকে প্রশ্নটিতে যুক্ত করতে চাইনি কারণ অন্যরা যে সুপারিশ করেছিল তাতে আমি আগ্রহী ছিলাম, তবে উরি সিমোনসোহনের পরামর্শের শেষে দেওয়া পরামর্শটি ছিল আপনার পড়াশুনার জন্য সবচেয়ে ছোট প্রভাবটি সনাক্ত করতে আপনার অধ্যয়নকে শক্তি প্রদান করা।

— প্যাট্রিক এস ফোরসচার

@ প্যাট্রিকএস.ফোরসচার: সুতরাং সব কিছু বলা এবং শেষ করার পরেও তিনি একটি অগ্রাধিকার শক্তি বিশ্লেষণে বিশ্বাসী। তিনি কেবলমাত্র মনে করেন যে প্রভাবের আকারটি বিজ্ঞতার সাথে বাছাই করা উচিত: এটি কী হতে পারে তার অনুমান নয় , বরং যে ন্যূনতম মানটি আপনার পক্ষে যত্নশীল তা নয়। পাওয়ার বিশ্লেষণের পাঠ্যপুস্তকের বর্ণনার মতো দেখতে বেশ সুন্দর: আপনার কাছে যথেষ্ট পরিমাণে ডেটা রয়েছে তা নিশ্চিত করে যে আপনি ব্যবহারিকভাবে তাত্পর্যপূর্ণ বলে মনে করেন তা একটি পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ পার্থক্য হিসাবে প্রদর্শিত হবে।

— ওয়েইন

উরি যেভাবে আলোচনার কাঠামো তৈরি করেছিলেন, আমি মনে করি যে তিনি বিশ্বাস করেন যে একটি প্রাকৃতিক শক্তি বিশ্লেষণটি সাধারণত সামাজিক বিজ্ঞানে যেমন করা হয় তবে এটি অন্য কোথাও শেখানো হয় নি not প্রকৃতপক্ষে, আমি আমার প্রভাব বিশ্লেষণকে যে প্রভাবটি সন্ধান করছি তার আকার সম্পর্কে যুক্তিসঙ্গত অনুমানের ভিত্তিতে শেখানো হয়েছিল, ব্যবহারিক দিক থেকে আমি কী প্রভাব নেব তা নয় on

— প্যাট্রিক এস ফোরসচার

Answer 1

এখানে মূল সমস্যাটি সত্য এবং পরিসংখ্যানগুলিতে মোটামুটি সুপরিচিত। তবে তার ব্যাখ্যা / দাবি চরম। বিভিন্ন বিষয় নিয়ে আলোচনা করা দরকার:

$N$$\sqrt N$$N$$50\%$$80\%$$d$$d$$d = .5$$N = 128$$\approx 7.9\%$$\approx 5.5\%$$.1$$\approx 16.9\%$$.1$$\approx 12.6\%$

$d$

$80\%$

দ্বিতীয়ত, বিস্তৃত দাবি সম্পর্কে যে শক্তি বিশ্লেষণ করে (এ-প্রিরি বা অন্যথায়) অনুমানের উপর নির্ভর করে, এই যুক্তিটি কী তৈরি করা উচিত তা পরিষ্কার নয়। অবশ্যই তারা। অন্য সব কিছু করে। শক্তি বিশ্লেষণ চালানো হচ্ছে না, তবে আপনি কেবল একটি টুপি থেকে তুলেছেন এমন একটি সংখ্যার উপর ভিত্তি করে পরিমাণ পরিমাণ তথ্য সংগ্রহ করা এবং তারপরে আপনার ডেটা বিশ্লেষণ করে পরিস্থিতি উন্নত হবে না। তদুপরি, আপনার ফলাফল বিশ্লেষণগুলি এখনও অনুমানের উপর নির্ভর করবে যেমন সমস্ত বিশ্লেষণ (শক্তি বা অন্যথায়) সর্বদা করে। পরিবর্তে আপনি যদি সিদ্ধান্ত নেন যে আপনি নিজের পছন্দ মতো ছবি না পেয়ে বা ক্লান্ত না হওয়া পর্যন্ত আপনি তথ্য সংগ্রহ এবং পুনরায় বিশ্লেষণ চালিয়ে যাবেন, তা অনেক কম বৈধ হবে (এবং এখনও স্পিকারের কাছে অদৃশ্য এমন অনুমানগুলি বহন করতে পারে তবে যে সত্ত্বেও বিদ্যমান)। সহজভাবে করা,গবেষণা এবং ডেটা বিশ্লেষণে অনুমান করা হচ্ছে এমন সত্যের আশেপাশে কোনও উপায় নেই ।

আপনি আগ্রহের এই সংস্থানগুলি পেতে পারেন:

• ক্রিমার, এইচসি, মিন্টজ, জে।, নোদা, এ।, টিঙ্কলেনবার্গ, জে।, এবং ইয়েসেজ, জেএ (2006)। অধ্যয়নের প্রস্তাবগুলির জন্য পাওয়ার গণনা পরিচালনার জন্য পাইলট স্টাডির ব্যবহার সম্পর্কিত সতর্কতা , জেনারেল সাইকিয়াট্রির আর্কাইভ, 63 , 5, পৃষ্ঠা 484-489।

• ইউবারস্যাক্স, জেএ (2007) বায়েশিয়ান শর্তহীন শক্তি বিশ্লেষণ। http://www.john-uebersax.com/stat/bpower.htm

Comments

আমি মনে করি যে উরি সিমোনসোহনের যুক্তি ছিল না যে প্রতি অনুমানগুলি খারাপ, তবে সাধারণভাবে শক্তি বিশ্লেষণগুলি অনুমানের প্রতি এত সংবেদনশীল যে তারা নমুনা আকারের পরিকল্পনার জন্য অকেজো করে তোলে। তবে, আপনার পয়েন্টগুলি দুর্দান্ত, যেমনটি আপনি সরবরাহ করেছেন (+1)।

— প্যাট্রিক এস ফোরসচার

আপনার সম্পাদনাগুলি ইতিমধ্যে এটি দুর্দান্ত উত্তরের উন্নতি অবিরত করে। :)

— প্যাট্রিক এস ফার্সচার

আমি সম্মত হচ্ছি এটি একটি দুর্দান্ত উত্তর, এবং আমি আপনাকে (এবং অন্যদের) জানতে চেয়েছিলাম যে আমি এই বিষয়ে একটি সাম্প্রতিক ব্লগ পোস্টে লিখেছিলাম যা আপনাকে জেকওয়েস্টফল.অর্গ /

— জেক ওয়েস্টফল

@ জ্যাকওয়েস্টফল, দুর্দান্ত পোস্ট! অন্য একটি নোটে, আপনি যখন কুকিজ অধ্যয়ন করেন, আপনি কি প্রাথমিকভাবে সেগুলি খেয়ে তা করেন? আপনার কি এই প্রকল্পগুলির কোনওটির জন্য একটি পরিসংখ্যান পরামর্শদাতা প্রয়োজন?

— গুং - মনিকা পুনরায়