আপনি কীভাবে বলবেন যে ভাল পারফরম্যান্স লাইনে আসে?

Question

আমি শখ হিসাবে রুবিকের কিউবগুলি সমাধান করি। কিছু সফ্টওয়্যার ব্যবহার করে কিউব সমাধান করতে আমার যে সময় লেগেছে তা আমি রেকর্ড করেছি এবং এখন আমার কাছে কয়েক হাজার দ্রাবকের ডেটা রয়েছে। ডেটা মূলত প্রতিটি ক্রমিক সমাধানের সময়টি উপস্থাপন করে এমন সংখ্যার দীর্ঘ তালিকা (যেমন 22.11, 20.66, 21.00, 18.74, ...)

ঘনকটি সমাধান করতে আমার যে সময় লাগে তা স্বাভাবিকভাবেই সমাধানের সমাধান থেকে কিছুটা পরিবর্তিত হয়, তাই ভাল সমাধান এবং খারাপ দ্রবণগুলি রয়েছে।

আমি কী "গরম হই" কিনা তা জানতে চাই - ভাল সমাধানগুলি স্রোতে আসে কিনা। উদাহরণস্বরূপ, যদি আমি কেবল কয়েকটা পরপর ভাল সমাধান করে থাকি তবে আমার পরবর্তী সমাধানটি ভাল হওয়ার সম্ভাবনা কি আরও বেশি?

কি ধরণের বিশ্লেষণ উপযুক্ত হবে? আমি কয়েকটি নির্দিষ্ট কাজ করার কথা ভাবতে পারি, উদাহরণস্বরূপ সলভকে একটি মার্কভ প্রক্রিয়া হিসাবে বিবেচনা করা এবং এটির সমাধানের পরের ভবিষ্যদ্বাণী করা এবং এলোমেলো উপাত্তের সাথে তুলনা করা কতটা ভাল লাগছিল তা দেখার জন্য, ধারাবাহিকের দীর্ঘতম ধারাগুলি দীর্ঘকাল মধ্যস্থানের নীচে কতক্ষণ সলভ হয় seeing 100 টি এবং এলোমেলো ডেটাতে কী প্রত্যাশা করা হবে তার সাথে তুলনা করা ইত্যাদি I আমি নিশ্চিত নই যে এই পরীক্ষাগুলি কতটা অন্তর্দৃষ্টিপূর্ণ হবে, এবং এই ধরণের সমস্যার কিছু উন্নত পদ্ধতি রয়েছে কিনা তা নিয়ে আমি অবাক।

Answer 1

মধ্যে Wald-Wolfowitz চালায় টেস্ট একটি সম্ভাব্য প্রার্থী যেখানে একটি "রান" কি আপনি একটি "কষ" বলা হয় বলে মনে হয়। এটি দ্বিগুণ তথ্য প্রয়োজন, সুতরাং আপনার প্রতিটি সমাধানকে "খারাপ" বনাম "ভাল" হিসাবে কিছু থ্রেশহোল্ড অনুসারে লেবেল করতে হবে - যেমনটি আপনার পরামর্শ অনুসারে মধ্যযুগীয় সময়ের মতো। নাল অনুমানটি হ'ল "ভাল" এবং "খারাপ" এলোমেলোভাবে বিকল্প সমাধান করে। আপনার স্বজ্ঞাততার সাথে সম্পর্কিত একটি একতরফা বিকল্প অনুমানটি হ'ল "ভাল" একসাথে দীর্ঘ ধারাগুলিতে একসাথে সমাধান করে, যা বোঝায় যে এলোমেলো ডেটা নিয়ে প্রত্যাশার চেয়ে কম রান রয়েছে। টেস্টের পরিসংখ্যান হ'ল রান সংখ্যা। আর তে:

> N      <- 200                          # number of solves
> DV     <- round(runif(N, 15, 30), 1)   # simulate some uniform data
> thresh <- median(DV)                   # threshold for binary classification

# do the binary classification
> DVfac <- cut(DV, breaks=c(-Inf, thresh, Inf), labels=c("good", "bad"))
> Nj    <- table(DVfac)                  # number of "good" and "bad" solves
> n1    <- Nj[1]                         # number of "good" solves
> n2    <- Nj[2]                         # number of "bad" solves
> (runs <- rle(as.character(DVfac)))     # analysis of runs
Run Length Encoding
lengths: int [1:92] 2 1 2 4 1 4 3 4 2 5 ...
values : chr [1:92] "bad" "good" "bad" "good" "bad" "good" "bad" ...

> (nRuns <- length(runs$lengths))        # test statistic: observed number of runs
[1] 92

# theoretical maximum of runs for given n1, n2
> (rMax <- ifelse(n1 == n2, N, 2*min(n1, n2) + 1))
199 

আপনার যখন কেবল কয়েকটি পর্যবেক্ষণ রয়েছে, আপনি নাল অনুমানের অধীনে প্রতিটি সংখ্যক রানের সঠিক সম্ভাবনা গণনা করতে পারেন। অন্যথায়, "রান সংখ্যা" বিতরণ একটি আদর্শ সাধারণ বিতরণ দ্বারা প্রায় কাছাকাছি করা যেতে পারে।

> (muR  <- 1 + ((2*n1*n2) / N))                     # expected value
100.99 

> varR  <- (2*n1*n2*(2*n1*n2 - N)) / (N^2 * (N-1))  # theoretical variance
> rZ    <- (nRuns-muR) / sqrt(varR)                 # z-score
> (pVal <- pnorm(rZ, mean=0, sd=1))                 # one-sided p-value
0.1012055

পি-মানটি একতরফা বিকল্প অনুমানের জন্য যা "ভাল" সলিউমে আসে।

Comments

দুর্দান্ত উত্তর। তবে, আমি ধারাবাহিক পরিবর্তনশীলটিকে বাইনারি রূপান্তর করতে নারাজ rel অর্থপূর্ণ পরিবর্তনশীলতা অনেক হারিয়ে যাবে।

— জেরোমি অ্যাংলিম

@ জেরোমি - এটি সাধারণভাবে একটি ভাল বিষয়, তবে এটি এই নির্দিষ্ট প্রশ্নের জন্য মনে হবে, বিনিং বেশি তথ্য ফেলে দেয় না - বিশেষত "ভাল" এবং "খারাপ" কেবল প্রশ্নের দ্বিতত্ত্ব হিসাবে সংজ্ঞায়িত করা হয়, একটি হিসাবে নয় কন্টিনাম।

— সম্ভাব্যতাব্লোগিক

@ প্রোব্যাবিলিটিস্লোগিক আমি বুঝতে পারি যে সমাধানের সমাধানের সময়টি কিছুটা থ্রেশহোল্ডের কোন দিকে থাকে তার ভিত্তিতে @ চিহ্নের সমাধানের সময়টিকে "ভাল" বা "খারাপ" হিসাবে পরিচালিত হতে পারে। যাইহোক, যেখানেই প্রান্তিক অবস্থান অবস্থিত, অবশ্যই এটি কিছুটা নির্বিচারে। প্রান্তিক ক্ষেত্রটি যদি 5 মিনিট হয় তবে অবশ্যই 5 মিনিট এবং 1 সেকেন্ড "মঙ্গলভাবের" ক্ষেত্রে 4 মিনিট এবং 59 সেকেন্ডের থেকে খুব বেশি আলাদা হবে না। আমি কল্পনা করেছি যে "ভাল" এবং "খারাপ" ক্রমাগত সমাপ্তির সময়ের সাথে সম্পর্কিত ফাজি বিভাগ।

— জেরোমি অ্যাংলিম

তবে "ভাল" এবং "খারাপ" এর যে কোনও সংজ্ঞা স্বেচ্ছাসেবী - কারণ এই শব্দের আপেক্ষিক প্রকৃতির কারণে। আপনি "ডেটা" অস্পষ্টতা সমাধান করতে দেবেন না বা আপনি নিজেই এটি সমাধান করেছেন কিনা তা এটিকে আরও কম বা অস্পষ্ট করে তোলে না। এবং এটি হতে পারে যে এইরকম তীক্ষ্ণ পার্থক্যটি নিশ্চিত করা হয় - যদি আপনার প্রতিযোগিতায় ফাইনালের জন্য যোগ্যতা অর্জন করতে 5 মিনিটের বেশি প্রয়োজন হয়। আমি নিশ্চিত যে বিচারক সাজানোর যুক্তি দ্বারা বিস্মৃত হবেন না "তবে এটি বাছাইয়ের সময়ের বাইরে মাত্র 2 সেকেন্ডের ছিল"

— সম্ভাব্যতা

Answer 2

কয়েকটি চিন্তা:

• সময় বিতরণ প্লট। আমার ধারণা হ'ল এগুলি ইতিবাচকভাবে আঁকিয়ে উঠবে, যেমন সমাধানের কিছু সময় সত্যই ধীর হয়। সেক্ষেত্রে আপনি হয়ত কোনও লগ বা সমাধানের সময়ের কোনও অন্য রূপান্তর বিবেচনা করতে চাইতে পারেন।

• এক্স অক্ষ এবং সমাধানের সময় (বা y- অক্ষের উপর লগ সমাধানের সময়) এর পরীক্ষার একটি স্কেটার প্লট তৈরি করুন। এটি আপনাকে ডেটা সম্পর্কে একটি স্বজ্ঞাত ধারণা দেবে। এটি "হট স্ট্রিম" ছাড়াও অন্যান্য ধরণের ট্রেন্ড প্রকাশ করতে পারে।

• সময়ের সাথে সাথে শেখার প্রভাব আছে কিনা তা বিবেচনা করুন। বেশিরভাগ ধাঁধা সহ, আপনি অনুশীলনের সাথে আরও দ্রুত পান। এই ঘটনাটি কিনা তা প্রকাশ করতে প্লটটিকে সহায়তা করা উচিত। এই জাতীয় প্রভাব "হট স্ট্রাইক" এফেক্ট থেকে আলাদা। এটি পরীক্ষাগুলির মধ্যে পারস্পরিক সম্পর্কের দিকে পরিচালিত করবে কারণ আপনি যখন প্রথম শিখছেন, ধীর বিচারগুলি অন্য ধীর পরীক্ষার সাথে সহসা সংঘটিত হবে এবং আপনি আরও অভিজ্ঞ হওয়ার সাথে সাথে দ্রুত বিচারগুলি দ্রুত পরীক্ষার সাথে সহ-ঘটনা ঘটবে।

• "হট রেখা" এর আপনার ধারণাগত সংজ্ঞাটি বিবেচনা করুন। উদাহরণস্বরূপ, এটি কেবলমাত্র পরীক্ষাগুলির ক্ষেত্রে প্রযোজ্য যা সময়ের নিকটবর্তী বা অর্ডারের সান্নিধ্য সম্পর্কে। বলুন আপনি মঙ্গলবার কিউবটি দ্রুত সমাধান করেছেন এবং তারপরে একটি বিরতি হয়েছিল এবং পরের শুক্রবারে আপনি এটি দ্রুত সমাধান করেছেন। এটি কি উত্তপ্ত ধারা, বা আপনি যদি একই দিনে এটি করেন তবে তা গণনা করা হয়?

• গরম রেখার প্রভাব থেকে পৃথক হতে পারে এমন অন্যান্য প্রভাব রয়েছে? উদাহরণস্বরূপ, দিনের যে সময় আপনি ধাঁধাটি সমাধান করেন (যেমন ক্লান্তি), আপনি যে ডিগ্রীতে আসলে খুব চেষ্টা করছেন? প্রভৃতি

• একবার বিকল্প পদ্ধতিগত প্রভাবগুলি বোঝা গেলে, আপনি এমন একটি মডেল বিকাশ করতে পারেন যার মধ্যে যথাসম্ভব অনেকগুলি রয়েছে। আপনি এক্স অক্ষের উপর y অক্ষ এবং ট্রায়ালের অবশিষ্টাংশ প্লট করতে পারেন। তারপরে আপনি দেখতে পেলেন যে মডেলের অবশিষ্টাংশগুলিতে স্বয়ংক্রিয়-সম্পর্ক রয়েছে। এই অটো-পারস্পরিক সম্পর্ক গরম রেখার কিছু প্রমাণ সরবরাহ করবে। যাইহোক, একটি বিকল্প ব্যাখ্যা হ'ল এমন কিছু অন্যান্য পদ্ধতিগত প্রভাব রয়েছে যা আপনি বাদ দেননি।

Comments

নিয়মিত অংশের জন্য +1। আমি মনে করি এই ক্ষেত্রে এটি পারফরম্যান্সের পরিবর্তনের সর্বোত্তম ব্যাখ্যা।

— এমপিক্টাস

গবেষকরা কীভাবে এই প্রশ্নটি তদন্ত করেছেন তা দেখতে চাইবেন। একটি ক্লাসিক হ'ল গিলোভিচ, টি।, ভ্যালোন, আর ও ট্রভারস্কি, এ।, বাস্কেটবলের দুর্দান্ত হাত: এলোমেলো সিকোয়েন্সগুলির ভুল ধারণা নিয়ে। জ্ঞানীয় মনোবিজ্ঞান 17, 295-314 (1985)।

— dmk38

Answer 3

আপনার প্রক্রিয়াটির জন্য সংশোধনগ্রাম গণনা করুন । যদি আপনার প্রক্রিয়াটি গাউসিয়ান হয় (এটি আপনার নমুনার চেহারা অনুসারে) তবে আপনি নিম্ন / উপরের সীমানা (বি) স্থাপন করতে পারেন এবং প্রদত্ত লেগের পারস্পরিক সম্পর্ক গুরুত্বপূর্ণ কিনা তা পরীক্ষা করতে পারেন। লেগ 1 এ ইতিবাচক স্বতঃসংশ্লিষ্টতা "ভাগ্যের ধারা" এর অস্তিত্ব নির্দেশ করবে।

Comments

ইতিবাচক স্বতঃসংশোধন যেমন শিখার প্রক্রিয়া হিসাবে অন্যান্য নিয়মতান্ত্রিক প্রভাব থেকেও আসতে পারে। আমি মনে করি একটি "হট স্ট্রাইক" এর প্রমাণ হিসাবে অটো-পারস্পরিক সম্পর্ককে ব্যাখ্যা করার আগে এই জাতীয় প্রভাবগুলি অপসারণ করা গুরুত্বপূর্ণ।

— জেরোমি অ্যাংলিম