95 তম পার্সেন্টাইল গণনা করা হচ্ছে: সাধারণ বিতরণ, আর কোয়ান্টাইল এবং এক্সেল পদ্ধতির তুলনা

আমি নিম্নলিখিত ডেটাসেটে 95 তম পার্সেন্টাইল গণনা করার চেষ্টা করছিলাম। আমি এটি করার কয়েকটি অনলাইন রেফারেন্স জুড়ে এসেছি।

পদ্ধতির 1: নমুনা তথ্যের উপর ভিত্তি করে

প্রথম এক আমাকে বলে প্রাপ্ত TOP 95 Percentডেটাসেটের এবং তারপর চয়ন MINবা AVGপরিসমাপ্তি সেটের। নিম্নলিখিত ডাটাসেটের জন্য এটি করা আমাকে দেয়:

AVG: 29162
MIN: 0

পদ্ধতির ২: সাধারণ বন্টন অনুমান করুন

দ্বিতীয় বলছেন যে 95 তম পার্সেন্টাইলের গড় উপরে আনুমানিক দুই স্ট্যান্ডার্ড ডেভিয়েশন (যা আমি বুঝতে) এবং আমি সঞ্চালিত:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

পদ্ধতির 3: আর কোয়ান্টাইল

আমি R95 তম পার্সেন্টাইল পেয়েছিলাম:

> quantile(data$V1, 0.95)
79515.2

পদ্ধতির 4: এক্সেলের পন্থা

অবশেষে, আমি জুড়ে এসেছিল এই এক, ব্যাখ্যা করেছেন যে কিভাবে এক্সেল এটা আছে। পদ্ধতির সংক্ষিপ্তসার নিম্নরূপ:

অর্ডারযুক্ত Nমানগুলির একটি সেট {v[1], v[2], ...}এবং pthশতাংশের গণনা করার জন্য একটি প্রয়োজনীয়তা দেওয়া হয়েছে , নিম্নলিখিতটি করুন:

হিসাব l = p(N-1) + 1
lপূর্ণসংখ্যা এবং দশমিক উপাদানগুলিতে বিভক্ত করুনl = k + d
প্রয়োজনীয় মান হিসাবে গণনা করুন V = v[k] + d(v[k+1] - v[k])

এই পদ্ধতিটি আমাকে দেয় 79515.2

আমি আর এর মান বিশ্বাস করি যদিও মানগুলির কোনওটিই মেলে না (এটি আমি ইসিডিএফ প্লট থেকেও পর্যবেক্ষণ করেছি)। আমার লক্ষ্য একটি দেওয়া ডেটাसेट থেকে ম্যানুয়ালি (শুধুমাত্র AVGএবং STDEVফাংশনগুলি ব্যবহার করে) 95 তম পার্সেন্টাইল গণনা করা এবং এখানে কী চলছে তা সত্যই নিশ্চিত নই। কেউ দয়া করে বলতে পারেন আমি কোথায় ভুল করছি?

r dataset quantiles sql

— কিংবদন্তি
সূত্র

আপনার প্রথম পদ্ধতির নতুন করে লেখা দরকার: এটি "শীর্ষের 5% মানের নিতে এবং সেগুলির সর্বনিম্ন সন্ধান করতে" হতে পারে, এক্ষেত্রে 79586, বা "নীচের অংশে 95% নিয়ে যান এবং তাদের সর্বাধিক সন্ধান করুন", এই ক্ষেত্রে 79535.

— হেনরি

উত্তর:

প্রথম মতামত সম্পূর্ণ ভুল এবং আমার মতে 95 তম পার্সেন্টাইলের সাথে কোনও সম্পর্ক নেই nothing

দ্বিতীয় পদ্ধতিটি এই ধারণার উপর ভিত্তি করে মনে হয় যে ডেটা সাধারণত বিতরণ করা হয় তবে এটি 2 মানক বিচ্যুতি নয়, গড়ের চেয়ে 1.645 স্ট্যান্ডার্ড বিচ্যুতি হওয়া উচিত এবং দেখে মনে হচ্ছে আপনি এটি উপলব্ধি করেছেন। যদি তথ্যটি সাধারণত বিতরণ না করা হয় তবে এটি একটি দুর্বল পদ্ধতি।

যদি আপনি নিজের 95 তম পারসেন্টাইল নিজেই কাজ করতে চান, তবে সবচেয়ে ছোট থেকে বৃহত্তম পর্যন্ত সংখ্যাগুলি অর্ডার করুন এবং এমন একটি মান সন্ধান করুন যে 95% উপাত্ত সেই মানের নীচে। আর সম্ভবত ডেটা পয়েন্টগুলির মধ্যে কিছু ধরণের ইন্টারপোলেশন ব্যবহার করে। একটি সাধারণ অনুমান হতে পারে sort(data$V1)[0.95*length(data$V1)]।

@ ম্যাক্রো থেকে মন্তব্য করার পরে সম্পাদিত।

— mark999
সূত্র

আপনার সমাধানটি data$V1পূর্ব-বাছাই করা প্রয়োজন। আরও সাধারণভাবে, sort(data$V1)[.95*length(data$V1)]আপনি চান আনুমানিক হয়। যাইহোক, যদি .95*length(data$V1)কোনও পূর্ণসংখ্যা না হয় তবে এটি সূচীকরণের সময় কেবল নিকটতম পূর্ণসংখ্যার দিকেই চলে যায় sort(data$V1), সুতরাং এই ক্ষেত্রে এই সান্নিধ্যটি সর্বদা হ্রাস পাবে।

— ম্যাক্রো

আপনার মন্তব্যের জন্য ধন্যবাদ. আমি অবমূল্যায়ন সম্পর্কে জানতাম, এজন্যই আমি এটিকে একটি সাধারণ অনুমান হিসাবে আখ্যায়িত করেছি, তবে আমি বাছাইয়ের বিষয়টি অন্তর্ভুক্ত করতে ভুলে গেছি। আমি উত্তরটি সম্পাদনা করব।

— 999

@ চিহ্ন 999 এর উত্তর পরিপূরক করতে এখানে কয়েকটি পয়েন্ট।

উইকিপিডিয়ায় পারসেন্টাইল সম্পর্কিত একটি নিবন্ধ রয়েছে যেখানে উল্লেখ করা হয় যে পারসেন্টাইলের কোনও মানক সংজ্ঞা নেই। তবে বেশ কয়েকটি সূত্র নিয়ে আলোচনা করা হয়েছে।
ক্রফোর্ড, জে .; গারথওয়েট, পি। ও স্লিক, ডি। নিউরোপসাইকোলজিতে শতকরা মান সম্পর্কে: প্রস্তাবিত রিপোর্টিং স্ট্যান্ডার্ড এবং পরীক্ষার স্কোরের শতকরা হারের উপর অনিশ্চয়তার পরিমাণ নির্ধারণের পদ্ধতিগুলি ক্লিনিকাল নিউরোসাইকোলজিস্ট, সাইকোলজি প্রেস, ২০০৯, ২৩, ১১73৩-১১৯৫ ( ফ্রি পিডিএফ ) আলোচনা করে মনোবিজ্ঞানের আদর্শ প্রসঙ্গে প্রান্তিকের গণনা।

নিম্নলিখিতটি আরে কয়েকটি জিনিস অনুসন্ধান করে:

ডেটা পান এবং আর কোয়ান্টাইল ফাংশন পরীক্ষা করুন

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) দেখায় যে আর এর নয়টি পৃথক পরিমাণে অনুমানের অ্যালগরিদম রয়েছে।
অন্যান্য আউটপুটটি 9 টি অ্যালগরিদমের জন্য অনুমানিত মান এবং উপাত্তের অনুপাত দেখায় যা অনুমান মানের চেয়ে কম বা সমান (যেমন, সমস্ত মান 95% এর কাছাকাছি)।

সাধারণ বন্টন ধরে নিয়ে তুলনা করুন

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

নমুনা গড় এবং মানক বিচ্যুতির ভিত্তিতে একটি সাধারণ বিতরণের 95 তম পারসেন্টাইলের জন্য খুব আলাদা মান অনুমান করা হয়।
অনুমানিত মানটি নমুনা তথ্যের 84 তম পার্সেন্টাইলের কাছাকাছি।
নীচের প্লটটি দেখায় যে ডেটা স্পষ্টভাবে সাধারণভাবে বিতরণ করা হয় না, এবং এইভাবে ধরে নেওয়া স্বাভাবিকতা ধরে নেওয়া উপর ভিত্তি করে প্রাক্কলনগুলি অনেক দীর্ঘ হতে চলেছে।

চক্রান্ত (ঘনত্ব (x) এর)

এখানে চিত্র বর্ণনা লিখুন

— জেরোমি অ্যাংলিম
সূত্র

খুব সুন্দর উত্তর দিয়েছে। আমি কেবল এটি যোগ করব যে এটি আমার কাছে মনে হয় বেশিরভাগ ক্ষেত্রে 9 টি অনুমানের মধ্যে পার্থক্যটি খুব সামান্য বিষয় হিসাবে এত ছোট।

— পিটার ফ্লুম - মনিকা পুনরায়

কোয়ান্টাইল সম্পর্কিত উইকিপিডিয়া নিবন্ধটি শতকরা একটির চেয়ে ভাল

— হেনরি

আর 75500 থেকে 75600 এর মধ্যে নম্বর দেওয়া উচিত বলে এখানে কিছু ভুল। 1345 টির কিছু মান হারিয়ে গেছে?

— হেনরি

@ হেনরি এর জন্য ধন্যবাদ প্রশ্নের ইনপুট দেওয়ার জন্য প্রদর্শিত লাইনগুলির সংখ্যা হ্রাস করার চেষ্টা করার জন্য, আমি সি (...) কমান্ডটি কেবল কয়েকটি লাইনে রেখেছি। ফলস্বরূপ আমি মনে করি আমি কমান্ড লাইন দৈর্ঘ্যের সীমাবদ্ধতার কিছু ফর্মের মুখোমুখি হয়েছি যা কিছু তথ্য কেটে ফেলছিল। আমি এই সমস্যাটি আগে কখনও দেখিনি কারণ সাধারণত আমার একটি পৃথক ফাইলে এই জাতীয় ডেটা থাকত। আমি আমার স্ক্রিপ্ট এবং আউটপুট আপডেট করেছি যাতে সি (...) কমান্ড এখন 120 লাইন বিস্তৃত হতে পারে; সারকথা দেখতে gist.github.com/1102127

— Jeromy Anglim

+1 অতিরিক্ত তথ্য আপনাকে ধন্যবাদ। আপনি যখন এটি পোস্ট করেছেন ঠিক কৌতূহলের বাইরে আমি কিউকিউ-প্লট ব্যবহার করে বিতরণটির দিকে তাকিয়ে ছিলাম এবং একই সিদ্ধান্তে পৌঁছেছি। সময় দেয়ার জন্য ধন্যবাদ.

— কিংবদন্তি