ডেটাসেট পরিবর্তনের পরে পুরানো স্ট্যান্ডার্ড বিচ্যুতি ব্যবহার করে নতুন স্ট্যান্ডার্ড বিচ্যুতির গণনা

Question

আমি একটি অ্যারে আছে বাস্তব মূল্যবোধ, যা গড় রয়েছে এবং মানক চ্যুতির । অ্যারে এর একটি উপাদান যদি অন্য উপাদান দ্বারা প্রতিস্থাপিত হয় , তবে নতুন গড় হবে$n$$\mu_{old}$$\sigma_{old}$$x_i$$x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

এই পদ্ধতির সুবিধা হ'ল এর মান নির্বিশেষে ধ্রুবক গণনা প্রয়োজন । সেখানে নিরূপণ করা কোনো পন্থা ব্যবহার এর গণনার মত ব্যবহার \ mu_ {পুরাতন} ?$n$$\sigma_{new}$$\sigma_{old}$$\mu_{new}$$\mu_{old}$

Comments

এই হোমওয়ার্ক হয়? আমাদের গাণিতিক পরিসংখ্যানের কোর্সে খুব অনুরূপ একটি কাজ জিজ্ঞাসা করা হয়েছিল ...

— krlMLr

@ ব্যবহারকারী946850: না, এটি হোমওয়ার্ক নয়। আমি বিবর্তনীয় অ্যালগরিদমের উপর আমার থিসিস পরিচালনা করছি । জনসংখ্যার বৈচিত্র্যের পরিমাপ হিসাবে আমি স্ট্যান্ডার্ড বিচ্যুতিটি ব্যবহার করতে চাই। আরও কার্যকর সমাধান সন্ধান করছি।

— ব্যবহারকারী

এসডি হ'ল বৈকল্পিকের বর্গমূল, যা কেবলমাত্র গড় স্কোয়ার মান হয় (স্কোয়ারের গড়ের একাধিক দ্বারা সামঞ্জস্য হয়, যা আপনি ইতিমধ্যে আপডেট করতে জানেন)। সুতরাং, চলমান গড় গণনা করতে ব্যবহৃত একই পদ্ধতিগুলি চলমান বৈকল্পিক গণনা করতে কোনও মৌলিক পরিবর্তন ছাড়াই প্রয়োগ করা যেতে পারে। প্রকৃতপক্ষে, একই ধারণা ব্যবহার করে একটি অনলাইন ভিত্তিতে আরও অনেক পরিশীলিত পরিসংখ্যান গণনা করা যেতে পারে: উদাহরণস্বরূপ stats.stackexchange.com/questions/6920 এবং stats.stackex بدل . com / questions/ 23481 এ থ্রেড দেখুন ।

— whuber

@ হুইবার: এটি উইকিপিডিয়া প্রবন্ধে ভেরিয়েন্সের জন্য উল্লেখ করা হয়েছে , তবে ঘটতে পারে বিধ্বংসী বাতিলকরণ (বা তাত্পর্য হ্রাস) সম্পর্কে একটি নোট সহ। এটি কি ওভাররেড, বা চলমান বৈকল্পিকতার জন্য একটি আসল সমস্যা?

— krlMLr

এটি একটি দুর্দান্ত প্রশ্ন। আপনি যদি আগেভাগে এটিকে কেন্দ্র করে না রেখে নির্লিপ্তভাবে বৈকল্পগুলি সংগ্রহ করেন তবে আপনি অবশ্যই সমস্যায় পড়তে পারেন। সমস্যাগুলি ঘটে যখন সংখ্যাগুলি বিশাল হয় তবে তাদের প্রকরণটি ছোট হয়। উদাহরণস্বরূপ, 299792458.145, 299792457.883, 299792457.998, ... এর হিসাবে মি / সেকেন্ডে আলোর গতির সঠিক পরিমাপের একটি সিরিজ বিবেচনা করুন: ... তাদের বিবর্তন, যা 0.01 এর কাছাকাছি, তাদের স্কোয়ারের তুলনায় এত ছোট, যা প্রায় , যে অযত্ন গণনা (এমনকি দ্বিগুণ নির্ভুলতার মধ্যে) শূন্য প্রকরণের ফলস্বরূপ: সমস্ত উল্লেখযোগ্য অঙ্কগুলি বিলুপ্ত হবে। $10^{17}$

— হোয়বার

Answer 1

"ভেরিয়েন্স গণনার জন্য অ্যালগরিদম" উইকিপিডিয়া নিবন্ধের একটি বিভাগ দেখায় যে উপাদানগুলি যদি আপনার পর্যবেক্ষণে যুক্ত করা হয় তবে কীভাবে বৈকল্পিকটি গণনা করতে হবে। (স্মরণ করুন যে স্ট্যান্ডার্ড বিচ্যুতিটি ।) ধরে নিন যে আপনি আপনার অ্যারেতে যুক্ত করেন , তারপরে$x_{n+1}$

$$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$$

সম্পাদনা : উপরের সূত্রটি ভুল বলে মনে হচ্ছে, মন্তব্য দেখুন।

এখন, কোনও উপাদান প্রতিস্থাপনের অর্থ একটি পর্যবেক্ষণ যুক্ত করা এবং অন্য একটি অপসারণ; উভয়ই উপরের সূত্রের সাথে গণনা করা যায়। তবে, মনে রাখবেন যে সংখ্যাগত স্থায়িত্বের সমস্যাগুলি হতে পারে; উদ্ধৃত নিবন্ধটি সংখ্যাগতভাবে স্থিতিশীল রূপগুলির প্রস্তাব দেয় oses

সূত্রটি নিজেই উত্সাহিত করতে, উপযুক্ত হওয়ার সময় আপনি যে সূত্রটি দিয়েছিলেন সেই নমুনা বৈকল্পিকের সংজ্ঞা এবং বিকল্প e n e w ব্যবহার করে গণনা করুন । এই আপনি দেয় σ 2 এন ই W - σ 2 ণ ঠ ঘ শেষ জন্য একটি সূত্র, এবং এইভাবে σ এন ই W দেওয়া σ ণ ঠ ঘ এবং$(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$$\mu_{new}$$\sigma_{new}^2 - \sigma_{old}^2$$\sigma_{new}$$\sigma_{old}$ । আমার স্বরলিপি, আমি তোমাদের উপাদান প্রতিস্থাপন অনুমান এক্স এন দ্বারা এক্স ' এন :$\mu_{old}$$x_n$$x_n'$

$$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\ $$

সমষ্টি মধ্যে কিছু নির্ভরশীল রুপান্তর μ ণ ঠ ঘ , কিন্তু আপনি সমীকরণ কাজ করার জন্য একটি সামান্য বিট আরো একটি ঝরঝরে ফলাফলের আহরণ করতে হবে। এটি আপনাকে সাধারণ ধারণা দেয় should$x_k$$\mu_{old}$

Comments

প্রথম সূত্র আপনার দেওয়া সঠিক বলে মনে হচ্ছে না, ভাল এটা মানে যে যদি উভয় নতুন এবং পুরোনো গড় থেকে ক্ষুদ্রতর / বড় হলে, ভ্যারিয়েন্স সবসময় বেড়ে যায়, যা কোনো অর্থে দেখা যায় না। এটি বিতরণের উপর নির্ভর করে বৃদ্ধি বা হ্রাস পেতে পারে। $x_{n+1}$

— এমমেট বি

@ এমমেটবি: হ্যাঁ, আপনি ঠিক বলেছেন - এটি সম্ভবত দুর্ভাগ্যক্রমে, এটি আমার পুরো আলোচনাটি সেখান থেকে বাতিল করে দেয়, তবে আমি এটি historicতিহাসিক উদ্দেশ্যে ছেড়ে চলেছি। নির্দ্বিধায় সম্পাদনা করুন, যদিও। $\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

— krlMLr

Answer 2

আমি যে লিঙ্কযুক্ত উইকিপিডিয়া নিবন্ধটি পড়ছি তার ভিত্তিতে আপনি একটি "চলমান" মানক বিচ্যুতি বজায় রাখতে পারবেন:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

যদিও নিবন্ধে তারা পৃথক চলমান বজায় রাখে না sumএবং countপরিবর্তে একক থাকে mean। যেহেতু আমি আজ যা করছি তা আমি একটি count(পরিসংখ্যানগত উদ্দেশ্যে) রাখি, তাই প্রতিবার মাধ্যমগুলি গণনা করা আরও কার্যকর।

Answer 3

$\bar x$$s$$n$$x_n$$x_n'$$s'$

$$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$$ $\Delta \bar x = \bar x' - \bar x$, with $\bar x'$ denoting the new mean.

Maybe there is a snazzier way of writing it?

I checked this against a small test case and it seemed to work.

Comments

@john / whistling in the Dark: I liked your answer, it seems work properly in my small dataset. Is there any mathematical foundation/reference on it? Could you kindly help?

— Alok Chowdhury

The question was all @Whistling in the Dark, I just cleaned it up for the site. You should pose a new question referencing the question and answer here. And also you should upvote this answer if you feel that way.

— John