দ্রষ্টব্য: এই উত্তরের পিছনে কোডটি এখানে পাওয়া যাবে ।
ধরা যাক, লাল এবং নীল দুটি পৃথক গোষ্ঠী থেকে আমাদের কিছু ডেটা নমুনা পেয়েছে:
এখানে, আমরা দেখতে পাচ্ছি যে কোন পয়েন্টটি লাল বা নীল দলের সাথে সম্পর্কিত। এটি প্রতিটি গ্রুপকে চিহ্নিত করে এমন প্যারামিটারগুলি সন্ধান করা সহজ করে তোলে। উদাহরণস্বরূপ, লাল গোষ্ঠীর গড় প্রায় 3 টি, নীল দলের গড় প্রায় 7 টি (এবং আমরা চাইলে সঠিক উপায়টি খুঁজে পেতে পারি))
এটি, সাধারণত বলা হয়, সর্বাধিক সম্ভাবনার অনুমান হিসাবে পরিচিত । কিছু ডেটা দেওয়া, আমরা একটি পরামিতি (বা পরামিতি) এর মান গণনা করি যা সেই ডেটাটিকে সর্বোত্তমভাবে ব্যাখ্যা করে।
এখন কল্পনা করুন যে কোন গ্রুপ থেকে কোন মান নমুনা পেয়েছিল তা আমরা দেখতে পাচ্ছি না । আমাদের কাছে সবকিছু বেগুনি দেখাচ্ছে:
এখানে আমাদের জ্ঞান রয়েছে যে মানগুলির দুটি গ্রুপ রয়েছে তবে আমরা জানি না কোন নির্দিষ্ট মান কোন গ্রুপের অন্তর্ভুক্ত।
আমরা কি এখনও লাল গ্রুপ এবং নীল গোষ্ঠীর জন্য যে উপাত্তগুলিতে এই ডেটা সবচেয়ে ভাল ফিট করে তার উপায়গুলি অনুমান করতে পারি?
হ্যাঁ, প্রায়শই আমরা পারি! প্রত্যাশা ম্যাক্সিমাইজেশন আমাদের এটি করার একটি উপায় দেয়। অ্যালগরিদমের পিছনে সাধারণ ধারণাটি হ'ল:
- প্রতিটি প্যারামিটার কী হতে পারে তার প্রাথমিক অনুমান দিয়ে শুরু করুন।
- প্রতিটি পরামিতি ডেটা পয়েন্ট তৈরি করে এমন সম্ভাবনা গণনা করুন ।
- প্রতিটি ডাটা পয়েন্টের জন্য ওজন গণনা করুন এটি নির্দেশ করে যে এটি প্যারামিটার দ্বারা উত্পাদিত হওয়ার সম্ভাবনার ভিত্তিতে আরও লাল বা আরও নীল কিনা। ডেটা ( প্রত্যাশা ) দিয়ে ওজন একত্রিত করুন ।
- ওজন-সমন্বিত ডেটা ( সর্বাধিককরণ ) ব্যবহার করে প্যারামিটারগুলির জন্য আরও ভাল অনুমানের অঙ্ক করুন ।
- পরামিতি অনুমান একত্রিত না হওয়া পর্যন্ত পদক্ষেপগুলি 2 থেকে 4 পর্যন্ত পুনরাবৃত্তি করুন (প্রক্রিয়াটি একটি পৃথক অনুমান উত্পাদন বন্ধ করে দেয়)।
এই পদক্ষেপগুলির আরও কিছু ব্যাখ্যা প্রয়োজন, সুতরাং আমি উপরে বর্ণিত সমস্যার মধ্য দিয়ে চলব।
উদাহরণ: গড় এবং মানক বিচ্যুতি অনুমান করা
আমি এই উদাহরণে পাইথন ব্যবহার করব, তবে কোডটি বোঝার জন্য আপনি যদি এই ভাষার সাথে পরিচিত না হন তবে মোটামুটি সহজ হওয়া উচিত।
ধরুন উপরের চিত্রের মতো মূল্যবোধগুলি সহ আমাদের দুটি গ্রুপ, লাল এবং নীল রয়েছে। বিশেষত, প্রতিটি গ্রুপের মধ্যে নিম্নলিখিত প্যারামিটারগুলির সাথে একটি সাধারণ বিতরণ থেকে আঁকা একটি মান থাকে :
import numpy as np
from scipy import stats
np.random.seed(110) # for reproducible results
# set parameters
red_mean = 3
red_std = 0.8
blue_mean = 7
blue_std = 2
# draw 20 samples from normal distributions with red/blue parameters
red = np.random.normal(red_mean, red_std, size=20)
blue = np.random.normal(blue_mean, blue_std, size=20)
both_colours = np.sort(np.concatenate((red, blue))) # for later use...
এই লাল এবং নীল গ্রুপগুলির আবার একটি চিত্র এখানে এসেছে (আপনাকে স্ক্রোল আপ থেকে বাঁচাতে):
আমরা যখন প্রতিটি পয়েন্টের রঙ দেখতে পাই (যেমন এটি কোন গ্রুপের অন্তর্ভুক্ত) তখন প্রতিটি দলের জন্য গড় এবং মানক বিচ্যুতি অনুমান করা খুব সহজ। আমরা কেবলমাত্র নিমপায় অন্তর্নির্মিত ফাংশনগুলিতে লাল এবং নীল মানগুলি দিয়েছি। উদাহরণ স্বরূপ:
>>> np.mean(red)
2.802
>>> np.std(red)
0.871
>>> np.mean(blue)
6.932
>>> np.std(blue)
2.195
কিন্তু যদি আমরা পয়েন্টগুলির রঙগুলি দেখতে না পারি ? তা হল, লাল বা নীল পরিবর্তে প্রতিটি পয়েন্ট বেগুনি রঙের হয়েছে।
লাল এবং নীল গ্রুপগুলির গড় এবং মানক বিচ্যুতি পরামিতিগুলি চেষ্টা ও পুনরুদ্ধার করতে আমরা প্রত্যাশা ম্যাক্সিমাইজেশন ব্যবহার করতে পারি।
আমাদের প্রথম পদক্ষেপ ( উপরে 1 ধাপ ) প্রতিটি গ্রুপের গড় এবং মানক বিচ্যুতির জন্য প্যারামিটার মানগুলি অনুমান করা। আমাদের বুদ্ধিমানভাবে অনুমান করার দরকার নেই; আমরা আমাদের পছন্দ মতো কোনও সংখ্যা বাছাই করতে পারি:
# estimates for the mean
red_mean_guess = 1.1
blue_mean_guess = 9
# estimates for the standard deviation
red_std_guess = 2
blue_std_guess = 1.7
এই পরামিতিগুলির অনুমানগুলি বেল বক্ররেখা উত্পন্ন করে যা দেখতে দেখতে এটি:
এগুলি খারাপ অনুমান। উভয় অর্থ (উল্লম্ব বিন্দুযুক্ত রেখাগুলি) উদাহরণস্বরূপ, পয়েন্টের বুদ্ধিমান গোষ্ঠীগুলির জন্য যে কোনও ধরণের "মাঝারি" দেখায় না। আমরা এই অনুমানগুলি উন্নত করতে চাই।
পরবর্তী পদক্ষেপ ( পদক্ষেপ 2 ) হ'ল বর্তমান প্যারামিটার অনুমানের অধীনে উপস্থিত প্রতিটি ডাটা পয়েন্টের সম্ভাবনা গণনা করা:
likelihood_of_red = stats.norm(red_mean_guess, red_std_guess).pdf(both_colours)
likelihood_of_blue = stats.norm(blue_mean_guess, blue_std_guess).pdf(both_colours)
এখানে, আমরা কেবলমাত্র লাল এবং নীল জন্য গড় এবং মানক বিচ্যুতিতে আমাদের বর্তমান অনুমানগুলি ব্যবহার করে একটি সাধারণ বিতরণের জন্য সম্ভাব্যতা ঘনত্ব ফাংশনটিতে প্রতিটি ডেটা পয়েন্ট রেখেছি। এটি আমাদের বলে, উদাহরণস্বরূপ, যে আমাদের বর্তমান অনুমান সঙ্গে 1,761 এ ডেটা বিন্দু অনেক আরো লাল হবে (0.189) নীল চেয়ে (0.00003) সম্ভবত।
প্রতিটি ডেটা পয়েন্টের জন্য, আমরা এই দুটি সম্ভাব্য মানকে ওজনে ( পদক্ষেপ 3 ) রূপান্তর করতে পারি যাতে সেগুলি নীচে হিসাবে 1 এর সমষ্টি হয়:
likelihood_total = likelihood_of_red + likelihood_of_blue
red_weight = likelihood_of_red / likelihood_total
blue_weight = likelihood_of_blue / likelihood_total
আমাদের বর্তমান অনুমান এবং আমাদের নতুন-গণনা করা ওজন সহ, আমরা এখন লাল এবং নীল দলগুলির গড় এবং মানক বিচ্যুতির জন্য নতুন অনুমানটি গণনা করতে পারি ( পদক্ষেপ 4 )।
সমস্ত ডেটা পয়েন্ট ব্যবহার করে আমরা দুটি বার গড় এবং মানিক বিচ্যুতি গণনা করি তবে বিভিন্ন ওজন সহ: একবার লাল ওজনের জন্য এবং একবার নীল ওজনের জন্য।
অন্তর্নিহিতের মূল বিটটি হ'ল কোনও ডেটার পয়েন্টে কোনও রঙের ওজন যত বেশি হয়, ততটাই ডেটা পয়েন্ট সেই রঙের প্যারামিটারগুলির জন্য পরবর্তী অনুমানগুলিকে প্রভাবিত করে। এটি সঠিক দিকের পরামিতিগুলিকে "টান" এর প্রভাব ফেলে।
def estimate_mean(data, weight):
"""
For each data point, multiply the point by the probability it
was drawn from the colour's distribution (its "weight").
Divide by the total weight: essentially, we're finding where
the weight is centred among our data points.
"""
return np.sum(data * weight) / np.sum(weight)
def estimate_std(data, weight, mean):
"""
For each data point, multiply the point's squared difference
from a mean value by the probability it was drawn from
that distribution (its "weight").
Divide by the total weight: essentially, we're finding where
the weight is centred among the values for the difference of
each data point from the mean.
This is the estimate of the variance, take the positive square
root to find the standard deviation.
"""
variance = np.sum(weight * (data - mean)**2) / np.sum(weight)
return np.sqrt(variance)
# new estimates for standard deviation
blue_std_guess = estimate_std(both_colours, blue_weight, blue_mean_guess)
red_std_guess = estimate_std(both_colours, red_weight, red_mean_guess)
# new estimates for mean
red_mean_guess = estimate_mean(both_colours, red_weight)
blue_mean_guess = estimate_mean(both_colours, blue_weight)
পরামিতিগুলির জন্য আমাদের কাছে নতুন অনুমান রয়েছে। এগুলিকে আবার উন্নত করতে আমরা দ্বিতীয় ধাপে ফিরে এসে প্রক্রিয়াটি পুনরাবৃত্তি করতে পারি। অনুমান একত্রিত না হওয়া পর্যন্ত বা কিছু সংখ্যক পুনরাবৃত্তি সম্পন্ন হওয়ার পরে আমরা এটি করি ( পদক্ষেপ 5 )।
আমাদের তথ্যের জন্য, এই প্রক্রিয়াটির প্রথম পাঁচটি পুনরাবৃত্তিগুলি দেখতে দেখতে (সাম্প্রতিক পুনরাবৃত্তির দৃ stronger়তর উপস্থিতি রয়েছে):
আমরা দেখতে পাই যে মাধ্যমগুলি ইতিমধ্যে কিছু মানগুলিতে রূপান্তরিত হচ্ছে এবং বক্ররেখার আকারগুলি (মানক বিচ্যুতি দ্বারা পরিচালিত) এছাড়াও আরও স্থিতিশীল হয়ে উঠছে।
যদি আমরা 20 টি পুনরাবৃত্তির জন্য চালিয়ে যান তবে আমরা নিম্নলিখিতটি দিয়ে শেষ করি:
EM প্রক্রিয়াটি নিম্নলিখিত মানগুলিতে রূপান্তরিত হয়েছে, যা প্রকৃত মানগুলির খুব কাছাকাছি চলে আসে (যেখানে আমরা রঙগুলি দেখতে পারি - কোনও গোপন ভেরিয়েবল নেই):
| EM guess | Actual | Delta
----------+----------+--------+-------
Red mean | 2.910 | 2.802 | 0.108
Red std | 0.854 | 0.871 | -0.017
Blue mean | 6.838 | 6.932 | -0.094
Blue std | 2.227 | 2.195 | 0.032
উপরের কোডটিতে আপনি লক্ষ্য করেছেন যে স্ট্যান্ডার্ড বিচ্যুতির জন্য নতুন অনুমানটি পূর্ববর্তী পুনরাবৃত্তির প্রাক্কলনটি গড় হিসাবে ব্যবহার করে গণনা করা হয়েছিল। পরিশেষে এটির জন্য কিছু আসে যায় না যদি আমরা প্রথমে গড়ের জন্য একটি নতুন মান গণনা করি কারণ আমরা কেবলমাত্র কিছু কেন্দ্রীয় বিন্দুর আশেপাশের মানগুলির (ভারিত) বৈচিত্র খুঁজে পাই। আমরা এখনও পরামিতি রূপান্তর জন্য অনুমান দেখতে পাবেন।