সর্বাধিক সম্ভাবনার প্রাক্কলন বুঝতে কত ক্যালকুলাস প্রয়োজন?

Question

আমি এমএলই শেখার জন্য একটি স্টাডি পরিকল্পনা করার পরিকল্পনা করছি। এটি করার জন্য আমি ক্যালকুলাসের ন্যূনতম স্তরের কী তা বোঝার চেষ্টা করছি যা এমএলই বোঝার জন্য প্রয়োজনীয়।

এমএলই বোঝার জন্য ক্যালকুলাসের বেসিকগুলি (যেমন ন্যূনতম এবং সর্বাধিক কার্যকারিতা সন্ধান করা) বোঝার পক্ষে যথেষ্ট?

Comments

সর্বদা হিসাবে, এটি নির্ভর করে । আপনি যদি কেবলমাত্র মৌলিক বিষয়গুলি বোঝার চেষ্টা করছেন, ফাংশনগুলির চূড়ান্ত সন্ধান করতে সক্ষম হবেন আপনি একটি সুষ্ঠু উপায় পেয়েছেন (যদিও এমএলইর অনেকগুলি ব্যবহারিক ক্ষেত্রে, এল সংখ্যাগতভাবে এম, এটি ক্ষেত্রে আপনার আরও কিছু দক্ষতাও প্রয়োজন কিছু বেসিক ক্যালকুলাস হিসাবে)।

— গ্লেন_বি -রিনস্টেট মনিকা

ধন্যবাদ। আপনি যে বিবরণটি উল্লেখ করেছেন তা কি আপনি আরও বিস্তারিতভাবে ব্যাখ্যা করতে পারেন? এটি আকর্ষণীয় লাগে।

— হিসেলহাইম

ঠিক আছে তবে এখন আমাকে এটির উত্তর দিতে হবে। লেগে থাকা.

— গ্লেন_বি -রিনস্টেট মনিকা

Answer 1

আমার মন্তব্য প্রসারিত - এটি নির্ভর করে। আপনি যদি কেবলমাত্র মৌলিক বিষয়গুলি বোঝার চেষ্টা করছেন, ফাংশনগুলির চূড়ান্ত সন্ধান করতে সক্ষম হবেন আপনি একটি সুষ্ঠু উপায় পেয়েছেন (যদিও এমএলইর অনেকগুলি ব্যবহারিক ক্ষেত্রে, সম্ভাবনাটি সংখ্যাগতভাবে সর্বাধিকতর হয়, এক্ষেত্রে আপনার কিছু অন্যান্য দক্ষতার পাশাপাশি কিছু প্রয়োজন বেসিক ক্যালকুলাস)।

আমি খুব সহজ সরল কেসগুলি বাদ দিচ্ছি যেখানে আপনি স্পষ্ট বীজগণিত সমাধান পাবেন। তবুও, ক্যালকুলাস প্রায়শই খুব কার্যকর।

আমি সর্বত্র স্বাধীনতা গ্রহণ করব। আসুন 1-প্যারামিটার অপ্টিমাইজেশনের সবচেয়ে সহজতম কেসটি নেওয়া যাক। প্রথমে আমরা এমন একটি ক্ষেত্রে সন্ধান করব যেখানে আমরা ডেরাইভেটিভগুলি নিতে পারি এবং প্যারামিটারের একটি ফাংশন এবং একটি পরিসংখ্যান আলাদা করতে পারি।

বিবেচনা করুন $\rm{Gamma}(\alpha,1)$ ঘনত্ব

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

তারপরে আকার $n$ এর একটি নমুনার জন্য , সম্ভাবনা

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

এবং তাই লগ-সম্ভাবনা

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ যেখানে$S_x=\sum_{i=1}^n\ln{x_i}$ । ডেরিভেটিভস গ্রহণ,

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

তাই আপনি যদি আমরা শূন্য যে সেট এবং জন্য সমাধানের চেষ্টা α , আমরা এই পেতে পারেন: ψ ( α ) = Ln জি ( এক্স )$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

যেখানে $\psi(\cdot)$ হ'ল দিগম্ম ফাংশন এবং $G(\cdot)$ হ'ল জ্যামিতিক গড় । আমাদের অবশ্যই ভুলে যাওয়া উচিত নয় যে সাধারণভাবে আপনি কেবল ডাইরিভেটিভকে শূন্যের সাথে সেট করতে পারবেন না এবং আপনি আর্গমে্যাক্সটি সনাক্ত করতে পারবেন বলে আত্মবিশ্বাসী হতে পারেন ; আপনাকে এখনও কোনও উপায়ে দেখাতে হবে যে সমাধানটি সর্বাধিক (এই ক্ষেত্রে এটি হয়)। আরও সাধারণভাবে, আপনি মিনিমা বা অনুভূতির অনুভূমিক পয়েন্ট পেতে পারেন এবং আপনার স্থানীয় সর্বাধিক হলেও আপনার বৈশ্বিক সর্বাধিক নাও থাকতে পারে (যা আমি শেষের দিকে স্পর্শ করি)।

সুতরাং আমাদের টাস্ক মান এটি এখন হয় α , যার জন্য$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

প্রাথমিক ফাংশনগুলির ক্ষেত্রে এটির কোনও সমাধান নেই, এটি অবশ্যই সংখ্যায় গণনা করা উচিত; কমপক্ষে আমরা একদিকে প্যারামিটারের ফাংশন এবং অন্যদিকে ডেটা ফাংশন পেতে সক্ষম হয়েছি। বিভিন্ন শূন্য-সন্ধানকারী অ্যালগরিদম রয়েছে যেগুলি আপনার কাছে সমীকরণটি সমাধানের স্পষ্ট উপায় না থাকলেও ব্যবহার করা যেতে পারে (উদাহরণস্বরূপ, আপনি যদি ডেরাইভেটিভ ছাড়াও হন তবে বাইনারি বিভাগ রয়েছে)।

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

সাধারণভাবে এখানে সম্ভাবনার একটি অনন্য স্থানীয় সর্বাধিক নেই, তবে বেশ কয়েকটি স্থানীয় ম্যাক্সিমা। আপনি যদি কোনও স্থানীয় সর্বাধিক সন্ধান করেন তবে অন্য কোথাও অন্য একটি বড় হতে পারে। (কখনও কখনও লোকেরা মধ্যের নিকটবর্তী স্থানীয় সর্বাধিক নিকটস্থ বা অন্য কোনও জাতীয় চিহ্নিতকরণের দিকে মনোনিবেশ করে))

$(0,\theta)$

অন্যান্য ক্ষেত্রে, পরামিতি স্থানটি পৃথক হতে পারে।

কখনও কখনও সন্ধান সর্বাধিক জড়িত হতে পারে।

এবং এটি কেবলমাত্র একক প্যারামিটারের সাথে বিষয়গুলির নমুনা। যখন আপনার একাধিক পরামিতি থাকে, জিনিসগুলি আবার আরও জড়িত হয়।

Answer 2

$\mathbb{R}^p \to \mathbb{R}$

লোগারিদম সহ কিছু সুবিধা অবশ্যই সহায়ক হবে, কারণ সম্ভাবনার লগারিদমকে সর্বাধিক করে তোলা সম্ভবত সম্ভাবনাটি সর্বাধিক করার চেয়ে অনেক সহজ।

$\mathbb{R}^p \to \mathbb{R}$