"সম্ভাবনা কেবলমাত্র আনুপাতিকতার গুণগত ধ্রুবক পর্যন্ত সংজ্ঞায়িত করা হয়" এর অর্থ কী?

19

আমি এমন একটি কাগজ পড়ছি যেখানে লেখকরা সর্বাধিক সম্ভাবনা অনুমানের আলোচনার ভিত্তিতে বেইসের উপপাদ্যে আলোচনা করছেন, সম্ভবত এটি প্রাথমিকভাবে প্রাথমিকের জন্য একটি ভূমিকা হিসাবে।

সম্ভাবনার উদাহরণ হিসাবে, তারা দ্বিপদী বিতরণ দিয়ে শুরু:

p (x | n, θ) = (\binom{n}{x}) θ^{x} (1 - θ)^{n - x}

$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$

এবং তারপরে উভয় পক্ষের লগ ইন করুন

ℓ (θ | x, n) = x \ln (θ) + (n - x) \ln (1 - θ)

$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$

যুক্তি দিয়ে যে:

"কারণ সম্ভাবনাটি কেবলমাত্র আনুপাতিকতার গুণগত ধ্রুবক (বা লগ-সম্ভাবনার জন্য একটি যুক্ত ধ্রুবক) পর্যন্ত সংজ্ঞায়িত হয়েছে, তাই আমরা পুনরুদ্ধার করতে পারি ... দ্বিপদী গুণাগুণ ফেলে এবং সম্ভাবনার জায়গায় লগ-সম্ভাবনা লিখে"

গণিতটি বোঝায়, তবে আমি বুঝতে পারি না "সম্ভাবনাটি কেবলমাত্র সমানুপাতের গুণিতক ধ্রুবক পর্যন্ত সংজ্ঞায়িত করা হয়" এবং কীভাবে এটি দ্বি দ্বিফলক সহগকে ফেলে দেয় এবং থেকে যেতে দেয় । $p(x|n,\theta)$ $\ell(\theta|x,n)$

অনুরূপ পরিভাষা অন্যান্য প্রশ্নগুলিতে ( এখানে এবং এখানে ) প্রকাশ পেয়েছে , তবে এটি এখনও স্পষ্ট করে দেয় না, কার্যতঃ সম্ভাব্যতাটি সংজ্ঞায়িত করা বা গুণগত ধ্রুবক উপায়ে তথ্য পর্যন্ত আনাও সম্ভব নয়। এটি কি সাধারণ ব্যক্তির শর্তে ব্যাখ্যা করা সম্ভব?

— kmm
সূত্র

18

মুল বক্তব্যটি হ'ল কখনও কখনও, বিভিন্ন মডেল (একই ডেটার জন্য) সম্ভাবনা ফাংশনগুলির দিকে পরিচালিত করতে পারে যা গুণক ধ্রুবক দ্বারা পৃথক হয়, তবে তথ্যের সামগ্রীটি অবশ্যই পরিষ্কারভাবে একই হতে হবে। একটি উদাহরণ:

আমরা স্বতন্ত্র বার্নোল্লি পরীক্ষাগুলি মডেল করি , যার ফলে ডেটা , প্রতিটি বিতরণ (সম্ভাব্যতা) প্যারামিটার । এটি সম্ভাব্য ফাংশনটির দিকে নিয়ে যায় বা আমরা বিতরণযোগ্য ভেরিয়েবল দ্বারা ডেটা সংক্ষিপ্ত করতে পারি , যার দ্বিপদী বিতরণ রয়েছে, সম্ভাবনা ফাংশন leading to to যা নেতৃত্বে , অজানা প্যারামিটার কার্যকারিতা হিসাবে , পূর্বের সম্ভাবনা ফাংশনের সাথে সমানুপাতিক । দুটি সম্ভাবনা ফাংশন স্পষ্টভাবে একই তথ্য রয়েছে, এবং একই সূত্রগুলি দিকে নিয়ে যাওয়া উচিত! $n$ $X_1, \dots, X_n$ $p$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$

Y = X_{1} + X_{2} + \dots + X_{n}

$Y=X_1+X_2+\dotsm+X_n$

(\binom{n}{y}) p^{y} (1 - p)^{n - y}

$\binom{n}{y} p^y (1-p)^{n-y}$

p

$p$

এবং প্রকৃতপক্ষে, সংজ্ঞা অনুসারে, তারা একই সম্ভাবনা ফাংশন হিসাবে বিবেচিত হয়।

আরেকটি দৃষ্টিভঙ্গি: লক্ষ্য করুন যে বায়েসিয়ান বিশ্লেষণের জন্য যখন প্রয়োজনীয় সম্ভাবনা কাজগুলি বয়েস উপপাদ্যে ব্যবহৃত হয়, তখন এই জাতীয় গুণগুলি কেবল বাতিল করে দেয়! সুতরাং তারা বেয়েসিয়ান অনুমানের সাথে স্পষ্টত অপ্রাসঙ্গিক। তেমনিভাবে, সম্ভাবনা অনুপাত গণনা করার সময় এটি বাতিল হয়ে যাবে, যেমন অনুকূল অনুমানের পরীক্ষাগুলিতে ব্যবহৃত হয় (নেইমন-পিয়ারসন লেমা।) এবং এটি সর্বাধিক সম্ভাবনা অনুমানকারীগুলির মানের উপর কোনও প্রভাব ফেলবে না। সুতরাং আমরা দেখতে পাচ্ছি যে প্রায়শই ঘনত্ববাদী অনুভূতিতে এটি কোনও ভূমিকা নিতে পারে না।

আমরা অন্য একটি দৃষ্টিকোণ থেকে তর্ক করতে পারেন। বার্নোল্লি সম্ভাব্যতা ফাংশন (এর পরে আমরা "ঘনত্ব" শব্দটি ব্যবহার করি) গণনা পরিমাপের ক্ষেত্রে সত্যই ঘনত্ব, অর্থাৎ, প্রতিটি অ-নেতিবাচক পূর্ণসংখ্যার জন্য ভর এক সহ অ-নেতিবাচক পূর্ণসংখ্যার উপর পরিমাপ। তবে আমরা কিছু অন্যান্য প্রভাবশালী পরিমাপের ক্ষেত্রে ঘনত্বের সংজ্ঞা দিতে পারতাম। এই উদাহরণে এটি (এবং হয়) কৃত্রিম বলে মনে হবে তবে বৃহত্তর স্পেসে (ফাংশন স্পেস) এটি সত্যই মৌলিক! আমাদের, চিত্রণ উদ্দেশ্যে, নির্দিষ্ট জ্যামিতিক বন্টন, লিখিত ব্যবহার করতে দিন সঙ্গে, , , এবং শীঘ্রই. তারপরে সাথে শ্রদ্ধার সাথে বার্নোল্লি বিতরণের ঘনত্ব $\lambda$ $\lambda(0)=1/2$ $\lambda(1)=1/4$ $\lambda(2)=1/8$ $\lambda$ দেওয়া হয় যার অর্থ এই নতুন, প্রভাবশালী, পরিমাপের সাথে সম্ভাবনা ফাংশনটি (উপরে থেকে স্বরলিপি সহ) হয়ে যায় নোট অতিরিক্ত ফ্যাক্টর । সুতরাং সম্ভাবনা কার্যকারিতা সংজ্ঞা হিসাবে ব্যবহৃত প্রভাবশালী পরিমাপ পরিবর্তন করার সময়, একটি নতুন গুণক ধ্রুবক উত্পন্ন হয়, যা অজানা প্যারামিটার উপর নির্ভর করে না

f_{λ} (x) = p^{x} (1 - p)^{1 - x} \cdot 2^{x + 1}

$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$

P (X = x) = f_{λ} (x) \cdot λ (x)

$P(X=x)= f_\lambda(x) \cdot \lambda(x)$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} 2^{x_{i} + 1} = p^{y} (1 - p)^{n - y} 2^{y + n}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$

2^{y + n}

$2^{y+n}$

p

$p$ , এবং স্পষ্টভাবে অপ্রাসঙ্গিক। গুণনীয় ধ্রুবকগুলি কীভাবে অপ্রাসঙ্গিক হতে হবে তা দেখার এটি অন্য উপায়। এই যুক্তিটি রেডন-নিকোডিয়াম ডেরিভেটিভগুলি ব্যবহার করে সাধারণ করা যেতে পারে (উপরের যুক্তিটি উদাহরণ হিসাবে যেমন))

— কেজেটিল বি হালওয়ারসেন
সূত্র

"তথ্যের বিষয়বস্তু অবশ্যই স্পষ্টভাবে একই হতে হবে" আপনি যদি সম্ভাবনার নীতিতে বিশ্বাস করেন তবেই এটি সত্য!

— jsk

হ্যাঁ, হতে পারে, তবে আমি এটি বাইসিয়ান নীতিগুলি থেকে কীভাবে অনুসরণ করে তা দেখিয়েছি।

— কেজেটিল বি হালওয়ারসেন

@Kjetilbhalvorsen চিন্তাশীল উত্তরের জন্য আপনাকে ধন্যবাদ! আমি এখনও একটি বিষয় সম্পর্কে বিভ্রান্ত হয়েছি কেন বার্নৌলি বিতরণের সম্ভাবনাটিতে দ্বিপদী সহগ অন্তর্ভুক্ত হয় না। আপনার উত্তরটি এটি পরিষ্কার করে দেয় কেন এটি গুরুত্বপূর্ণ নয়, তবে কেন এটি প্রথম স্থানে থাকার সম্ভাবনাটি ছেড়ে দেওয়া হয়েছে তা আমি বুঝতে পারি না।

— jvans

@ জাভানস: এটি কারণ দ্বি-দ্বিফল সহগ অজানা প্যারামিটারের উপর নির্ভর করে না, সুতরাং সম্ভাবনা কার্যকারিতাটির আকারকে প্রভাবিত করতে পারে না

— কেজিটিল বি হালওয়ারসেন

12

এটির মূল অর্থ পিডিএফ সম্পর্কিত কেবল আপেক্ষিক মান। উদাহরণস্বরূপ, স্ট্যান্ডার্ড নরমাল (গাউসিয়ান) পিডিএফ হ'ল: book, আপনার বইটি বলছে যে তারা ব্যবহার করতে পারে পরিবর্তে, কারণ তারা স্কেল, অর্থাত জন্য যত্ন না। $f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ $g(x)=e^{-x^2/2}$ $c=\frac{1}{\sqrt{2\pi}}$

এটি ঘটায় কারণ তারা সম্ভাবনা সর্বাধিক করে তোলে এবং এবং এর একই সর্বোচ্চ থাকে have সুতরাং, সর্বাধিক সমান হবে । সুতরাং, তারা স্কেল সম্পর্কে মাথা ঘামায় না। $c\cdot g(x)$ $g(x)$ $e^{-x^2/2}$ $f(x)$

— Aksakal
সূত্র

6

আমি উদ্ধৃতিটির অর্থ ব্যাখ্যা করতে পারি না, তবে সর্বাধিক সম্ভাবনার অনুমানের জন্য, আমরা সম্ভাবনা ফাংশন সর্বাধিক সন্ধান করতে বেছে নিই তা বিবেচনা করে না ( বা ফাংশন হিসাবে বিবেচিত সর্বাধিক যেখানে কিছুটা ধ্রুবক This এটি কারণ আমরা এর সর্বাধিক মান সম্পর্কে আগ্রহী নই বরং মান যেখানে এই সর্বাধিক ঘটে থাকে এবং উভয় এবং একই maximum at এ তাদের সর্বোচ্চ মান অর্জন করে $L(\mathbf x; \theta)$ $\theta$ $aL(\mathbf x; \theta)$ $a$ $L(\mathbf x; \theta)$ $\theta_{\text{ML}}$ $L(\mathbf x; \theta)$ $aL(\mathbf x; \theta)$ $\theta_{\text{ML}}$ । সুতরাং, গুণক ধ্রুবকগুলি এড়ানো যায়। একইভাবে, আমরা সম্ভাবনা ফাংশন যেকোনও মনোোটোন ফাংশন (যেমন বিবেচনা করতে , সর্বাধিক , এবং এটি থেকে । এর মান নির্ধারণ করুন । লগারিদম জন্য, multipliative ধ্রুবক যুত ধ্রুবক হয়ে এবং এই খুব সর্বোচ্চ অবস্থান খুঁজে বের করার পদ্ধতি উপেক্ষা করা যেতে পারে: একই বিন্দুতে হিসাবে সর্বাধিক করা হয় । $g(\cdot)$ $L(\mathbf x; \theta)$ $g(L(\mathbf x;\theta))$ $\theta_{\text{ML}}$ $a$ $\ln(a)$ $\ln(a)+\ln(L(\mathbf x; \theta)$ $\ln(L(\mathbf x; \theta)$

সর্বাধিক বাঁক আরোহী সম্ভাবনা (MAP) এর প্রাক্কলন, একটি এলোপাতাড়ি ভেরিয়েবলের একটি আদায় হিসেবে গণ্য করা হয় সঙ্গে অবরোহমার্গী ঘনত্ব ফাংশন , ডাটা একটি আদায় হিসেবে গণ্য করা হয় একটি এলোপাতাড়ি ভেরিয়েবলের , এবং সম্ভাবনা ফাংশনের মান বলে মনে করা হয় শর্তাধীন ঘনত্ব এর উপর নিয়ন্ত্রিত ; কন্ডিশনাল ডেনসিটি ফাংশনটি এ মূল্যায়িত করা হয়েছে বলে জানিয়েছে । দ্য $\theta$ $\Theta$ $f_{\Theta}(\theta)$ $\mathbf x$ $\mathbf X$ $f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$ $\mathbf X$ $\Theta = \theta$ $\mathbf x$ পোস্টেরিয়েরি ডেনসিটি হ'ল which যাতে আমরা সংখ্যাকে যৌথ ঘনত্ব হিসাবে চিহ্নিত করি ডেটা এবং পরামিতি অনুমান করা হচ্ছে। বিন্দু যেখানে এর সর্বাধিক মান অর্জন করে এর এমএপি অনুমান , এবং একই আর্গুমেন্ট ব্যবহার করে অনুচ্ছেদে, আমরা দেখতে পাচ্ছি যে আমরা এর ডানদিকে ignore উপেক্ষা করতে পারি $\Theta$

\begin{matrix} (1) & f_{Θ ∣ X} (θ ∣ x) = \frac{f_{X ∣ Θ} (x ∣ Θ = θ) f_{Θ} (θ)}{f_{X} (x)} \end{matrix}

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$

f_{X, Θ} (x, θ)

$f_{\mathbf X, \Theta}(\mathbf x, \theta)$

θ_{MAP}

$\theta_{\text{MAP}}$

f_{Θ ∣ X} (θ ∣ x)

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$

θ

$\theta$

[f_{X} (x)]^{- 1}

$[f_{\mathbf X}(\mathbf x)]^{-1}$

(1)

$(1)$ গুণক ধ্রুবক হিসাবে আমরা যেমন এবং উভয় ক্ষেত্রে গুণক ধ্রুবককে উপেক্ষা করতে পারি । একইভাবে যখন লগ-সম্ভাবনাগুলি ব্যবহার করা হচ্ছে, আমরা অ্যাডিটিভ ধ্রুবকগুলিকে উপেক্ষা করতে পারি।

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$

f_{Θ} (θ)

$f_\Theta(\theta)$

— দিলীপ সরওয়াতে
সূত্র

চিন্তা এই লাইন এছাড়াও বায়েসের মাধ্যমে করা যেতে পারে: আপনি করা

বা

বায়েসের মধ্যে উপপাদ্য না ব্যাপার, নেই

বাতিল করবে, যাতে অবর একই।

L

$L$

a L

$aL$

a

$a$

— কেজেটিল বি হালওয়ারসেন

5

সাধারণ মানুষের শর্তাবলী, আপনি প্রায়শই সর্বাধিক সম্ভাবনা এবং এবং একই সমালোচনামূলক পয়েন্টগুলি সন্ধান করেন। $f(x)$ $kf(x)$

— সের্গিও
সূত্র

3

সুতরাং

এবং

তবে সেগুলি সম্ভাবনার সমতুল্য কাজ নয়

f (x)

$f(x)$

f (x) + 2

$f(x)+2$

— হেনরি

অনুগ্রহ করে, অ্যালেকোস পাপাদোপৌলস তাঁর উত্তরে যেমন লিখেছেন, "সম্ভাবনাটি প্রথমে একটি যৌথ সম্ভাবনার ঘনত্বের ক্রিয়া"। এলোমেলো নমুনার জন্য আইআইডি অনুমানের কারণে, সেই যৌথ ফাংশনটি সহজ ঘনত্বের ফাংশনগুলির একটি পণ্য , তাই গুণক কারণগুলি দেখা দেয়, সংযোজনগুলি হয় না।

— সার্জিও

1

যৌথ ফাংশনটি এমন একটি পণ্য যদি এবং কেবলমাত্র ডেটা স্বাধীন থাকে। তবে এমএলই নির্ভরশীল ভেরিয়েবলগুলিতে প্রসারিত তাই পণ্যের যুক্তিটি আপত্তিহীন বলে মনে হচ্ছে।

— শুক্র

1

আমি সম্ভাবনা ফাংশনে কোনও ধ্রুবক পদ দৃষ্টিকোণ থেকে বাদ না দেওয়ার পরামর্শ দেব (অর্থাত প্যারামিটারগুলিতে অন্তর্ভুক্ত নেই এমন পদ)। সাধারণ পরিস্থিতিতে, তারা সম্ভাবনার প্রভাবিত করে না , যেমনটি ইতিমধ্যে উল্লিখিত হয়েছে। কিন্তু: $\text {argmax}$

অস্বাভাবিক পরিস্থিতি থাকতে পারে যখন আপনাকে সিলিং সাপেক্ষে সম্ভাব্যতা সর্বাধিক করতে হবে - এবং তারপরের মানের গণনায় কোনও ধ্রুবককে অন্তর্ভুক্ত করার জন্য আপনার "মনে রাখা" উচিত।

এছাড়াও, আপনি নন-নেস্টেড মডেলগুলির জন্য মডেল নির্বাচন পরীক্ষা চালিয়ে যাচ্ছেন, প্রক্রিয়াটিতে সম্ভাবনার মানটি ব্যবহার করে - এবং যেহেতু মডেলগুলি নির্ধারিত হয় না কারণ দুটি সম্ভাবনার বিভিন্ন ধাপ থাকে।

এগুলি বাদে বাক্যটি

"কারণ সম্ভাবনাটি কেবলমাত্র আনুপাতিকতার গুণিক ধ্রুবক (বা লগ-সম্ভাবনার জন্য একটি যুক্ত ধ্রুবক) পর্যন্ত সংজ্ঞায়িত হয়েছে"

হয় ভুল কারণ সম্ভাবনা আছে, প্রথম একটি যৌথ সম্ভাব্যতা ঘনত্ব ফাংশন , শুধু "কোনো" উদ্দেশ্য ফাংশন বড় করা হবে না।

— আলেকোস পাপাদোপ্লোস
সূত্র

3

θ

$\theta$

θ

$\theta$

3

L (θ ∣ x) = f (x ∣ θ) .

$L(\boldsymbol \theta \mid \boldsymbol x) = f(\boldsymbol x \mid \boldsymbol \theta).$

1

$1$

1

$1$

1

@ হেরুপআপ আমি ইতিমধ্যে লিখেছি যে এটি প্রয়োজনীয়ভাবে প্যারামিটার জায়গার উপরে একতার সংহত হতে পারে না এবং তাই অবিলম্বে, যখন এটি "পরামিতিগুলির ফাংশন" হিসাবে দেখা হয় তখন এটি একটি "ঘনত্ব ফাংশন" হিসাবে বিবেচিত হতে পারে না।

— অ্যালেকোস পাপাদোপল্লোস

1

হ্যা আমি জানি. আমার বক্তব্যটি হ'ল "সম্ভাবনা ফাংশন একটি ঘনত্বের ফাংশন, প্যারামিটারগুলির ফাংশন হিসাবে দেখা হয়" নিজেই বিভ্রান্তিকর। এরকম কিছু বলা আরও সুস্পষ্ট হবে, "সম্ভাব্যতা কাজটি একটি নির্দিষ্ট নমুনার জন্য পরামিতিগুলির একটি ফাংশন, এবং নমুনার জায়গার তুলনায় যৌথ ঘনত্বের সমতুল্য (বা আনুপাতিক)" "

— হেরোপআপ

1

L (x ∣ θ) f (θ)

$L(x\mid \theta)f(\theta)$

L

$L$

f (θ)

$f(\theta)$

— দিলীপ সরোতে