সম্ভাবনা ফাংশন পিডিএফ না হওয়ার কারণ কী?

57

সম্ভাবনা ফাংশন পিডিএফ (সম্ভাব্যতা ঘনত্ব ফাংশন) না হওয়ার কারণ কী?

likelihood pdf

6

সম্ভাবনা ফাংশন অজানা প্যারামিটারের একটি ফাংশন (ডেটার উপর নিয়ন্ত্রিত)। যেমনটি সাধারণত এর ক্ষেত্রফল 1 থাকে না (অর্থাত্ এর সমস্ত সম্ভাব্য মানের চেয়ে অবিচ্ছেদ্য ) হয় না এবং তাই সংজ্ঞায় পিডিএফ নয় not

θ

$\theta$

θ

$\theta$

— MånsT

3

এমও-তে একই প্রশ্ন 2 বছর আগে: mathoverflow.net/questions/10971/…

— ডগলাস জারে

3

আকর্ষণীয় উল্লেখ, @ ডগলাস। উত্তরগুলি বরং অসন্তুষ্টিজনক, আইএমএইচও। গৃহীত ব্যক্তি এমন জিনিসকে ধরে নিয়েছে যা ঠিক সত্য নয় ("উভয় এবং পিডিএফএস": নয় !) এবং অন্যরা সত্যই স্ট্যাটিস্টিকাল বিষয়গুলিতে আসে না।

p (X | m)

$p(X|m)$

p (m | X)

$p(m|X)$

— whuber

2

+1 হুইবার এটি আশ্চর্যজনক যে ম্যাথওভারফ্লো সাইটে এতগুলি উচ্চতর গাণিতিক স্তর সত্ত্বেও এত খারাপ উত্তর রয়েছে!

— স্টাফেন লরেন্ট

1

@ স্টাফেন: এটি সত্য, তবে পরিসংখ্যানবিদরা এবং এমনকি সম্ভাব্যবিদরাও বেশ কয়েকটি উল্লেখযোগ্য ব্যতিক্রম ব্যতীত এমও-তে বেশ কিছুটা এবং অনেকটা দূরের বলে মনে করছেন। এই প্রশ্নটি এমও এর অস্তিত্বের প্রথম দিক থেকেই যখন সাধারণভাবে গ্রহণযোগ্য প্রশ্ন এবং উত্তরগুলির গুণমান উভয়ই আলাদা ছিল।

— কার্ডিনাল

61

আমরা দুটি সংজ্ঞা দিয়ে শুরু করব:

একটি সম্ভাব্য ঘনত্ব ফাংশন (পিডিএফ) একটি অ-নেতিবাচক ফাংশন যা সংহত করে । $1$
প্যারামিটারের ক্রিয়া হিসাবে পর্যবেক্ষণ করা ডেটার যৌথ ঘনত্ব হিসাবে সম্ভাবনাটি সংজ্ঞায়িত করা হয়। তবে, নীচে একটি মন্তব্যে @ শুভর দ্বারা তৈরি লেহম্যানের রেফারেন্স অনুসারে যেমন নির্দেশিত হয়েছে, সম্ভাব্যতা ফাংশনটি কেবলমাত্র প্যারামিটারের একটি ফাংশন, নির্দিষ্ট স্থির হিসাবে রাখা ডেটা সহ the সুতরাং এটি যে তথ্য একটি ফাংশন হিসাবে এটি একটি ঘনত্ব অপ্রাসঙ্গিক।

সুতরাং, সম্ভাবনা ফাংশনটি পিডিএফ নয় কারণ প্যারামিটারের সাথে এর অবিচ্ছেদ্য অগত্যা 1 এর সমান হয় না (এবং এটি কোনওভাবেই সংহত হতে পারে না, আসলে @Whuber এর অন্য মন্তব্যে উল্লেখ করা হয়েছে)।

এটি দেখতে, আমরা একটি সাধারণ উদাহরণ ব্যবহার করব। ধরুন আপনি একটি একক পর্যবেক্ষণ, আছে , একটি থেকে বন্টন। তাহলে সম্ভাবনা ফাংশন হয় $x$ ${\rm Bernoulli}(\theta)$

L (θ) = θ^{x} (1 - θ)^{1 - x}

$L(\theta) = \theta^{x} (1 - \theta)^{1-x}$

এটি একটি সত্য যে । বিশেষত, যদি , তবে , তাই $\int_{0}^{1} L(\theta) d \theta = 1/2$ $x = 1$ $L(\theta) = \theta$

\int_{0}^{1} L (θ) d θ = \int_{0}^{1} θ d θ = 1 / 2

$\int_{0}^{1} L(\theta) d \theta = \int_{0}^{1} \theta \ d \theta = 1/2$

হলে একই ধরণের গণনা প্রযোজ্য । সুতরাং, একটি ঘনত্বের ফাংশন হতে পারে না। $x = 0$ $L(\theta)$

সম্ভবত আরও বেশি এই প্রযুক্তিগত দেখাচ্ছে কেন সম্ভাবনা একটি সম্ভাব্যতা ঘনত্ব থেকে দেখান যে নয় উদাহরণস্বরূপ চেয়ে গুরুত্বপূর্ণ সম্ভাবনা নেই না সঠিক হচ্ছে প্যারামিটার মান সম্ভাবনা বা ওই জাতীয় কিছু - এটা সম্ভাব্যতা (ঘনত্ব) হল ডেটার পরামিতি মান দেওয়া , যা সম্পূর্ণ ভিন্ন জিনিস। অতএব সম্ভাব্যতার ঘনত্বের মতো আচরণ করার সম্ভাবনা কার্যটি আশা করা উচিত নয়।

— ম্যাক্রো
সূত্র

12

+1 একটি সূক্ষ্ম বিন্দু হ'ল এমনকি " " এর উপস্থিতিও সম্ভাবনা ফাংশনের অংশ নয় ; এটা কোথাও থেকে আসে। এটি দেখার অনেকগুলি উপায়ের মধ্যে বিবেচনা করুন যে পুনঃনির্মাণটি সম্ভাবনা সম্পর্কে প্রয়োজনীয় কিছু পরিবর্তন করে না - এটি কেবলমাত্র প্যারামিটারটির একটি নতুন নামকরণ - তবে অবিচ্ছেদ্য পরিবর্তন করবে will উদাহরণস্বরূপ, আমরা যদি লগ প্রতিক্রিয়া দিয়ে বার্নোল্লি বিতরণগুলিকে প্যারামিটারাইজ করে থাকি তবে অবিচ্ছেদ্য এমনকি রূপান্তর করতে পারে না।

d θ

$d\theta$

ψ = \log (θ / (1 - θ))

$\psi=\log(\theta/(1-\theta))$

— whuber

3

এটি রাখার একটি উপায়: এমএলইগুলি একঘেয়ে রূপান্তরের আওতায় অন্তর্ভুক্ত তবে সম্ভাবনার ঘনত্ব নয়, কিউইডি! এটি ঠিক ফিশারের যুক্তি ছিল, যা আমি @ মিশেল চেরনিকের জবাবের মন্তব্যে লিখেছি s

— whuber

4

Whuber এর মন্তব্য জন্য +1। " " সাধারণভাবে কোনও ধারণাও পায় না কারণ প্যারামিটার স্পেসে একটি even ফিল্ডও নেই!

d θ

$d\theta$

σ

$\sigma$

— স্টাফেন লরেন্ট

1

@ পেট্রিকক্যালডন সিডিএফ-এ একমাত্র ধারাবাহিকতা বাধা রয়েছে, যার জন্য ডান-ধারাবাহিকতা প্রয়োজন। আপনার এটি দরকার তাই আপনার সম্ভাবনা সংজ্ঞায়িত থেকে আবার সংজ্ঞায়িত হয়ে যায় এবং (সম্ভবত) আবার ফিরে আসে না, যা অদ্ভুত হবে। আমি ১০০% নিশ্চিত নই তবে আমি মনে করি যতক্ষণ আপনার সিডিএফ রয়েছে এবং আপনার সম্ভাবনা রয়েছে ততক্ষণ আপনি এমনকি সমাধান সক্ষম হবেন না । আপনি যদি পারেন তবে এটি নিশ্চিত করে যে আরভি অবিচ্ছিন্ন।

\int_{D} f

$\int_D f$

— জোয়

1

(+1) 10 কে প্রতিনিধি পৌঁছে দেওয়ার জন্য আপনাকে অভিনন্দন জানাতে আমার প্রথম হতে দিন! চমৎকার উত্তর; আপনার দেওয়া উদাহরণটি আমি বিশেষ পছন্দ করি। চিয়ার্স। :)

— কার্ডিনাল

2

ঠিক আছে কিন্তু সম্ভাবনা ফাংশন প্যারামিটার দেওয়া পরিলক্ষিত ডেটার জন্য যৌথ সম্ভাব্যতা ঘনত্ব হয় । এটি একটি সম্ভাব্যতা ঘনত্ব ফাংশন গঠন স্বাভাবিক করা যেতে পারে। সুতরাং এটি মূলত পিডিএফের মতো। $θ$

— মাইকেল চেরনিক
সূত্র

3

সুতরাং, আপনি কেবল দেখিয়েছেন যে প্যারামিটারের সাথে সম্মানের সাথে সম্ভাবনাটি সামঞ্জস্যযোগ্য (এটি কি সর্বদা সত্য?) আমি মনে করি আপনি যখন ফ্ল্যাট পূর্ব ব্যবহার করা হয় তখন উত্তরোত্তর বিতরণের সাথে সম্ভাবনার সম্পর্কের ইঙ্গিত দিচ্ছেন, তবে আরও ব্যাখ্যা না করে এই উত্তরটি আমার কাছে রহস্যজনক থেকে যায়।

— ম্যাক্রো

6

Unityক্যের একীকরণ বিন্দু পাশে। ফিশার, ১৯২২ সালে একটি তাত্ত্বিক পরিসংখ্যানের গাণিতিক ভিত্তি সম্পর্কিত একটি গবেষণাপত্রে পর্যবেক্ষণ করেছেন যে সাধারণত সম্ভবত একটি উপযুক্ত ফাংশন দ্বারা গুণ করার পরে unityক্যের সংহত করার জন্য "স্বাভাবিককরণ" করা যেতে পারে যাতে । তিনি যে বিষয়ে আপত্তি করেছিলেন তা হ'ল স্বেচ্ছাচারিতা : অনেকগুলি যে কাজ করে। "... সম্ভাব্যতা শব্দটি এই জাতীয় সংযোগে ভুলভাবে ব্যবহৃত হয়েছে: সম্ভাবনা হ'ল ফ্রিকোয়েন্সিগুলির একটি অনুপাত এবং এই জাতীয় মানের ফ্রিকোয়েন্সি সম্পর্কে আমরা কিছুই জানতে পারি না।"

L (θ)

$L(\theta)$

p (θ)

$p(\theta)$

\int L (θ) p (θ) d θ = 1

$\int L(\theta)p(\theta)d\theta=1$

p

$p$

— শুক্র

1

@ নেস্টর (এবং মাইকেল) - এটা যে whuber উপস্থিত হয় এবং আমি উভয় কেন জিজ্ঞাসা সম্ভাবনা একটি ঘনত্ব ফাংশন নয়, যেমন এই প্রশ্ন ব্যাখ্যা এর কার্যকারিতা হিসেবে $\theta$ তাই এটি প্রদর্শিত হবে আমরা বিভিন্ন প্রশ্নের উত্তর করা হয়। অবশ্যই সম্ভাবনাগুলি পর্যবেক্ষণগুলির ঘনত্ব ফাংশন (প্যারামিটারের মান দেওয়া হয়) - এটিই এটি সংজ্ঞায়িত করা হয়।

— ম্যাক্রো

2

মাইকেল, আমি আমরা যে ভাবে ব্যাখ্যা করা কারণ সম্ভাবনা একটি ফাংশন মনে তাই হয়, যদি এটি একটি ঘনত্ব ছিল, তাহলে এটি একটি ঘনত্ব হবে । আপনার কাছে যেভাবে ব্যাখ্যা হয়েছে তা আমি ভাবতে পারি তবে নেস্টারের মন্তব্য পড়ার আগে পর্যন্ত আমার কাছে সেই সম্ভাবনাটি ঘটেনি।

θ

$\theta$

θ

$\theta$

— ম্যাক্রো

4

আমি অস্পষ্টতা এই উত্তর দ্বারা তৈরি করা হয়েছে কিন্তু প্রশ্নের উপস্থিত নেই। @ ম্যাক্রো যেমন উল্লেখ করেছে, সম্ভাবনা কেবলমাত্র প্যারামিটারের একটি কাজ । ( যেমন , "ঘনত্ব , স্থায়ী জন্য বিবেচনা এর কার্যকারিতা হিসেবে , বলা হয় সম্ভাবনা ফাংশন এল লেহম্যান: পয়েন্ট প্রাক্কলন তত্ত্ব , বিভাগ 6.2 ।) এইভাবে প্রশ্নটি স্পষ্ট Replying এর উত্তরে, তবে "সম্ভাবনা হ'ল যৌথ সম্ভাবনার ঘনত্ব" বিষয়টি স্পষ্ট করে না তবে বিষয়টি বিভ্রান্ত করে

f (x_{1}, θ) \dots f (x_{n}, θ)

$f(x_1,\theta)\cdots f(x_n,\theta)$

x

$x$

θ

$\theta$

— ub

1

আমি কোনও পরিসংখ্যানবিদ নই, তবে আমার বোধগম্যতা হ'ল সম্ভাবনা কার্যটি প্যারামিটার (গুলি) এর সাথে সম্মত পিডিএফ না হলেও এটি সরাসরি বেয়েস রুলের পিডিএফ সম্পর্কিত। সম্ভাবনা ফাংশন, পি (এক্স | থেটা), এবং উত্তরোত্তর বিতরণ, চ (theta | এক্স), শক্তভাবে সংযুক্ত; মোটেও "সম্পূর্ণ আলাদা জিনিস" নয়।

— santayana
সূত্র

1

আমাদের সাইটে আপনাকে স্বাগতম! আপনি এই থ্রেডে অন্যান্য উত্তরের মন্তব্যে আকর্ষণীয় উপাদান খুঁজে পেতে পারেন। তাদের মধ্যে কেউ কেউ উল্লেখ করেছেন যে অতিরিক্ত গাণিতিক যন্ত্রপাতি সুস্পষ্টভাবে চালু না করা (যেমন প্যারামিটারের জন্য সিগমা ক্ষেত্র) ব্যয়েসের নিয়ম কেন প্রয়োগ হয় না।

— শুক্রবার

ধন্যবাদ @ শুভ থ্রেডে অন্য কোথাও বেয়েসের নিয়মের কোনও উল্লেখ আমি খেয়াল করিনি, তবে আমি মনে করি মন্তব্যে কিছু ধারণা রয়েছে, ধরে নিলাম তাদের মধ্যে গ্র্যাজুয়েট-স্তরের সম্ভাবনা যথেষ্ট হবে (যা আমি নই)। আপনি কি সম্মত হবেন না যে বেইস এর বিধি প্রসঙ্গে সম্ভাব্যতা ফাংশন স্থাপন ওপির প্রশ্নের জন্য দরকারী অন্তর্দৃষ্টি সরবরাহ করে?

— সান্তায়ন

বেইসের নিয়ম প্রয়োগ জন্য সম্ভাব্যতা বন্টনকে ধরে না নিয়েই সম্ভব নয় : এই বন্টনের মধ্যে পার্থক্য এবং একটি ফাংশন হিসাবে ডেটা বিতরণ করার বিষয়টি এই থ্রেডের প্রায় সমস্ত কিছুরই বিষয়। স্পষ্টতই ধরে নিচ্ছি যে আছে বা হতে পারে, যেমন বিতরণ মাইকেল চেরনিকের উত্তরের মন্তব্য থ্রেডে আলোচিত বিভ্রান্তির উত্স। তাই আমি একমত হব যে এই বিষয়টির একটি স্পষ্ট এবং সাবধানী আলোচনা সহায়ক হতে পারে, তবে এর থেকে সংক্ষিপ্ত যে কোনও কিছুই বৃহত্তর বিভ্রান্তি সৃষ্টি করার ঝুঁকিপূর্ণ।

θ

$\theta$

θ

$\theta$

— whuber

আমার ক্ষমাপ্রার্থনা, প্রথম নজরে সেই থ্রেডটি ভুল বোঝাবুঝির চেয়ে কিছুটা বেশি বলে মনে হয়েছিল, তবে এখন আমি প্রাসঙ্গিক মন্তব্যগুলি দেখতে পাচ্ছি, বিশেষত আপনার ফিশারের উদ্ধৃতি। তবে এটি কি কোনও বায়েশিয়ান বনাম ঘন ঘন ঘন বিতর্কে নেমে আসে না? বায়েশিয়ান অনুমানের বিপুল সংখ্যক অনুশীলনকারী নেই যারা থিতায় সম্ভাব্য বন্টনের পক্ষে যুক্তি দেখান? (আপনি যদি তাদের সাথে একমত হন কিনা ...)

— সান্তায়ন

1

হ্যাঁ, বি বনাম এফ বিতর্ক এখানে লুকিয়ে আছে। একজন চিন্তাশীল ঘন ঘন ঘনবাদী খুশিতে বায়েসের বিধিটি ব্যবহার করবেন যখন জন্য পূর্ব বিতরণ গ্রহণের কোনও ভিত্তি রয়েছে , তবে আমাদের পূর্বের অবলম্বন করতে হবে তা অস্বীকার করে বায়েশিয়ানদের অংশ সংস্থাগুলি । এই প্রশ্নটি কীভাবে বর্ণিত হয়েছিল তা থেকে আমরা আমাদের ইঙ্গিত নিতে পারি। যদি এর পরিবর্তে "কেন কেউ সম্ভাবনা ফাংশনটিকে পিডিএফ হিসাবে (পরামিতিগুলির জন্য) বিবেচনা করতে পারে," যদি জিজ্ঞাসা করত, যা এই কথোপকথনটিকে বায়েশিয়ান লাইন ধরে চালিত করতে পারত। কিন্তু এটিকে নেতিবাচকভাবে জিজ্ঞাসা করে, ওপি আমাদের ঘন ঘনবাদী দৃষ্টিকোণ থেকে সম্ভাবনা পরীক্ষা করার জন্য সন্ধান করছিল।

θ

$\theta$

— whuber

1

সম্ভাবনাটিকে হিসাবে সংজ্ঞায়িত করা হয়েছে , যেখানে যদি f (x; θ) একটি সম্ভাব্য ভর ক্রিয়া হয় , তবে সম্ভাবনা সর্বদা একের চেয়ে কম থাকে তবে f (x; θ) যদি সম্ভাবনার ঘনত্বের ক্রিয়া হয় তবে সম্ভাবনাটি একের চেয়ে বেশি হতে পারে, যেহেতু ঘনত্বগুলি একের চেয়ে বেশি হতে পারে। $\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta)$

সাধারণত নমুনাগুলি iid হিসাবে চিকিত্সা করা হয়, তারপরে:
$\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta) = \prod_{j} f(x_j; \theta)$

আসুন এর আসল রূপটি দেখুন:

বায়েশিয়ান অনুমান অনুসারে, ঝুলিতে, যে । লক্ষ্য করুন যে সর্বাধিক সম্ভাবনার প্রাক্কলন প্রমাণের অনুপাতটিকে পূর্বের তুলনায় ধ্রুবক হিসাবে বিবেচনা করে (এই প্রশ্নের উত্তর দেখুন ), যা পূর্বের বিশ্বাসকে বাদ দেয়। সম্ভাবনার উত্তরগুলির সাথে ইতিবাচক সম্পর্ক রয়েছে যা অনুমানিত পরামিতিগুলির উপর ভিত্তি করে। পিডিএফ হতে পারে তবে না হওয়ায় just কেবল of এর একটি অংশ যা অবিচ্ছেদ্য। $f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$ $\hat{\mathcal{L}} = \frac{posterior * evidence}{prior}$ $\hat{\mathcal{L}}$ $\mathcal{L}$ $\mathcal{L}$ $\hat{\mathcal{L}}$

উদাহরণস্বরূপ, আমি কোনও গাউসির বিতরণের গড় এবং মানগত বৈচিত্র জানি না এবং সেই বিতরণ থেকে প্রচুর নমুনা ব্যবহার করে প্রশিক্ষণ নিয়ে সেগুলি পেতে চাই। আমি প্রথমে এলোমেলোভাবে গড় এবং মান পরিবর্তনের সূচনা করি (যা গাউসীয় বিতরণকে সংজ্ঞায়িত করে) এবং তারপরে আমি একটি নমুনা নিয়ে অনুমান করা বিতরণে ফিট করি এবং আনুমানিক বিতরণ থেকে আমি সম্ভাব্যতা পেতে পারি। তারপরে আমি নমুনাটি রেখেছি এবং অনেকগুলি সম্ভাব্যতা পেয়েছি এবং তারপরে আমি এই সম্ভাবনাগুলিকে বহুগুণ করে স্কোর পেয়েছি get এই ধরণের স্কোর সম্ভাবনা। এটি কোনও নির্দিষ্ট পিডিএফের সম্ভাবনা খুব কমই হতে পারে।

— লারনার ঝাং
সূত্র