লোকেরা কেন "প্রমাণের ওজন" শব্দটি ব্যবহার করে এবং কীভাবে এটি "পয়েন্টওয়াইজ মিউচুয়াল তথ্য" থেকে আলাদা?

Question

এখানে, প্রকাশিত বৈজ্ঞানিক ও নীতি নির্ধারণী সাহিত্যে "ওজনের প্রমাণ হিসাবে" (ডাব্লুএইউই) একটি সাধারণ শব্দ, প্রায়শই ঝুঁকি নির্ধারণের প্রসঙ্গে দেখা যায়:

$$w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})}$$

যেখানে প্রমাণ, হল অনুমান।$e$$h$

এখন, আমি জানতে চাই যে পিএমআইয়ের সাথে মূল পার্থক্য কী (পয়েন্টওয়াইজ মিউচুয়াল তথ্য)

$$pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}$$

Comments

আমি বিশ্বাস করি এই কাগজে এই শব্দটি তৈরি করা হয়েছিল: projecteuclid.org/…

— জনরোস

@ জনরোস: যদিও এটি একটি আকর্ষণীয় কাগজ, প্রমাণের ধারণা ওজনের নাম সেখানে রাখা হয়নি। আইজে গুডের একটি বই এটি ১৯৫০ সালে ছাপা হয়েছিল, এবং বলেছে যে তিনি ব্ল্যাচলে পার্কে এ টিউরিং নিজে থেকে ধারণাটি শিখেছিলেন!

— কেজেটিল বি হালওয়ারসন

নোট করুন যে সংজ্ঞায়িত হিসাবে এখানে সংজ্ঞায়িত কেবল লগ সম্ভাবনার অনুপাত। এই সাইটে এটির অনেকগুলি উল্লেখ একটি আলাদা ধারণা, দেখুন stats.stackexchange.com/questions/462052/…

— কেজিটিল বি হালওয়ারসেন

Answer 1

যদিও এগুলি দেখতে একই রকম, তবে তারা একেবারেই আলাদা জিনিস। প্রধান পার্থক্য দিয়ে শুরু করা যাক।

• $h$ পিএমআই এবং ডব্লুওইউতে পিএমআই-তে শব্দটি লক্ষ্য করুন in এটি বোঝায় যে একটি এলোমেলো পরিবর্তনশীল যার মধ্যে আপনি সম্ভাবনাটি গণনা করতে পারেন। একটি Bayesian, যে কোন সমস্যা নেই, কিন্তু যদি আপনি বিশ্বাস করেন না অনুমানের একটি সম্ভাব্যতা থাকতে পারে যে জন্য অবরোহমার্গী আপনি এমনকি পিএমআই হাইপোথিসিস এবং প্রমাণ জন্য লিখতে পারেন। ডাব্লুউইউতে, বিতরণের একটি প্যারামিটার এবং এক্সপ্রেশনগুলি সর্বদা সংজ্ঞায়িত হয়। p ( h ) h h
  $p(h)$$h$$h$

• পিএমআই প্রতিসম হয়,
  ডাব্লুএইউই তুচ্ছ নয়, পিএমআই । যাইহোক, প্রয়োজন মেয়াদের কারণ সংজ্ঞায়িত করা না । এমনকি এটি থাকলেও এটি সাধারণত সমান নয় ।W ( জ : ই ) = লগ পি ( জ | ই ) / পি ( জ | ˉ ই ) ˉ ই W ( ই : জ $pmi(e,h) = pmi(h,e)$$w(h:e) = \log p(h|e)/p(h|\bar{e})$$\bar{e}$$w(e:h)$

তা বাদে ডব্লিউওই এবং পিএমআইয়ের মিল রয়েছে।

প্রমাণের ওজন বলে যে প্রমাণটি একটি অনুমানের পক্ষে কতটা কথা বলে। যদি এটি 0 হয় তবে এর অর্থ হ'ল এটি পক্ষে বা বিপক্ষে কথা বলে না। উচ্চতর তা না হয়, আরো হাইপোথিসিস যাচাই , এবং নিম্ন এটা, এটি আরো যাচাই হয় ।ˉ $h$$\bar{h}$

পারস্পরিক তথ্য কোনও ইভেন্টের ( বা ) অন্যান্য ইভেন্টের উপস্থিতি সম্পর্কে কীভাবে কিছু বলে দেয় তা পরিমাপ করে । যদি এটি 0 হয়, ইভেন্টগুলি স্বাধীন হয় এবং একটির সংঘটন অন্যটির সম্পর্কে কিছুই বলে না। এটি যত বেশি তত বেশি ততবার তারা সহ-সংঘটিত হয় এবং তত কম তত বেশি তারা পারস্পরিক একচেটিয়া হয়।$e$$h$

হাইপোথিসিস একটি এলোমেলো পরিবর্তনশীল এবং উভয় বিকল্পই বৈধ আছে সেগুলি সম্পর্কে কী বলা যায় ? একটি বাইনারি সশব্দ চ্যানেল ওভার communiction মধ্যে উদাহরণস্বরূপ, অনুমান করা হয় ডিকোড করতে নির্গত সংকেত এবং প্রমাণ প্রাপ্ত সংকেত। বলুন যে আলোকসম্পাতের সম্ভাব্যতা , আপনি পাবেন তাই যদি একটি , জন্য দুর্ভোগ হয় । পিএমআই অন্যদিকে, একটি emitting এর proability উপর নির্ভর করে । আপনি যাচাই করতে পারবেন যে যখন নির্গমনের সম্ভাবনা 0 থাকে তখন পিএমআই থাকে , যখন থাকে যখন একটি নির্গত হওয়ার সম্ভাবনা থাকেজ 1 / 1000 1 1 লগ 0.999 / 0.001 = 6.90 1 1 6.90 0 1 $h$$h$$1/1000$$1$$1$$\log 0.999/0.001 = 6.90$$1$$1$$6.90$$0$$1$ ঝোঁক ।$1$

এই বিপরীত আচরণ দুটি বিষয় চিত্রিত করে:

1. এগুলির কোনওটিই নির্গমন সম্পর্কে অনুমান করার পক্ষে উপযুক্ত নয়। একটি emitting সম্ভাবনা যদি নীচের ড্রপ , সম্ভবত নির্গমন হয় এমনকি যখন একটি প্রাপ্তির । তবে emitting ছোট সম্ভাব্যতা জন্য উভয় দুর্ভোগ এবং পিএমআই কাছাকাছি ।1 / 1000 0 1 1 $1$$1/1000$$0$$1$$1$$6.90$

2. অনুমানের উপলব্ধি সম্পর্কে পিএমআই হ'ল (শ্যাননের) তথ্য , যদি অনুমানটি প্রায় নিশ্চিত হয় তবে কোনও তথ্যই লাভ হয় না। ডাব্লুইউই আমাদের পূর্ববর্তী প্রতিক্রিয়াগুলির একটি আপডেট , যা এই প্রতিকূলগুলির মানের উপর নির্ভর করে না।

Comments

এই প্রতীকের জিনিস হতে পারে, কিন্তু WMI মধ্যে, আপনি কিভাবে সংজ্ঞায়িত করবেন সংজ্ঞা ছাড়া ? আপনি কি with নিয়ে যাচ্ছেন না ? পি ( এইচ ) পি ( ই | এইচ ) = পি ( ই , এইচ $p(e|h)$$p(h)$$p(e|h) = \frac{p(e,h)}{p(h)}$

— মাইক

আমি ধরে নিলাম আপনার অর্থ WOE। চিন্তা করুন একটি বিতরণ পরামিতি, উদাহরণস্বরূপ একটি পইসন বিতরণের হিসাবে। এই ক্ষেত্রে কেবলমাত্র সম্ভাবনা এবং আপনার সংজ্ঞায়িত করার দরকার নেই । আসলে আপনার বিশ্বাস করার দরকার নেই যে এর কোনও অর্থ নেই। পি ( ই | এইচ ) পি ( এইচ $h$$p(e|h)$$p(h)$

— gui11aume