সম্ভাব্যতা হিসাবে পারস্পরিক তথ্য

যৌথ এনট্রপির উপর পারস্পরিক তথ্যগুলি:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

হিসাবে সংজ্ঞায়িত করা হবে: "এক্স থেকে ওয়াইতে কোনও টুকরো তথ্য পৌঁছানোর সম্ভাবনা"?

আমি এতটা নিখুঁত হওয়ার জন্য দুঃখিত, তবে আমি কখনই তথ্য তত্ত্বটি অধ্যয়ন করি নি, এবং আমি এর কিছু ধারণাগুলি বোঝার চেষ্টা করছি।

information-theory mutual-information

— লুকা মাগি
সূত্র

সিভি, লুকা মাগি স্বাগতম! কি সুন্দর প্রথম প্রশ্ন!

— অ্যালেক্সিস

উত্তর:

আপনি যে পরিমাপটি বর্ণনা করছেন তার নাম ইনফরমেশন কোয়ালিটি রেশিও [আইকিউআর] (বিজয়া, সার্নো এবং জুলাইকা, 2017)। আইকিউআর হ'ল পারস্পরিক তথ্য $I(X,Y)$ "সম্পূর্ণ অনিশ্চয়তা" (যৌথ এনট্রপি) $H(X,Y)$ দ্বারা বিভক্ত (চিত্র উত্স: বিজয়া, সারনো এবং জুলাইকা, 2017)।

বিজয়া, সার্নো এবং জুলাইকা (2017) দ্বারা বর্ণিত হিসাবে,

আইকিউআর এর পরিসীমা $[0,1]$ । DWT তথ্য হারিয়ে না ফেলে কোনও সিগন্যালটিকে পুরোপুরি পুনর্গঠন করতে পারলে সবচেয়ে বড় মান (আইকিউআর = 1) পৌঁছাতে পারে। অন্যথায়, সর্বনিম্ন মান (আইকিউআর = 0) মানে এমডাব্লুটিটি মূল সংকেতের সাথে সামঞ্জস্য নয়। অন্য কথায়, নির্দিষ্ট এমডব্লিউটি সহ একটি পুনর্গঠিত সংকেত মূল সংকেত বৈশিষ্ট্যগুলির সাথে প্রয়োজনীয় তথ্য এবং সম্পূর্ণ পৃথক রাখতে পারে না।

আপনি এটিকে সম্ভাবনা হিসাবে ব্যাখ্যা করতে পারেন যে কোনও তথ্য না হারিয়েই সিগন্যালটি পুরোপুরি পুনর্গঠিত হবে । লক্ষ্য করুন যে এই জাতীয় ব্যাখ্যাটি সম্ভাবনার সাবজেক্টিভিস্ট ব্যাখ্যার কাছাকাছি , তারপরে traditionalতিহ্যগত, ঘনতান্ত্রিক ব্যাখ্যার কাছে।

এটি একটি বাইনারি ইভেন্টের জন্য সম্ভাব্যতা (তথ্যের তুলনায় পুনর্গঠন করা নয়), যেখানে আইকিউআর = 1 এর অর্থ আমরা পুনর্গঠিত তথ্য বিশ্বাসযোগ্য বলে বিশ্বাস করি এবং আইকিউআর = 0 এর অর্থ এর বিপরীত। এটি বাইনারি ইভেন্টগুলির সম্ভাব্যতার জন্য সমস্ত সম্পত্তি ভাগ করে দেয়। তদুপরি, এন্ট্রপিজগুলি সম্ভাব্যতার সাথে আরও অনেকগুলি সম্পত্তি ভাগ করে দেয় (যেমন শর্তসাপেক্ষ এনট্রোপিজের সংজ্ঞা, স্বাধীনতা ইত্যাদি)। সুতরাং এটি একটি সম্ভাবনার মতো দেখায় এবং এর মতো তুচ্ছ করে।

বিজয়া, ডিআর, সারনো, আর।, এবং জুলাইকা, ই। (2017)। মা ওয়েভলেট নির্বাচনের জন্য একটি উপন্যাসের মেট্রিক হিসাবে তথ্য মানের অনুপাত। কেমোমেট্রিক্স এবং বুদ্ধিমান পরীক্ষাগার সিস্টেম, 160, 59-71।

— টিম
সূত্র

কিভাবে IQR ফাংশন জন্য সংজ্ঞায়িত করা হয়

সম্ভাব্যতা পরিমাপ সংজ্ঞায়িত বৈশিষ্ট্য বিরুদ্ধে চেক করতে মতোই খিলখিলিয়ে হাসো? আপনি প্রবর্তন করছি

এবং

সঙ্গে

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

কোথায়বৈশিষ্ট্যযুক্ত ফাংশন?

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

— হান্স

ঠিক আছে, আমার প্রশ্নটি আপনার উত্তরের অংশে পরিচালিত হয়েছে এবং একা একা থাকা প্রশ্ন নয়। আপনি কি পরামর্শ দিচ্ছেন যে আমি একটি নতুন প্রশ্ন খুলি এবং এটি আপনার উত্তরের সাথে সংযুক্ত করে পরিচালনা করব?

— হ্যান্স

@ হান্স আমি যা বলেছি, তা হ'ল এই পরিমাপটি সহজেই সংজ্ঞা অনুসারে ফিট করে, আমি ভুল হলে আমাকে সংশোধন করি। অক্ষ 1. এবং 2 সুস্পষ্ট। অ্যাক্সিয়াম 3 এর জন্য,

ওভারল্যাপ,

মোট স্থান, সুতরাং ভগ্নাংশটি সহজেই সম্ভাবনা হিসাবে দেখা যায়।

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

— টিম

একটি সম্ভাব্যতা একটি নমুনা স্থান এবং তার সিগমা ক্ষেত্র

এ সংজ্ঞায়িত করা হয় । এই সম্ভাব্যতা পরিমাপ আইকিউআরের জন্য এগুলি কী তা নিয়ে আমি বিভ্রান্ত am

এবং

এলোমেলো ভেরিয়েবলের জন্য সম্ভাব্যতা পরিমাপের জন্য ইতিমধ্যে একটি নমুনা স্থান এবং এর সিগমা ক্ষেত্র রয়েছে । নতুন সম্ভাব্যতা পরিমাপের আইকিউআর-এর নমুনা স্থান এবং ক্ষেত্রটি কি

এবং

সাথে সম্পর্কিত পুরানো সম্ভাব্যতা পরিমাপের মতো ? যদি তা না হয় তবে সেগুলি কীভাবে সংজ্ঞায়িত করা হয়? বা, আপনি কি এগুলি সংজ্ঞায়িত করার প্রয়োজন নেই বলছেন? তবে কীভাবে আপনি এটি অলক্ষেত্রের বিরুদ্ধে পরীক্ষা করেন?

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

— হান্স

@ হান্স আমি স্পষ্ট করে বলেছি যে এটি অ্যাকোরিওমের সাথে সামঞ্জস্যপূর্ণ, তবে এটি ঠিক কী হবে তার সম্ভাব্যতা বলা শক্ত। আমি যে ব্যাখ্যাটি প্রস্তাব করেছি তা সম্ভবত পুনর্গঠন সংকেত। এটি এক্স বা ওয়াইয়ের সম্ভাব্য বন্টন নয় I আমি অনুমান করি আপনি এটির ব্যাখ্যা এবং বোঝার আরও গভীরতর দিকে যেতে পারেন। প্রশ্নটি ছিল যদি এটি সম্ভাবনা হিসাবে ব্যাখ্যা করা যায় এবং উত্তরটি হ'ল আনুষ্ঠানিকভাবে হ্যাঁ।

— টিম

এখানে সম্ভাব্যতার সংজ্ঞা দেওয়া আছে। আসুন এখানে স্বরলিপি ব্যবহার করুন। আইকিউআর হ'ল একটি টিউপলের একটি ফাংশন $(\Omega,\mathscr F,P,X,Y)$ (প্রথম তিনটি উপাদান সম্ভাব্যতার জন্য দুটি এলোমেলো ভেরিয়েবল সংজ্ঞায়িত হয়)। একটি সম্ভাব্যতা পরিমাপ একটি সেট ফাংশন হতে হবে যা টিমের জবাব তালিকাভুক্ত সংজ্ঞাটির সমস্ত শর্ত পূরণ করে। এক নির্দিষ্ট করতে হবে $\Theta:=(\Omega,\mathscr F,P,X,Y)$ একটি সেট কিছু উপবিন্যাস হিসেবে $\tilde\Omega$ । অধিকন্তু, সেট $\Theta$ এর $\tilde\Omega$ এর সাবসেটের ক্ষেত্র গঠন করতে হবে এবং $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ টিমের উত্তরে তালিকাভুক্ত সম্ভাব্যতা পরিমাপের সংজ্ঞাতে তালিকাবদ্ধ তিনটি বৈশিষ্ট্যই সন্তুষ্ট করতে হবে। যতক্ষণ না কেউ এই ধরণের অবজেক্ট তৈরি করেন ততক্ষণ পর্যন্ত আইকিউআর সম্ভাব্যতার পরিমাপ বলা ভুল। আমি একজনের পক্ষে এত জটিল সম্ভাবনার পরিমাপের ইউটিলিটিটি দেখতে পাই না (আইকিউআর ফাংশনটি নিজেই নয় তবে সম্ভাব্যতার পরিমাপ হিসাবে)। টিমের উত্তরে উদ্ধৃত কাগজে আইকিউআর বলা হয় না বা সম্ভাব্যতা হিসাবে ব্যবহৃত হয় না বরং একটি মেট্রিক হিসাবে ব্যবহৃত হয় (পূর্ববর্তীটি একজাতীয়, তবে পরবর্তীটি পূর্বের এক প্রকারের নয়)।

অন্যদিকে, একটি তুচ্ছ নির্মাণ রয়েছে যা যে কোনও সংখ্যার সম্ভাবনা হতে পারে। বিশেষ করে আমাদের ক্ষেত্রে, কোনো বিবেচনা । নমুনা স্থান যেমন একটি দুই উপাদান সেট চয়ন করুন , ক্ষেত্র হোক এবং সম্ভাব্যতা পরিমাণ স্থির করে । আমাদের দ্বারা সম্ভাব্য শূন্যতার এক শ্রেণি রয়েছে যার দ্বারা সূচিযুক্ত $[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$ ।

— হান্স
সূত্র

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

এটি একই ক্ষেত্রে যদি আপনি সিগময়েড অ্যাক্টিভেশন ফাংশন শেষে জটিল নিউরাল নেটওয়ার্ক ব্যবহার করেন, আপনি কি প্রমাণ করতে পারবেন যে মেট্রিক-তাত্ত্বিক দিক থেকে আউটপুট সম্ভাবনা আছে ..? তবুও, আমরা প্রায়শই এটি সম্ভাবনা হিসাবে ব্যাখ্যা করতে পছন্দ করি।

— টিম

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

দুঃখিত, তবে আমি এই ধরণের আলোচনা ও পরিমাপ তত্ত্বকে আকর্ষণীয় পাই নি, তাই আমি আরও আলোচনা থেকে সরে আসব। আমি এখানে আপনার বক্তব্যও দেখতে পাচ্ছি না, বিশেষত যেহেতু আপনার শেষ অনুচ্ছেদে খুব ভিক্ষাবৃত্তি থেকে ঠিক একই কথাটি বলেছিলাম বলে মনে হচ্ছে।

— টিম