ফানোর অসমতার একটি কথোপকথন?

10

ফানো-এর বৈষম্যকে বিভিন্ন রূপে বর্ণনা করা যেতে পারে এবং একটি বিশেষভাবে কার্যকর ওডেডেগেভের (একটি সামান্য পরিবর্তন সহ) প্রযোজ্য :

যাক একটি এলোপাতাড়ি ভেরিয়েবলের হবে | যেখানে একটি র্যান্ডম প্রক্রিয়া। একটি পদ্ধতি অস্তিত্ব ধরে প্রদত্ত পুনর্গঠন করতে সম্ভাব্যতা সঙ্গে । তারপরে $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

অন্য কথায়, আমি যদি পুনর্গঠন করতে পারি তবে সিস্টেমে প্রচুর পারস্পরিক তথ্য রয়েছে।

ফ্যানোর অসমতার জন্য কি কোনও "কথোপকথন" রয়েছে: রূপের কিছু

"পর্যাপ্ত পারস্পরিক তথ্য সহ একটি চ্যানেল দেওয়া হয়েছে, পারস্পরিক তথ্যের উপর নির্ভর করে ত্রুটিযুক্ত আউটপুট থেকে ইনপুট পুনর্গঠন করার একটি পদ্ধতি রয়েছে"

এই প্রক্রিয়াটিও দক্ষ হবে এমনটি আশা করা খুব বেশি হবে, তবে পুনর্গঠনটি উপস্থিত রয়েছে তবে (প্রাকৃতিক) উদাহরণগুলি দেখতে আকর্ষণীয় হবে তবে অবশ্যই এটি অকার্যকর হতে হবে।

it.information-theory randomized-algorithms

— সুরেশ ভেঙ্কট
সূত্র

12

নীচের পুনর্গঠন পদ্ধতি বিবেচনা করুন : প্রদত্ত , আউটপুট যেমন সর্বাধিক করা হয়েছে। এই পদ্ধতিটি সফল হওয়ার সম্ভাবনাটি হ'ল । এই হল , যেখানে হয় সর্বনিম্ন-এনট্রপি এলোপাতাড়ি ভেরিয়েবলের উপর নিয়ন্ত্রিত । আমরা জানি যে , যেখানে হল র্যান্ডম ভেরিয়েবল এর মানক শ্যানন এনট্রপি । এখন আমাদের কেবল উপরের আবদ্ধ $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ পারস্পরিক তথ্যের ক্ষেত্রে । $I(X:Y)$

লিখুন । উপরে বর্ণিত অসমতা ব্যবহার করে, , বা । $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

সম্ভাব্যতা যে পদ্ধতি সফল যেখানে এবং এলোমেলোভাবে নির্বাচিত হয় , যা খোল দ্বারা অন্তত হয় । এভাবে সম্ভাব্যতা প্রক্রিয়া সফল অন্তত হয় । $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

এই পদ্ধতি অনুকূল হল: কোন যদৃচ্ছতা পদ্ধতি দেওয়া , সাফল্য সম্ভাব্যতা , যা নির্ধারিতভাবে সম্ভবত সম্ভাব্য ছাড়িয়ে যায় যখন পয়েন্ট-ওয়াইজ সর্বাধিক হয় । $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— হেনরি ইউয়েন
সূত্র

1

সুতরাং, একটি যুক্তিযুক্ত বিবৃতি আছে যা এই তর্কটি অনুসরণ করে ফানো-এর অসমতার একটি রূপান্তর?

— মোবিয়াস ডামলিং

পরিমাণগত বলতে কী বোঝ? উপরে আমি যে যুক্তি দিয়েছি তা বলা উচিত, "পারস্পরিক তথ্য সহ একটি চ্যানেল দেওয়া হয়েছে , ত্রুটিযুক্ত একটি পুনর্নির্মাণের পদ্ধতি রয়েছে সর্বাধিক " "

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— হেনরি ইউয়েন

2

সুন্দর উত্তর এবং প্রমাণ। সুতরাং, আপনার উত্তরের আবারও লেখা যেতে পারে থেকে । এটি আইইইই আইএসআইটি 1994-এ বাউমারের একটি বক্তৃতায় আমার জ্ঞানের সেরা অংশে উপস্থিত হয়েছিল।

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

অনুরূপ শিরাতে, কেউ যেখানে রয়েছে অর্ডার রেনি এনট্রপি yএখানে, তাই আবদ্ধ (2) (1) এর চেয়ে বেশি শক্ত।

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
সূত্র