রেনি এন্ট্রোপিসের ইউটিলিটি?

14

আমাদের মধ্যে বেশিরভাগ লোক এলোমেলো ভেরিয়েবলের শ্যানন এনট্রপির সাথে - বা কমপক্ষে শুনেছেন -, , এবং সমস্ত সম্পর্কিত তথ্য-তাত্ত্বিক ব্যবস্থা যেমন আপেক্ষিক এনট্রপি, পারস্পরিক তথ্য এবং আরও অনেক কিছু। এন্ট্রপির আরও কয়েকটি ব্যবস্থা রয়েছে যা সাধারণত তাত্ত্বিক কম্পিউটার বিজ্ঞান এবং তথ্য তত্ত্বে ব্যবহৃত হয়, যেমন একটি এলোমেলো ভেরিয়েবলের ন্যূনতম এনট্রপি। $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$

আমি সাহিত্যের ব্রাউজ করার সাথে সাথে এই তথাকথিত রেনিই এন্ট্রোপিজগুলি প্রায়শই দেখতে শুরু করেছি । তারা শ্যানন এনট্রপি এবং ন্যূনতম-এনট্রপিকে সাধারণীকরণ করে এবং বাস্তবে একটি এলোমেলো পরিবর্তনশীলের এনট্রপিক ব্যবস্থাগুলির পুরো বর্ণালী সরবরাহ করে। আমি বেশিরভাগ কোয়ান্টাম তথ্যের ক্ষেত্রে কাজ করি, যেখানে রেনি ইন্ট্রপির কোয়ান্টাম সংস্করণটিও প্রায়শই বিবেচিত হয়।

যা আমি সত্যিই বুঝতে পারি না তা সেগুলি কেন কার্যকর। আমি শুনেছি প্রায়শই তারা বিশ্লেষণাত্মকভাবে শ্যানন / ভন নিউম্যান এনট্রপি বা ন্যূনতম-এনট্রপির চেয়ে কাজ করা আরও সহজ। তবে এগুলি আবার শ্যানন এনট্রপি / মিনিট এনট্রপি সম্পর্কিতও হতে পারে।

রেনি এনট্রোপিজ ব্যবহার করার সময় কেউ কি "সঠিক জিনিস" এর উদাহরণ (শাস্ত্রীয় বা কোয়ান্টাম) সরবরাহ করতে পারে? আমি যখন খুঁজছি তখন রেনি ইন্ট্রোপিজ কখন ব্যবহার করতে চাই তা জানার জন্য কিছু "মানসিক হুক" বা "টেম্পলেট" is

ধন্যবাদ!

it.information-theory quantum-information

— হেনরি ইউয়েন
সূত্র

আমার উত্তরে সংযোজন: দেখে মনে হচ্ছে কিউ-রেনেনি এনট্রপি (

) i, e

একটি সম্ভাব্য সংজ্ঞা রয়েছে

q \in Z^{+}

$q \in \mathbb{Z}^+$

। তারপরে

এবং এই আরএইচএসকে "` `শ্যানন এন্ট্রপি" বলা হয় One একটির অন্য সীমাটি যেমন

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

। এই ধারণাগুলি এখানে দেখা হিসাবে বিস্তৃত নির্মাণে ব্যবহারগুলি খুঁজে পেয়েছে বলে মনে হচ্ছে, math.rutgers.edu/~sk1233/courses/topics-S13, math.ias.edu/~avi/PUBLICATIONS/MYPAPERS/CRVW01/crvw01.pdf, arxiv। org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— অনিরবিট

15

কিছু সীমাবদ্ধ সেট বিস্তৃত অজানা এলোমেলো ভেরিয়েবল জন্য পারমাণবিক অনুমান করার চেষ্টা বিবেচনা করুন শ্যানন এন্ট্রপিতে, এটি ধরে নেওয়া হয় যে আপনি কিছুটা পর্যায়ক্রমে জিজ্ঞাসা করতে পারবেন, যদি আপনি জিজ্ঞাসা করতে পারেন: $X$ $A.$ $A=\{1,\ldots,N\}$

কি ? $X\in \{1,\ldots,N/2\}$ (অনুমান এমনকি বা ব্যবহারের মেঝে / সিলিং ফাংশন) $N$

ক্রিপ্টো এবং কিছু ডিকোডিং দৃশ্যে এটি বাস্তবসম্মত নয়। অজানা পাসওয়ার্ডটি অনুমান করার চেষ্টা করছেন আপনার পারমাণবিক ক্যোয়ারী তৈরি করতে হবে, অর্থাত কোনও নির্দিষ্ট মান কিনা query $X$

এটি সক্রিয় আউট একটি এলোপাতাড়ি ভেরিয়েবলের অনুমান করা যে প্রশ্নের প্রত্যাশিত সংখ্যা তারপর আদেশের Renyi এনট্রপি উপর শক্তভাবে নির্ভর তাই কিছু উচ্চতর মুহূর্ত না। উদাহরণ স্বরূপ $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

এবং লব মূলত আদেশের Renyi এনট্রপি লগারিদম হয় তোলা যায় শ্যানন খুব বড় এনট্রপি যখন Renyi এনট্রপি এবং অনুমান সংখ্যা প্রত্যাশা খুবই ছোট করতে পারেন। সুরক্ষার জন্য যদি আপনি শ্যানন এনট্রপির উপর নির্ভর করেন তবে আপনি সেই ক্ষেত্রে সমস্যায় পড়বেন। $1/2.$

দয়া করে সম্পর্কিত প্রশ্নটিও একাধিক চেষ্টায় স্বল্প এনট্রপি মান অনুমান করে দেখুন

কিছু তথ্যসূত্র:

জে প্লিয়াম, ব্রুট-ফোর্স আক্রমণগুলিতে এন্ট্রপি এবং প্রান্তিক অনুমানের অসম্পূর্ণতার বিষয়ে। INDOCRYPT 2000: 67-79
ই। অ্যারিকান, অনুমান করার ক্ষেত্রে একটি অসমতা এবং অনুক্রমিক ডিকোডিংয়ের জন্য এর প্রয়োগ। তথ্য থিয়োরির আইইইই লেনদেন 42 (1): 99-105,1996।
এস বোজতাস, রেনি এন্ট্রপিজ এবং ক্রিপ্টোগ্রাফিতে আক্রমণগুলির অনুমান করার জন্য তাদের অ্যাপ্লিকেশনগুলিতে, ইলেক্ট্রনিক্স, যোগাযোগ এবং কম্পিউটার বিজ্ঞানের 97 (12) এর ফান্ডামেন্টালগুলিতে আইইআইএস লেনদেন: 2542-2548, 2014।

— kodlu
সূত্র

আমি এই এস.বোজটাস পেপার অ্যাক্সেস করতে অক্ষম। আপনার একটি সর্বজনীনভাবে অ্যাক্সেসযোগ্য লিঙ্ক আছে?

— অনির্বিট

@Anirbit RMIT গবেষণা সংগ্রহস্থলের দেখুন researchbank.rmit.edu.au

— kodlu

আমি সেই লিঙ্কটি দিয়ে অনুসন্ধান করেছি। এটি আমাকে কেবল চেনাশোনাগুলিতে নিয়ে গেছে। আমি কখনও পাবলিক অ্যাক্সেসযোগ্য পিডিএফ ফাইল খুঁজে পাইনি!

— অনিরবিট

@ অ্যানিরবিট, দুঃখিত, আমি ভেবেছিলাম এটি সত্যিই সেখানে জমা হয়েছিল!

— কোডলু

18

রেনি এনট্রপিটি এক অর্থে নর্মগুলির সাথে সাদৃশ্যযুক্ত, তাই আসুন প্রথমে স্মরণ করি কেন সেই নিয়মগুলি কার্যকর। $\ell_p$

ধরুন আমাদের সংখ্যার ভেক্টর । আমরা একটি একক সংখ্যা প্রতিনিধিত্ব করে, কিছু অর্থে, কিভাবে টিপিক্যাল উপাদান আছে করতে চান মত চেহারা। $a \in \mathbb{R}^n$ $a$

ওয়ান ওয়ে এটা করতে সংখ্যা গড় নিতে হয় , যা মোটামুটিভাবে অনুরূপ আদর্শ: । এই প্রায়ই দরকারী, কিন্তু কিছু অ্যাপ্লিকেশনের জন্য নিম্নোক্ত সমস্যা রয়েছে: প্রথমত, আদর্শ আমাদিগকে সুস্থ ও ভাল উপরের বৃহত্তম উপাদান আবদ্ধ দেয় না কারণ যদি একটি একক বড় উপাদান এবং অনেক শূণ্যসমূহ হয় আদর্শ সবচেয়ে বড় উপাদানের তুলনায় উল্লেখযোগ্যভাবে ছোট হবে। অন্যদিকে, $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ আদর্শ আমাদের একটি ভাল কিভাবে ছোট উপাদানে আবদ্ধ দেয় না , উদাহরণস্বরূপ, কিভাবে অনেক শূণ্যসমূহ এই সমস্যার আগের মত ঠিক একই দৃশ্যকল্প ঘটে - হয়েছে। $a$ $a$

অবশ্যই, যখন উপাদান যেমন উপরের মতো চরম দৃশ্যকল্প হিসেবে ভ্যারিয়েন্স অনেক, নেই, কোন একক সংখ্যা উপরে উভয় সমস্যার সমাধানের দিতে পারেন। আমাদের একটা ট্রেড অফ আছে উদাহরণস্বরূপ, আমরা যদি কেবলমাত্র বৃহত্তম উপাদানটি জানতে চাই তবে আমরা আদর্শ ব্যবহার করতে পারি , তবে তারপরে আমরা ছোট উপাদানগুলির সমস্ত তথ্য হারাব। আমরা যদি শূন্যের সংখ্যাটি চাই তবে আমরা আদর্শটি দেখতে পারি, যা কেবলমাত্র এর সমর্থনের আকার । $a$ $\ell_\infty$ $\ell_0$ $a$

এখন, নিয়ম বিবেচনা করার কারণ হ'ল তারা আমাদের দুটি চূড়ান্ত মধ্যে পুরো ক্রমাগত ট্রেড অফ দেয়। আমরা যদি বৃহত উপাদানগুলির আরও তথ্য চাই তবে আমরা বড় হতে চাই এবং বিপরীতে। $\ell_p$ $p$

একই Renyi entropies জন্য যায়: Shanon এর এনট্রপি মত হল আদর্শ - এটা আমাদের "সাধারণত" ভ্যারিয়েন্স বা চরম সম্পর্কে একটি উপাদান সম্ভাবনা, কিন্তু কিছুই সম্পর্কে কিছু বলে। ন্যূনতম-এনট্রপি আমাদেরকে সবচেয়ে বড় সম্ভাবনা সহ উপাদানটির তথ্য দেয় তবে বাকী সমস্ত তথ্য হারিয়ে ফেলে। সমর্থন আকার অন্য চরম দেয়। রেনি এন্ট্রোপিসগুলি আমাদের দুটি চূড়ান্ততার মধ্যে ক্রমাগত ট্রেড অফ দেয়। $\ell_1$

উদাহরণস্বরূপ, অনেক সময় রেনি -২ এনট্রপিটি দরকারী কারণ এটি একদিকে শ্যাননের এনট্রপির নিকটবর্তী এবং এর ফলে বিতরণের সমস্ত উপাদানগুলির উপর তথ্য রয়েছে এবং অন্যদিকে বৃহত্তমগুলির সাথে উপাদানগুলির আরও তথ্য দেয় gives সম্ভাব্যতা. বিশেষত, এটি জানা যায় যে রেনি -২ এন্ট্রপির সীমানা ন্যূনতম এনট্রপির উপর সীমানা দেয়, দেখুন উদাহরণস্বরূপ, পরিশিষ্ট এ এখানে: http://people.seas.harvard.edu/~salil/research/conductors-prelim .পুনশ্চ

— বা মীর
সূত্র

11

রেনি এনট্রপি (অর্ডার 2) সংঘর্ষের সম্ভাবনা বিশ্লেষণের জন্য ক্রিপ্টোগ্রাফিতে কার্যকর।

স্মরণ করুন যে র্যান্ডম ভেরিয়েবল 2 আদেশের রেনিই ইন্ট্রপি দিয়েছিলেন $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

$H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

এই তথ্যগুলি ক্রিপ্টোগ্রাফিতে দরকারী, যেখানে সংঘর্ষগুলি কখনও কখনও সমস্যাযুক্ত হয়ে আক্রমণ আক্রমণ করতে পারে।

ক্রিপ্টোগ্রাফির অন্যান্য ব্যবহারগুলির কিছু বিশ্লেষণের জন্য, আমি নিম্নলিখিত পিএইচডি গবেষণামূলক সুপারিশ করছি:

খ্রিস্টান কচিন। ক্রিপ্টোগ্রাফিতে এন্ট্রপি ব্যবস্থা এবং শর্তহীন সুরক্ষা । পিএইচডি গবেষণামূলক প্রবন্ধ, ইটিএইচ জুরিখ, মে 1997।

— ডিডাব্লিউ
সূত্র

কোন কিউ-রেনিই এনট্রপির এ জাতীয় সরাসরি সম্ভাব্য সংজ্ঞা আছে? (আপনি আমার উত্তর থেকে দেখতে পাচ্ছেন, নির্বিচারে Q- এর সংজ্ঞা দেওয়ার একমাত্র

— উপায়টি হ'ল ল্যাঙ্গরজিয়ান

@ অ্যানিরবিট, আমি জানি না আমার দেখা প্রত্যাহার কিছুই নেই (যদিও এটি সম্ভব কি-রেনিই এনট্রপি আমাদের সীমাবদ্ধ অন্যান্য সীমানার সীমানা ঘটাতে পারে ...)

— DW

এছাড়াও মনে হয় যে "ইনফরমেশন এন্ট্রপি" মূলত "থার্মোডায়নামিক এন্ট্রপি" বলে মনে হয়। এমনকি (কিউ = 1) -রেণি এনট্রপি অর্থাত্‍ এনট্রোলমেন্ট এনট্রপিতে এর জটিলতার ব্যাখ্যা সম্পর্কে ধারণাগত ফাঁক আছে?

— অনিরবিট

- \infty

$-\infty$

@DW- এর একটি সম্ভাব্য ব্যাখ্যা বলে মনে হচ্ছে। মূল প্রশ্নে আমার মন্তব্য দেখুন।

— অনিরবিট

3

এই অন্যান্য স্ট্যাকেক্সচেঞ্জের উত্তর এবং এই ব্লগ পোস্টটি একটি মৌলিক উদাহরণের দ্রুত অনুভূতি পেতে খুব সহায়ক হতে পারে,

মোটামুটিভাবে বলতে গেলে রেনি এন্ট্রোপিগুলি কোয়ান্টাম সিস্টেমের উত্তেজিত রাজ্যগুলি সম্পর্কে জানে তবে জড়িয়ে পড়া এনট্রপি গ্রাউন্ড স্টেটগুলি সম্পর্কে জানে। সতর্কতা: এই স্বজ্ঞাততা মারাত্মকভাবে অপরিশোধিত হতে পারে তবে এটি একটি ভাল "মানসিক হুক" হতে পারে: ডিআই এটি বলার আরও ভাল এবং সঠিক উপায়টি জানতে পেরে খুব খুশি হবে!

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

এর অবিচ্ছেদ্য মানগুলিতে $q>1$ সাধারণত কিছু কিছু ফাংশনের কিছু সংহতকরণের ক্ষেত্রে সর্বদা খুব সু-সংজ্ঞায়িত নির্মাণ থাকে $q-$ ব্রাঞ্চযুক্ত বহুগুণ এইরকম একীকরণের পরে কেউ ব্যবহার করা বহুগুণ সম্পর্কে আনন্দের সাথে ভুলে যায় এবং কেবল পরিবর্তনশীলটিতে বিশ্লেষণাত্মক ধারাবাহিকতাটি প্যারামেট্রিকভাবে করার চেষ্টা করে $q$ ।

যখনই এই অ্যানাল্টিক ধারাবাহিকতাগুলি চেষ্টা করার চেষ্টা করা হয় তখন অস্তিত্ব এবং সুস্থতার বিষয়টি নিয়ে সর্বদা প্রচুর সমস্যা থাকে - তবে আমার মতো কারও পক্ষে যিনি ফেইনম্যানের পথ্য-পথের উপর নির্ভরশীল হয়ে উঠেছেন এটি মোকাবেলা করা একটি খুব সাধারণ বিষয় এবং আমরা এগুলির সমাধান করার জন্য প্রচুর সরঞ্জাম রয়েছে। এই সমস্যাগুলি খতিয়ে দেখার জন্য তিনটি দুর্দান্ত কাগজ হ'ল , http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (এই কাগজপত্রগুলির শেষটি একটি সহজ সূচনা পয়েন্ট হতে পারে) এই উপস্থাপনাটি সহায়তা করতে পারে, https://www.icts.res.in/media/uploads/Talk/Docament/Tadashi_Takayanagi.pdf

কোয়ান্টাম জটিলতার তত্ত্বের বিচারে রেনি এনট্রপি কী বলে তা উত্তেজনাপূর্ণ প্রশ্ন হতে পারে! কেউ কি কোনওভাবে জটিলতা শ্রেণীর শ্রেণিবিন্যাসকে প্যারামিটারাইজিং হিসাবে রেনাই সূচক সম্পর্কে ভাবতে পারে? সত্য যদি মজা করা উচিত! আমাকে জানতে দাও :)

— Anirbit
সূত্র

0

রেনি এনট্রপি সংখ্যামূলক তথ্য প্রবাহের সংজ্ঞা , কোনও অঞ্চল বা সুরক্ষা গবেষণার পথ খুঁজে পেয়েছে । দেখুন জি স্মিথ জরিপ কাগজ ।

— কাই
সূত্র