শ্যাননের এন্ট্রপিতে লগারিদমের ভূমিকা কী?

Question

শ্যাননের এন্ট্রপি প্রতিটি ফলাফলের সম্ভাবনার সংখ্যার নেতিবাচক প্রতিটি ফলাফলের জন্য সম্ভাবনার লগারিদম দ্বারা গুণিত হয়। লগারিদম এই সমীকরণে কী উদ্দেশ্যে কাজ করে?

একটি স্বজ্ঞাত বা চাক্ষুষ উত্তর (একটি গভীর গাণিতিক উত্তরের বিপরীতে) বোনাস পয়েন্ট দেওয়া হবে!

Comments

আপনি (বা অন্যান্য পাঠক) উপভোগ করতে পারেন: এ। রেনি (1961), এন্ট্রপি এবং তথ্য সম্পর্কিত ব্যবস্থা , প্রক। গাণিতিক পরিসংখ্যান ও সম্ভাবনার উপর চতুর্থ বার্কলে সিম্পোজিয়ামের , খণ্ড। 1, 547-561।

— কার্ডিনাল

আপনার প্রতিক্রিয়ার উপর ভিত্তি করে , আমি মনে করি আপনি যা বোঝাতে চেয়েছেন তা কেন শ্যানন তার সূত্রে লোগারিদম ব্যবহার করেছেন, তাই না?

— ওকার

@ ওকার: এটির উচ্চারণের এটি একটি উপায়। "কেন" সে didুকিয়ে দিয়েছিল? "এটি" এটি ফাংশন বা ভূমিকা "?" এটি "কী অর্জন করে?" এটি "কীভাবে সহায়ক? আমার কাছে, এগুলি সমস্ত একই পাড়ায় ...

— হিসেলহেম

আমার উত্তরটি এখানে দেখুন: stats.stackexchange.com/questions/66186/…

— kjetil b halvorsen

আমার উত্তরটি দেখুন, আমি মনে করি একটি পরিসংখ্যানের অর্থ প্রকৃতপক্ষে কেবল স্ট্যাটিস্টিকাল মেকানিক্সে শ্যানন এনট্রপির শিকড়গুলি পরীক্ষা করে বোঝা যাবে

— অক্ষকাল

Answer 1

শ্যানন এন্ট্রপি সম্পর্কের একটি সেটকে সন্তুষ্ট করার পরিমাণ।

সংক্ষেপে, লোগারিদম হ'ল এটি সিস্টেমের আকার এবং "তথ্যের মতো আচরণ" এর সাথে রৈখিকভাবে বাড়ছে।

প্রথম মানে হল যে একটি মুদ্রা ঊর্ধ্বে এনট্রপি গুণ বেশি বার একটি মুদ্রা ঊর্ধ্বে এনট্রপি:$n$$n$

$$- \sum_{i=1}^{2^n} \frac{1}{2^n} \log\left(\tfrac{1}{2^n}\right) = - \sum_{i=1}^{2^n} \frac{1}{2^n} n \log\left(\tfrac{1}{2}\right) = n \left( - \sum_{i=1}^{2} \frac{1}{2} \log\left(\tfrac{1}{2}\right) \right) = n.$$

অথবা শুধু দেখতে কিভাবে এটি কাজ করে যখন দুটি ভিন্ন কয়েন ঊর্ধ্বে নিক্ষেপণ (সম্ভবত অন্যায্য - সম্ভাব্যতা সঙ্গে মাথা সঙ্গে এবং মুদ্রার উলটা পিঠ প্রথম মুদ্রা জন্য, এবং এবং দ্বিতীয় জন্য) তাই বৈশিষ্ট্য লগারিদম (পণ্য লগারিদম সমষ্টি লগারিদমগুলির) গুরুত্বপূর্ণ।$p_1$$p_2$$q_1$কি 2 - 2 ∑ আই = 1 2 ∑ জ = 1 পি আই কি জে লগ ( পি আই কি জে ) = - 2 ∑ i = 1 2 ∑ জ = 1 পি আই কি জে ( লগ ( পি i ) + লগ ( কিউ জে ) ) = -2 2 ∑$q_2$

$$-\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i q_j) = -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \left( \log(p_i) + \log(q_j) \right)$$ $$= -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(p_i) -\sum_{i=1}^2 \sum_{j=1}^2 p_i q_j \log(q_j) = -\sum_{i=1}^2 p_i \log(p_i) - \sum_{j=1}^2 q_j \log(q_j)$$

তবে রনিই এনট্রপিরও এই সম্পত্তি রয়েছে (এটি একটি প্রকৃত সংখ্যা by দ্বারা এনট্রপি প্যারামেট্রাইজড , যা শানন এনট্রপি হয়ে )।$\alpha$$\alpha \to 1$

তবে, এখানে দ্বিতীয় সম্পত্তি আসে - শ্যানন এন্ট্রপি বিশেষ, কারণ এটি তথ্যের সাথে সম্পর্কিত। কিছু স্বজ্ঞাত অনুভূতি পেতে আপনি গড় হিসাবে ।

$$H = \sum_i p_i \log \left(\tfrac{1}{p_i} \right)$$ $\log(1/p)$

আমরা তথ্য কল করতে পারেন । কেন? কারণ সমস্ত ঘটনা যদি সম্ভাব্যতা সহ ঘটে থাকে তবে এর অর্থ হ'ল ইভেন্ট রয়েছে। কোন ইভেন্টটি ঘটেছে তা বলতে, আমাদের বিটগুলি ব্যবহার করতে হবে (প্রতিটি বিট আমাদের আলাদা করে বলতে পারি এমন ইভেন্টগুলির সংখ্যা দ্বিগুণ)।$\log(1/p)$$p$$1/p$$\log(1/p)$

আপনি উদ্বিগ্ন বোধ করতে পারেন "ঠিক আছে, সমস্ত ইভেন্টের একই সম্ভাবনা থাকলে of হিসাবে পরিমাপ হিসাবে ব্যবহার করা বোধগম্য হয় But তবে যদি তা না হয় তবে তথ্যের গড় গড় কেন কোনও অর্থ হয়?" - এবং এটি একটি প্রাকৃতিক উদ্বেগ।$\log(1/p)$

কিন্তু এটা দেখা যাচ্ছে যে এটা জ্ঞান করে তোলে - শ্যানন এর উৎস উপপাদ্য কোডিং বলছেন যে সম্ভাব্যতা সঙ্গে uncorrelted বর্ণ দিয়ে একটি স্ট্রিং দৈর্ঘ্যের সংকুচিত করা যাবে না (গড়ে) বাইনারি স্ট্রিং চেয়ে খাটো করার । এবং প্রকৃতপক্ষে, আমরা স্ট্রিংটি সংকোচনের জন্য হাফম্যান কোডিং ব্যবহার করতে পারি এবং খুব কাছাকাছি যেতে পারি ।$\{p_i\}_i$$n$$n H$এন এইচ$n H$

আরো দেখুন:

• একটি দুর্দান্ত ভূমিকা হ'ল কসমমা শালিজির তথ্য তত্ত্বের প্রবেশ
• এন্ট্রপি আসলে কী? - ম্যাথওভারফ্লো
• GZIP ফর্ম্যাটটি আবিষ্কার করা হচ্ছে

Comments

এই উত্তরে অনেক সুন্দর বিবরণ রয়েছে - তবে সাধারণ লোকের দৃষ্টিকোণ থেকে এটি এখনও এই সমস্যাটিকে স্কার্ট করে তোলে - লগারিদমের ভূমিকা কী? আমরা লগারিদম ছাড়া এনট্রপি গণনা করতে পারি না কেন?

— histelheim

@ এইস্টেলহিম আপনি "লগারিদম ছাড়া" বলতে কী বোঝায়? কেবল একটি। যদি আপনি ব্যতীত বৈচিত্র্যের অন্য একটি পরিমাপ চান , তবে বৈচিত্র্য সূচকগুলি দেখুন - যেমন তথাকথিত ইনভার্স সিম্পসন সূচক যা কার্যকর সংখ্যার পছন্দগুলি (গড় সম্ভাবনার চেয়ে এক) বলে, সেখানে গিনি ini সিম্পসন ইনডেক্স যা সর্বদা 0 এবং একের মধ্যে থাকে। এবং যদি আপনি শ্যানন এনট্রপির সূক্ষ্ম তথ্য-সম্পর্কিত বৈশিষ্ট্যগুলির যত্ন না করেন তবে আপনি সেগুলির কোনওটিই ব্যবহার করতে পারেন (যদিও তাদের ওজন কম এবং উচ্চ সম্ভাবনাগুলি আলাদাভাবে)। লগ ইন করুন 1 / Σ আমি পি 2 আমি 1 - Σ আমি পি 2 $\sum_i p_i$$\log$ $1/\sum_i p_i^2$ $1-\sum_i p_i^2$

— পাইটর মিগডাল

আমি আপনার শেষ মন্তব্যে বিস্মিত হয়েছি, হস্টেলহাইম: সম্ভবত "লগারিদম ছাড়া এনট্রপি" কী বলতে পারে? এটি প্রস্তাব দেয় যে আপনি এখনও আপনার প্রশ্নটি স্পষ্টভাবে উচ্চারিত করেননি, কারণ মনে হচ্ছে আপনার মনে "এনট্রপি" সম্পর্কে কিছু আনস্টেট ধারণা রয়েছে। অনুগ্রহ করে আমাদের অনুমান করাবেন না - আপনার প্রশ্নটি সম্পাদনা করুন যাতে আপনার পাঠকরা আপনাকে যে ধরণের উত্তর খুঁজছেন তা সরবরাহ করতে পারে।

— whuber

@ পিয়টর মিগডাল - আপনি লিখেছেন "লোগারিদম এটি সিস্টেমের আকারের সাথে রৈখিকভাবে বাড়ানো এবং" তথ্যের মতো আচরণ করা "তৈরি করা" " - লগারিদমের ভূমিকা বোঝার জন্য এটি আমার পক্ষে গুরুত্বপূর্ণ মনে হচ্ছে, তবে এর অর্থ কী তা সম্পর্কে আমি খুব পরিষ্কার নয় not

— হিসেলহেম

@ পাইটর মিগডাল - আরও, আপনার ব্যাখ্যা অনুসরণ করে "আমরা লগ (1 / পি) তথ্য কল করতে পারি Why কেন?" আমার কাছে বোধগম্য মনে হচ্ছে এটি কি লগারিদম মূলত আমাদেরকে বৈচিত্রের সূচক থেকে একটি তথ্য সূচকে নিয়ে যায় - ইভেন্টগুলি বাদে আমাদের যে বিটের সংখ্যা প্রয়োজন তা পরিমাপ করে।

— histelheim

Answer 2

এটি অন্যান্য উত্তরগুলির মতোই, তবে আমি মনে করি এটি ব্যাখ্যা করার সর্বোত্তম উপায় হ'ল শ্যানন তার মূল পেপারে কী বলে see

লগারিদমিক মাপ বিভিন্ন কারণে আরও সুবিধাজনক:

1. এটি ব্যবহারিকভাবে আরও কার্যকর। সময়, ব্যান্ডউইথ, রিলে সংখ্যা ইত্যাদির মতো ইঞ্জিনিয়ারিং গুরুত্বের প্যারামিটারগুলি সম্ভাবনার সংখ্যার লগারিদমের সাথে লিনিয়ারে ভিন্ন হয়। উদাহরণস্বরূপ, একটি গ্রুপে একটি রিলে যুক্ত করা রিলে সম্ভাব্য রাজ্যের সংখ্যা দ্বিগুণ করে। এটি এই সংখ্যার বেস 2 লোগারিদমে 1 যুক্ত করে। সময় দ্বিগুণ করা সম্ভাব্য বার্তাগুলির সংখ্যা প্রায় স্কোয়ার করে বা লগারিদম ইত্যাদি দ্বিগুণ করে etc.
2. এটি যথাযথ পরিমাপ হিসাবে আমাদের স্বজ্ঞাত অনুভূতির কাছাকাছি। এটি (1) এর সাথে ঘনিষ্ঠভাবে সম্পর্কিত কারণ আমরা স্বীকৃতি দিয়ে সাধারণ মানের সাথে লিনিয়ার তুলনা করে সত্ত্বাকে পরিমাপ করি। উদাহরণস্বরূপ, একজন অনুভব করেন যে দুটি পাঞ্চ কার্ডের তথ্য সঞ্চয়ের জন্য একটির দ্বিগুণ ক্ষমতা এবং দুটি সংখ্যক চ্যানেল তথ্য প্রেরণের জন্য একটির দ্বিগুণ ক্ষমতা থাকা উচিত।
3. এটি গাণিতিকভাবে আরও উপযুক্ত। সীমাবদ্ধ অপারেশনগুলির অনেকগুলি লগারিদমের ক্ষেত্রে সহজ তবে সম্ভাবনার সংখ্যার ক্ষেত্রে বিশৃঙ্খলা পুনরুদ্ধার প্রয়োজন

উত্স: শ্যানন, যোগাযোগের একটি গাণিতিক তত্ত্ব (1948) [ পিডিএফ ]।

---

নোট করুন যে শ্যানন এন্ট্রপি স্ট্যাটিস্টিকাল মেকানিক্সের গিবস এনট্রপির সাথে মিলে যায় এবং গিবস এনট্রপিতে লগ কেন ঘটে তার একটি ব্যাখ্যাও রয়েছে। পরিসংখ্যানীয় যান্ত্রিকগুলিতে, এনট্রপিটি সম্ভাব্য রাজ্যের সংখ্যা measure যেখানে কোনও সিস্টেম পাওয়া যায় তার পরিমাপ বলে মনে করা হয়। কারণ বেশী ভালো কারণ সাধারণত তার আর্গুমেন্ট একটি খুব দ্রুত বেড়ে চলা ফাংশন, এবং তাই থেকে কার্যকররূপে একটি টেলর সম্প্রসারণ দ্বারা আনুমানিক করা যাবে না, যেহেতু হতে পারে। (লগ নেওয়ার জন্য এটিই মূল প্রেরণা ছিল কিনা তা আমি জানি না, তবে এটি প্রচুর পরিমাণে পদার্থবিজ্ঞানের বইয়ে ব্যাখ্যা করা হয়েছে))লগ Ω Ω Ω লগ $\Omega$$\log \Omega$$\Omega$$\Omega$$\log \Omega$

Comments

এই উত্তরটি সর্বাধিক কেন্দ্রীভূত হলেও তথ্যবহুল বলে মনে হচ্ছে।

— উজ্জ্বল-তারা

এন্ট্রপি গণনায় লগটি কেন প্রদর্শিত হয় তা নয়। এই কারণেই প্রতিবেদন করা তথ্যগুলি যেমন রিপোর্ট করা হয়। একটি বিকল্প পরিমাণ আছে: "বিভ্রান্তি" যা লগ ছাড়াই তথ্য প্রতিবেদন করে। তার কাগজের এই অংশে, শ্যানন বিট / ন্যাট / হারলেটিসের পক্ষে এবং বিভ্রান্তির বিরুদ্ধে তর্ক করছে।

— নিল জি

Answer 3

$x$$1 \leq x \leq N$$x$$O(\log_2N)$$x$$N=8$$x$।

$x$$1 \leq x \leq N$$p(x) = 1/N$$1 \leq x \leq N$$x$

$$\begin{equation} h(x) = \log_2 \frac{1}{p(x)} \end{equation}$$

$x=4$$h(4) = 3$$x$$4$$x=4$

$x$$x$$h(x)$$x$

$$\begin{equation} \langle h(x) \rangle = \sum_{1 \leq x \leq N} p(x) h(x) \end{equation}$$

$\langle h(x) \rangle$$H(X)$$H(X)$

Comments

+ এটি আমার কাছে তথ্য তত্ত্বের অন্যতম প্রিয় অ্যাপ্লিকেশন - অ্যালগরিদম বিশ্লেষণ। আপনার যদি> ২ টি ফলাফলের সাথে সিদ্ধান্তের পয়েন্ট থাকে যেমন আপনি যখন অ্যারেটিকে সূচনা করেন তখন হ্যাশ কোডিং এবং ও (এন) সাজানোর পিছনে মূল নীতিটি।

— মাইক ডুনলাভে

এই যুক্তিটি আলাদা এনট্রপির জন্য ঠিক আছে, তবে ক্রমাগত এনট্রপিতে সহজেই সাধারণীকরণ হয় না।

— নীল জি

Answer 4

এখানে অফ-দ্য-কাফের ব্যাখ্যা। আপনি বলতে পারেন একই আকারের 2 টি বইয়ের 1 টি বইয়ের দ্বিগুণ তথ্য আছে, তাই না? (বইটিকে বিটগুলির একটি স্ট্রিং হিসাবে বিবেচনা করে Well) ভাল, যদি কোনও নির্দিষ্ট ফলাফলের সম্ভাবনা পি হয়, তবে আপনি বলতে পারবেন যে এর তথ্য সামগ্রীটি আপনাকে 1 / পি লিখতে হবে এমন বিটগুলির সংখ্যা সম্পর্কে। (উদাহরণস্বরূপ যদি পি = 1/256, এটি 8 বিট Ent) এনট্রপি সমস্ত ফলাফলের চেয়ে সেই তথ্য বিট দৈর্ঘ্যের গড়।

Answer 5

$\log(p_i)$$\log(p_i)$$H(p_1, \ldots ,p_N)$

শ্যানন এই ফলাফলের একটি গাণিতিক প্রমাণ সরবরাহ করেছিল যা পুরোপুরি তুলে নেওয়া হয়েছে এবং ব্যাপকভাবে গৃহীত হয়েছে। এন্ট্রপি সমীকরণে লগারিদমের উদ্দেশ্য এবং তাত্পর্য তাই অনুমান এবং প্রমাণের মধ্যে স্বনির্ভর।

এটি বোঝা সহজ করে না, তবে লোগারিদমটি প্রদর্শিত হওয়ার কারণ এটিই শেষ পর্যন্ত।

অন্যত্র তালিকাবদ্ধ করা ছাড়াও নীচের উল্লেখগুলি আমি দরকারী বলে মনে করেছি:

1. সম্ভাব্যতা তত্ত্ব: ইটি জেনেস দ্বারা বিজ্ঞানের লজিক । জেনেস এমন কয়েকজন লেখকের একজন, যিনি স্ক্র্যাচ থেকে বহু ফলাফল পেয়েছিলেন; 11 অধ্যায় দেখুন।
2. ডেভিড ম্যাকের তথ্য থিয়োরি, ইনফারেন্স এবং লার্নিং অ্যালগরিদম । শ্যাননের উত্স কোডিং উপপাদ্যের গভীর-বিশ্লেষণ রয়েছে; অধ্যায় 4 দেখুন।

Answer 6

সারাংশ:

$n$$n$

উদাহরণ:

$6$$6$$1$$n=2$$1$

$3.5$$6/2=3$

$1$

চল এটা করি:

• $6$$> 3.5$
• $6/2=3$$\ge 5$
• $6/2/2=1.5$$= 6$

$6$$3$$ceil(\log_2(6)) = ceil(2.58) = 3$

$ceil$

$2.58$

$\log_2(...)$$n$$n$$2$$\log_n(...)$

সিমুলেশন:

import random

total_questions = 0
TOTAL_ROUNDS = 10000

for i in range(0,TOTAL_ROUNDS):
    outcome = random.randrange(1,7)
    total_questions += 1
    if outcome > 3.5:
        total_questions += 1
        if outcome >= 5:
            total_questions += 1
            if outcome == 5:
                pass
            else:
                # must be 6! no need to ask
                pass
        else:
            # must be 4! no need to ask
            pass
    else:
        total_questions += 1
        if outcome >= 2:
            total_questions += 1
            if outcome == 2:
                pass
            else:
                # must be 3! no need to ask
                pass
        else:
            # must be 1! no need to ask
            pass


print 'total questions: ' + str(total_questions)
print 'average questions per outcome: ' + str(total_questions/float(TOTAL_ROUNDS))

ফলাফল:

total questions: 26634
average questions per outcome: 2.6634

$2.6634 \ne \log_2(6) \ne 2.58$

কোনো সমস্যা? এটি প্রায় কাছাকাছি, তবে আমি আশা করি তেমন কাছাকাছি নয়। এটি কি পাইথনের পিআরএনজি ধীর রসিকতা বলার চেষ্টা করছে? নাকি শ্যানন ভুল হচ্ছে? নাকি এটা odশ্বর নিষেধ করেছেন- আমার বোঝা ভুল? যে কোনও উপায়ে সহায়তা। এসওএস ইতিমধ্যে ডুড।

Comments

$6^5=7776$$\lceil\log_2(6^5)\rceil=13$$13/5=2.6$$190537$$492531$$492531/190537\approx 2.584962500722$

@ আমি আমার কোডটিতে যা করছি এটি কি নয়? আমি 10000 মারা যায় টস, এবং আমি সমস্ত মৃত্যুর জন্য জিজ্ঞাসা মোট সংখ্যা সংখ্যা। আমি তখন যোগফল / 10000 করি আমি পাই 2.66।

— গুহামান

না, আপনি নিজের কোডে মোটেই তা করছেন না! একসাথে সমস্ত ডাইসের অবস্থা একবারে পাওয়ার জন্য আপনাকে প্রশ্নগুলির একটি সেট জিজ্ঞাসা করতে হবে। এটি একবারে একজনের মৃত্যুর অবস্থা সন্ধানের জন্য গড়সংখ্যক প্রশ্নের প্রয়োজন হিসাবে একই জিনিস নয়।

— whuber

Answer 7

$\Omega = \{\omega_1, \dotsc, \omega_n\}$$p_1, \dotsc, p_n$$H(p_1, \dotsc, p_n)$

• $H$
• $H$$n$$p_1 = \dots = p_n = \frac1n$
• $H$ $$\begin{align} H\left(\frac12, \frac16, \frac13\right) &= H\left(\frac12, \frac12\right) + \frac12 H\left(\frac13, \frac23\right). \end{align}$$

$H$

$$\begin{align} H(p_1, \dotsc, p_n) &= -\sum_{i=1}^np_i\log_kp_i \end{align}$$ $k>1$$k=2$

Answer 8

এই প্রশ্নটি দু'বছর আগে উত্থাপিত হয়েছিল এবং এরই মধ্যে অনেক চমত্কার উত্তর এসেছে, তবে আমি নিজেকে যুক্ত করতে চাই যা আমার নিজেকে অনেক সাহায্য করেছিল।

প্রশ্ন হচ্ছে

লগারিদম এই সমীকরণে কী উদ্দেশ্যে কাজ করে?

লোগারিদম (সাধারণত 2 এর উপর ভিত্তি করে) হ'ল ক্রাফ্টের বৈষম্য ।

$\sum_{i=1}^m 2^{-l_i} <= 1$

$l_i$$L_x$$P(x)$

$P(x) = 2^{-L(x)}$

$L_{(x)} = -logP(x)$$P(x)$$L_{(x)}$

$L_{(x)}$$P(x)$$-P(x)logP(x)$

একটি স্বজ্ঞাত চিত্র এবং একটি চাক্ষুষ উত্তর (যেমন আপনার প্রয়োজন হিসাবে, তবে ক্র্যাফ্টের বৈষম্যের জন্য আরও নির্দিষ্টভাবে) এই কাগজ কোড ট্রি এবং ক্র্যাফটের অসাম্যায় বর্ণিত ।

Answer 9

ইতিমধ্যে আপনার যে কোনও জবাব সম্পর্কে অগ্রহণযোগ্যতার ভিত্তিতে, আমি মনে করি আপনি যা খুঁজছেন তা হ'ল শানন তার সূত্রে লোগারিদমকে প্রথম স্থানে ব্যবহার করার কারণ। অন্য কথায়, এটি দর্শন।

_{দাবি অস্বীকার : আমি ঠিক এই সপ্তাহে এই ক্ষেত্রে আছি, আপনার মত প্রশ্ন থাকার কারণে এখানে আসছি । আপনার যদি এই বিষয়ে আরও জ্ঞান থাকে তবে দয়া করে আমাকে জানান।}

আমার এই প্রশ্নটি উলাওনিকজের সবচেয়ে গুরুত্বপূর্ণ কাগজ পড়ার পরে, ক্রমবর্ধমান এন্ট্রপি: তাপ মৃত্যু বা চিরদিনের সুরেলা? । এই অনুচ্ছেদে ব্যাখ্যা করা হয়েছে কেন সূত্রটিতে (1-পি) এর পরিবর্তে লগ (পি) রয়েছে:

এনট্রপির আনুষ্ঠানিক সংজ্ঞাটি আরও ফাঁক করার আগে একজনকে জিজ্ঞাসা করা ন্যায়সঙ্গত হবে যে কেন [অলগ (পি)] এর পরিবর্তে কেবল অস্তিত্বের সবচেয়ে উপযুক্ত ব্যবস্থা হিসাবে বেছে নেওয়া (1 - পি) নয়? উত্তরটি হ'ল পি সহ ফলাফলযুক্ত পণ্যটি (যা [পি – পি ^ 2]) পি = 0.5 এর মানের চারপাশে পুরোপুরি প্রতিসাম্যযুক্ত। যেমন একটি প্রতিসম সংমিশ্রণ অনুসারে গণনাগুলি কেবল একটি বিপরীত মহাবিশ্ব বর্ণনা করতে সক্ষম হবে। বোল্টজমান এবং গিবস অবশ্য অপরিবর্তনীয় মহাবিশ্বকে মাপার চেষ্টা করেছিলেন। অবিচ্ছিন্ন উত্তল লোগারিথমিক ফাংশনটি বেছে নেওয়ার মাধ্যমে, বল্টজম্যান তার দ্বারা অমানবিক হওয়ার পক্ষে পক্ষপাতিত্ব করেছিলেন। একটি নোটিশ, উদাহরণস্বরূপ, যে সর্বোচ্চ [logxlog {x}] = {1 / e ≈ ≈ 0.37, যাতে অনির্দিষ্টতা পরিমাপ পাই এর নিম্ন মানের দিকে যায়।

দেখে মনে হচ্ছে শ্যানন কোনও কারণ ছাড়াই লোগারিদম বেছে নিয়েছে। তিনি কেবল "গন্ধ" পেয়েছিলেন যে তাঁর লোগারিদম ব্যবহার করা উচিত। কেন নিউটন তার সূত্র এফ = এম * এ গুনগুলি পরিচালনা করলেন?

মনে রাখবেন যে এন্ট্রপি সম্পর্কে তার কোনও ধারণা ছিল না :

আমার সবচেয়ে বড় উদ্বেগ ছিল এটিকে কী বলা উচিত। আমি এটিকে 'তথ্য' বলার কথা ভেবেছিলাম, তবে শব্দটি অতিরিক্ত ব্যবহার করা হয়েছিল, তাই আমি এটিকে 'অনিশ্চয়তা' বলার সিদ্ধান্ত নিয়েছি। আমি যখন এটি জন ভন নিউমানের সাথে আলোচনা করেছি, তখন তার আরও ভাল ধারণা ছিল। ভন নিউমন আমাকে বলেছিলেন, 'আপনার এটিকে দুটি কারণে এন্ট্রপি বলা উচিত। প্রথম স্থানে আপনার অনিশ্চয়তা ফাংশনটি সেই নামে পরিসংখ্যানিক যান্ত্রিকগুলিতে ব্যবহৃত হয়েছে, সুতরাং এর ইতিমধ্যে একটি নাম রয়েছে। দ্বিতীয় স্থানে এবং আরও গুরুত্বপূর্ণ, এনট্রাপি আসলে কী তা কেউ জানে না, সুতরাং একটি বিতর্কে আপনার সর্বদা সুবিধা হবে।

সুতরাং আমার উত্তরটি হ'ল: এর কোনও কারণ নেই। তিনি এটি বেছে নিয়েছিলেন কারণ এটি কেবল যাদুবিদ্যায় কাজ করেছিল।

Answer 10

এন্ট্রপিকে বহুজাতিক গুণফলের জ্যামিতিক গড়ের লোগারিদম হিসাবে সংজ্ঞায়িত করা হয় যা কোনও সিস্টেমের মধ্যে যে অবস্থাতে থাকতে পারে তার সংখ্যা প্রকাশ করে:

$$\log \sqrt[N]{N \choose n_1,\ldots,n_k}$$

স্টার্লিংয়ের ফ্যাক্টরিয়ালটির সান্নিধ্য ব্যবহার করার পরে লোগারিদমগুলি সূত্রে উপস্থিত হয় ( এই ব্যাখ্যাটি দেখুন )

Comments

আমি বিশ্বাস করি যে ওপি লোগারিদম সংজ্ঞার অংশ knows তারা জিজ্ঞাসা করে কেন এটা সেখানে?

— whuber

Answer 11

লগটি কোনও প্রাকৃতিক প্রয়োজনীয়তা সন্তুষ্ট করে একটি ফাংশন এইচ এর উত্স থেকে আসে। পৃষ্ঠা দেখুন। 3 সেকেন্ড এই উত্স 2:

http://www.lptl.jussieu.fr/user/lesne/MSCS-entropy.pdf

অক্ষর দেওয়া, আপনি যদি অপটিমাইজেশন পরিচালনা করেন, আপনি একটি লগ ইন সঙ্গে একটি অনন্য (ধ্রুবক পর্যন্ত) ফাংশন পাবেন।

উপরের সমস্ত উত্তর সঠিক, তারা লগটির ব্যাখ্যা ব্যতীত, তবে এর উত্স ব্যাখ্যা করে না।

Answer 12

আমি অনুমান করি যে আপনার প্রশ্নটি সেই লগারিদমের "অর্থ" সম্পর্কে এবং কেন প্রতিটি উপাদান সূত্রের সামগ্রিক অর্থটির জন্য অবদান রাখে, কেবলমাত্র কিছু প্রয়োজনীয়তার সাথে সংজ্ঞাটির সংহতি প্রদর্শন করে নিছক আনুষ্ঠানিকতার চেয়ে।

শ্যানন এন্ট্রপিতে ধারণাটি হ'ল কোনও বার্তাটির যথাযথতা (অর্থাত্ ) এবং এর জেনারালিটি (যেমন ) এ দেখে মূল্যায়ন করা :$p(x)$$-log(p(x))$

• $p(x)$ : যত বেশি "ঘন ঘন" বার্তা হ'ল তত কম তথ্য বহন করবে (অর্থাত্ পূর্বাভাস দেওয়া সহজ)।
• $-log(p(x))$ : যত বেশি "সাধারণ" একটি বার্তা তত বেশি তথ্য বহন করবে।

প্রথম শব্দ ফ্রিকোয়েন্সি সম্পর্কে, এর সাধারণতা সম্পর্কে।$p(x)$$-log(p(x))$

---

এখন থেকে, আমি আলোচনা করব কীভাবে জেনারালটি চূড়ান্ত এনট্রপি সূত্রে প্রভাবিত করে।

সুতরাং, আমরা সংজ্ঞায়িত করতে পারি যে কীভাবে সাধারণ (যেমন বৃষ্টি / বৃষ্টি নয়) বা নির্দিষ্ট (যেমন: লিগথ / এভিজি / ভারী / অতি বৃষ্টি) এটি এনকোড করার জন্য প্রয়োজনীয় বিটের সংখ্যার উপর ভিত্তি করে একটি বার্তা:

$$log_2(x) = number\_of\_bits\_to\_encode\_the\_messages$$

এখন, বসুন, শিথিল হন এবং শ্যাননের এন্ট্রপি কৌশলটি কত সুন্দরভাবে দেখছেন তা দেখুন: এটি (যুক্তিসঙ্গত) অনুমানের উপর ভিত্তি করে তৈরি করা হয়েছে যে সাধারণ বার্তাগুলি আরও সাধারণ, ফলস্বরূপ, আরও বেশি প্রকৃত।

উদাহরণস্বরূপ আমি বলব যে এটি যদি বৃষ্টিপাত হয় তবে এটি যদি গড়, ভারী বা অতি ভারী বৃষ্টি হয়। সুতরাং, তিনি বার্তাগুলির জেনেরালটি এনক্রোড করার প্রস্তাব দিয়েছিলেন যে তারা কতটা প্রকার ভিত্তিক ... এবং সেখানে আপনি যান:

$$log_2 N = -log_2 1/N = -log_2 P$$

এর সাথে একটি বার্তার ফ্রিকোয়েন্সি ।$N$$x$

এই সমীকরণটি ব্যাখ্যা করা যেতে পারে: বিরল বার্তাগুলির দীর্ঘতর এনকোডিং থাকবে কারণ সেগুলি কম সাধারণ, তাই এনকোড করতে তাদের আরও বিট লাগবে এবং তথ্যবহুল কম। অতএব, আরও নির্দিষ্ট এবং বিরল বার্তা থাকা অনেক সাধারণ এবং ঘন বার্তাগুলির চেয়ে এনট্রপিতে আরও অবদান রাখবে।

---

চূড়ান্ত গঠনে আমরা দুটি দিক বিবেচনা করতে চাই। প্রথম, , ঘন বার্তাগুলির পূর্বাভাস দেওয়া সহজ, এবং এই দৃষ্টিকোণ থেকে কম তথ্যমূলক (অর্থাত্ দীর্ঘতর এনকোডিং মানে উচ্চতর এনট্রপি)। দ্বিতীয়টি, হ'ল ঘন বার্তাগুলিও সাধারণ, এবং এই দৃষ্টিকোণ থেকে আরও তথ্যবহুল (অর্থাত্ সংক্ষিপ্ত এনকোডিং মানে নীচের এনট্রপি)।$p(x)$$-log(p(x))$

সর্বাধিক এনট্রপি হ'ল যখন আমাদের কাছে অনেকগুলি বিরল এবং নির্দিষ্ট বার্তা সহ একটি সিস্টেম থাকে। ঘন এবং সাধারণ বার্তাগুলির সাথে সর্বনিম্ন এনট্রপি। এর মধ্যে, আমাদের এন্ট্রপি সমতুল্য সিস্টেমগুলির একটি বর্ণালী রয়েছে যার মধ্যে বিরল এবং সাধারণ উভয় বার্তা বা ঘন ঘন তবে নির্দিষ্ট বার্তা থাকতে পারে।

Answer 13

আমি আপনাকে সর্বজনীন "স্বজ্ঞাত" উত্তর প্রদান করা সম্ভব বলে মনে করি না। আমি আপনাকে এমন উত্তর দেব যা পদার্থবিদদের মতো কিছু লোকের পক্ষে স্বজ্ঞাত is সিস্টেমের গড় শক্তি পাওয়ার জন্য লোগারিদম রয়েছে। এখানে বিশদ।

শ্যানন " এনট্রপি " শব্দটি ব্যবহার করেছিলেন কারণ তিনি পরিসংখ্যানিক যান্ত্রিক থেকে ধারণাটি রূপান্তর করেছিলেন । স্ট্যাটিস্টিকাল মেকানিক্সে বল্টজম্যানের নামে একটি চূড়ান্ত বিতরণ রয়েছে । মজার বিষয় হচ্ছে, এটি এখন মেশিন লার্নিংয়ে একটি গুরুত্বপূর্ণ বিতরণ !

বোল্টজমান ডিস্ট্রিবিউশনটিকে হিসাবে লেখা যেতে পারে যেখানে ধ্রুবক এবং রাষ্ট্রের স্পেস রাজ্য সিস্টেমের শক্তি । ক্লাসিকাল থার্মোডাইনামিক্সে , যেখানে কণার একটি স্থানাঙ্ক এবং গতিবেগ। ধ্রুবক যথাযথভাবে নির্বাচিত হলে এটি যথাযথ সম্ভাবনার ফাংশন , যেমন । এছাড়াও, আপনি এটি আকর্ষণীয় মনে করতে পারেন যে সিস্টেমের একটি তাপমাত্রার সাথে সামঞ্জস্য করে।

$$P=e^{\frac{a-E} b}$$ $a, b$$E$$dV$$V$$dV=dpdx$$x,p$$a,b$$\int_VPdV=1$$b$

এখন লক্ষ করুন কীভাবে , অর্থাৎ সম্ভাবনার লগটি শক্তির ক্ষেত্রে রৈখিক (আনুপাতিক)। এখন, আপনি দেখতে পাচ্ছেন যে নিম্নলিখিত এক্সপ্রেশনটি মূলত সিস্টেমের শক্তির একটি প্রত্যাশিত মান: এটি করেছিল।$\ln P\sim E$

$$S\equiv -\int_VP\ln P dV=<E>$$

সুতরাং, শ্যানন এই জিনিসটি নিয়েছিল এবং এটিকে "এনট্রপি" বলে ডাকে এবং আমরা এটিকে "শ্যানন এন্ট্রপি" বলে থাকি। এখানে আর কোনও শক্তির ধারণা নেই, তবে আপনি কোনও anti এর সম্ভাব্যতা বিরোধী-লগ করতে পারেন এবং এটিকে রাষ্ট্রের শক্তি বলতে পারেন?

$$\eta=-\sum_i P_i\ln P_i$$ e - P i$e^{-P_i}$

এই আপনার জন্য যথেষ্ট স্বজ্ঞাত? এটি আমার পক্ষে, তবে আমি পূর্ববর্তী জীবনে একটি তাত্ত্বিক পদার্থবিদ ছিল। এছাড়াও, আপনি এমনকি বোল্টজম্যান এবং ক্লাউসিয়াসের তাপমাত্রা এবং রচনাগুলির মতো পুরানো থার্মোডাইনামিক্স ধারণার সাথে সংযোগ স্থাপনের মাধ্যমে গভীরতর স্বীকৃতিতে যেতে পারেন ।