42

আমি শব্দ জুড়ে এসেছিল অজ্ঞানতায় নিমজ্জত যা লগ-গড় অদেখা ডেটার উপর বিপরীত সম্ভাবনা বোঝায়। উদ্বেগ সম্পর্কিত উইকিপিডিয়া নিবন্ধ একই জন্য একটি স্বজ্ঞাত অর্থ দেয় না।

এই বিভ্রান্তি পরিমাপটি পিএলএসএ কাগজে ব্যবহৃত হয়েছিল ।

জটিলতা পরিমাপের প্রয়োজন এবং স্বজ্ঞাত অর্থ কী কেউ ব্যাখ্যা করতে পারবেন ?

measurement perplexity

— শিক্ষার্থী
সূত্র

আমি কীভাবে পিএলএসএর জন্য বিভ্রান্তি গণনা করব? আমার ডেটাম্যাট্রিক্স যার গণনা রয়েছে এবং টি ईএম অ্যালগরিদম এবং ডাব্লু । দ্বারা গণনা করা হয়।

X

$X$

p (d)

$p(d)$

p (w | d)

$p(w|d)$

— শিক্ষার্থী

3

আমি নিসবেট, ল্যারোস, উইটেন, টর্গো, এবং শেমুয়ালি (প্লাস কোয়েটার) দ্বারা 5 ডেটা মাইনিং / মেশিন লার্নিং / ভবিষ্যদ্বাণীমূলক বিশ্লেষণ বইয়ের সূচকগুলি পরীক্ষা করে দেখেছি এবং এই শব্দটি কোনওটির মধ্যেই ঘটে না। আমি বিভ্রান্ত হয়ে

— পড়েছি

1

চঞ্চলতা অনিশ্চয়তার আরেক অভিনব নাম। এটি বহির্মুখী মূল্যায়নের বিরুদ্ধে একটি অভ্যন্তরীণ মূল্যায়ন হিসাবে বিবেচনা করা যেতে পারে। জান জুরাফস্কি ভাষা মডেলিং অনুসারে উদাহরণগুলি দিয়ে এটিকে সুন্দরভাবে ব্যাখ্যা করেছেন youtube.com/watch?v=BAN3NB_SNHY

— বাইসপজাই

2

@ জাইসাইক্লিস্ট, আপনি যদি বন্যের উদাহরণগুলি সন্ধান করেন তবে এটি এনএলপিতে বিশেষত এবং বিশেষত ভাষার মডেলগুলির মতো বিষয়গুলির মূল্যায়নের জন্য সাধারণ।

— ম্যাট ক্রাউস

কিছু ক্ষেত্রে (উদাহরণস্বরূপ অর্থনীতি) লোকেরা সমান সংখ্যার বিষয়ে কথা বলে যাতে উদাহরণস্বরূপ যেখানে প্রাকৃতিক লগারিদমের ভিত্তিতে এনট্রপি হয় সমান সাধারণ বিভাগগুলির সমতুল্য সংখ্যা number সুতরাং, সম্ভাব্যতা সহ প্রতিটি দুটি বিভাগ 0.5 ফলন এনট্রপি এবং ক্ষয়ক্ষতি সমানভাবে সাধারণ বিভাগগুলির সংখ্যা হিসাবে 2 ফিরে পেয়েছে। অসম সম্ভাবনার জন্য সংখ্যার সমতুল্য সাধারণত কোনও পূর্ণসংখ্যা হয় না।

\exp (H)

$\exp(H)$

H

$H$

\ln 2

$\ln 2$

— নিক কক্স

21

আপনি উদ্বেগ নিয়ে উইকিপিডিয়া নিবন্ধটি দেখেছেন । এটি হিসাবে একটি পৃথক বিতরণ এর বিভ্রান্তি দেয়

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

যা হিসাবে লেখা যেতে পারে

\exp (\sum_{x} p (x) \log_{e} \frac{1}{p (x)})

$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$

অর্থাত্ সম্ভাবনার বিপরীতে ওজনিত জ্যামিতিক গড় হিসাবে। অবিচ্ছিন্ন বিতরণের জন্য, যোগফলটি অবিচ্ছেদ্য হয়ে উঠবে।

নিবন্ধটি পরীক্ষার ডেটার টুকরা ব্যবহার করে কোনও মডেলটির জন্য বিভ্রান্তি অনুমান করার একটি উপায়ও দেয় $N$

2^{- \sum_{i = 1}^{N} \frac{1}{N} \log_{2} q (x_{i})}

$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$

যা লিখিত হতে পারে

\exp (\frac{\sum_{i = 1}^{N} \log_{e} (\frac{1}{q (x_{i})})}{N}) or \sqrt[N]{\prod_{i = 1}^{N} \frac{1}{q (x_{i})}}

$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$

বা বিভিন্ন উপায়ে এবং এটি "লগ-গড় বিপরীত সম্ভাবনা" কোথা থেকে এসেছে তা আরও স্পষ্ট করে তুলতে হবে।

— হেনরি
সূত্র

যখন 2 এর পরিবর্তে e ব্যাক্তি হিসাবে ব্যবহৃত হয় তখন এর মধ্যে কোনও বিশেষ পার্থক্য থাকে?

— হেনরি ই

2

@ হেনরি: না, এবং সাধারণ লোগারিদম বেস খুব কার্যকর হবে - বিভিন্ন একে অপরের সাথে সমানুপাতিক এবং স্পষ্টভাবে

10

$10$

a^{\log_{a} x} = b^{\log_{b} x}

$a^{\log_a x} = b^{\log_b x}$

— হেনরি

আমি যতটা মূর্ত. আমি এই উত্তরটি পেরিয়ে এসেছি যখন আমি বুঝতে চেষ্টা করছিলাম যে কোডগুলির একটি টুকরা কেন আগে বিভ্রান্তির গণনা করতে ই ব্যবহার করছিল যখন আমি আগে দেখা অন্যান্য সমস্ত সূত্রগুলি ব্যবহার করছিলাম ২. আমি বুঝতে পেরেছি যে একটি কাঠামোর মূল্য কী তা জানা এখনই কতটা গুরুত্বপূর্ণ লগ ক্ষতির গণনার ভিত্তি হিসাবে ব্যবহার করে

— হেনরি ই

27

আমি এটিকে বরং স্বজ্ঞাত বলে মনে করেছি:

আপনি যা যা মূল্যায়ন করছেন তার তথ্যের বিভ্রান্তি, আপনি যে ডেটা এটির মূল্যায়ন করছেন তাতে বাছাই করে আপনাকে "এই বিষয়টি প্রায়শই এক্স-পার্শ্বযুক্ত ডাই হিসাবে দেখা যায় ঠিক ততটাই সঠিক।"

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

— pandasEverywhere
সূত্র

এটি একটি আকর্ষণীয় নিবন্ধ; সম্ভবত গভীরতা না হলেও একটি ভাল সূচনা পাঠক।

— মনিকা হেডনেক

1

আমি এই নিবন্ধটি সহায়ক বলেও পেয়েছি, jamesmccaffrey.wordpress.com/2016/08/16/…

— ব্যবহারকারী 2561747

11

আমি এটাও ভেবে দেখেছি। প্রথম ব্যাখ্যাটি খারাপ নয়, তবে যা কিছু মূল্যবান তার জন্য এখানে আমার 2 নেট রয়েছে।

প্রথমত, আপনি কতটা সঠিকভাবে অনুমান করেন তা চিহ্নিতকরণের সাথে উদ্বেগের কোনও সম্পর্ক নেই। এটি স্টোকাস্টিক সিকোয়েন্সের জটিলতা চিহ্নিতকরণের সাথে আরও অনেক কিছু করতে পারে।

আমরা একটি পরিমাণ দেখছি,

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

প্রথমে লগ এবং এক্সপেনশনেশন বাতিল করুন cancel

2^{- \sum_{x} p (x) \log_{2} p (x)} = \frac{1}{\prod_{x} p (x)^{p (x)}}

$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$

আমি মনে করি যে এন্ট্রপি সংজ্ঞায়িত করার জন্য আপনি যে বেসটি ব্যবহার করেন তার সাথে বিভ্রান্তি হ'ল উদ্বেগজনক। সুতরাং এই অর্থে, বিভ্রান্তি একটি পরিমাপ হিসাবে এনট্রপির চেয়ে অনন্যতর অনন্য / কম স্বেচ্ছাসেবী।

ডাইসের সাথে সম্পর্ক

এর সাথে এই কিছুটা খেলি। ধরা যাক আপনি কেবল একটি মুদ্রা দেখছেন। মুদ্রাটি ন্যায্য হলে, এনট্রপি সর্বাধিক হয় এবং বিভ্রান্তি সর্বোচ্চ

\frac{1}{{\frac{1}{2}}^{\frac{1}{2}} \times {\frac{1}{2}}^{\frac{1}{2}}} = 2

$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$

এখন যখন আমরা একটি পার্শ্বযুক্ত পাশা তাকান? উদ্বেগ হ'ল $N$

\frac{1}{{({\frac{1}{N}}^{\frac{1}{N}})}^{N}} = N

$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$

সুতরাং বিভ্রান্তি একটি ন্যায্য ডাই এর পক্ষের সংখ্যা উপস্থাপন করে যা ঘূর্ণায়মান হওয়ার পরে আপনার প্রদত্ত সম্ভাব্যতা বন্টনের মতো একই এনট্রপির সাথে একটি ক্রম তৈরি করে।

রাজ্যের সংখ্যা

ঠিক আছে, তাই এখন আমাদের কাছে বিভ্রান্তির একটি স্বজ্ঞাত সংজ্ঞা রয়েছে, আসুন এটি কীভাবে কোনও মডেলের রাজ্যের সংখ্যার দ্বারা প্রভাবিত হয় তা একবার খতিয়ে দেখি। আসুন রাজ্যগুলির উপর সম্ভাব্যতা বিতরণ দিয়ে শুরু করা যাক , এবং রাজ্যের উপরে একটি নতুন সম্ভাবনা বিতরণ তৈরি করুন যেমন মূল রাজ্যের সম্ভাবনা অনুপাত একই থাকে এবং নতুন রাষ্ট্রের সম্ভাবনা থাকে । ফেয়ার পার্শ্বযুক্ত ডাই দিয়ে শুরু করার ক্ষেত্রে , আমরা একটি নতুন পার্শ্বযুক্ত মরা এমনটি তৈরি করার কল্পনা করতে পারি যে নতুন দিকটি সম্ভাবনার সাথে ঘূর্ণিত হয় এবং মূল $N$ $N+1$ $N$ $\epsilon$ $N$ $N + 1$ $\epsilon$ $N$ পক্ষগুলি সমান সম্ভাবনা দিয়ে ঘূর্ণিত হয়। সুতরাং একটি স্বেচ্ছাসেবী মূল সম্ভাব্যতা বিতরণের ক্ষেত্রে, যদি প্রতিটি রাজ্যের এর সম্ভাবনা দ্বারা দেওয়া হয় তবে নতুন রাজ্যটি দেওয়া নতুন রাজ্যগুলির নতুন বিতরণ হবে , এবং নতুন বিভ্রান্তি দেওয়া হবে: $x$ $p_x$ $N$

p_{x}^{'} = p_{x} (1 - ϵ)

$p^\prime_x=p_x\left(1-\epsilon\right)$

\frac{1}{ϵ^{ϵ} \prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)} {(1 - ϵ)}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} {(1 - ϵ)}^{(1 - ϵ)} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)}}

$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$

হিসাবে সীমাতে , এই পরিমাণটি $\epsilon\rightarrow 0$

\frac{1}{\prod_{x}^{N} {p_{x}}^{p_{x}}}

$\frac{1}{\prod_x^N {p_x}^{p_x}}$

সুতরাং আপনি যখন ডাইয়ের একপাশে ঘন ঘন সম্ভাবনা কমিয়ে আনতে পারেন, তখন বিভ্রান্তিটি এমনভাবে দেখে শেষ হয় যেন পাশের অস্তিত্ব নেই।

— অ্যালেক্স এফটিমিডস
সূত্র

3

অবশ্যই এটি মূল্য মাত্র 39 1.39 নট?

— ম্যাট ক্রাউস

কীভাবে আপনি কীভাবে ? আমি কেবল

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = (1 - ϵ)^{1 - ϵ} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = (1-\epsilon)^{1-\epsilon}\prod_x^N {p_x}^{p_x(1-\epsilon)}$

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)} = \prod_{x}^{N} {(1 - ϵ)}^{p_{x} (1 - ϵ)} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = \prod_x^N {(p_x (1-\epsilon)) }^{p_x(1-\epsilon)} = \prod_x^N {(1-\epsilon) }^{p_x(1-\epsilon)} \prod_x^N {p_x }^{p_x(1-\epsilon)}$

— এপসিলন

\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}

$\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}$

— এপসিলন Alex

5

বিভ্রান্তি এবং বিতরণ থেকে সঠিকভাবে কোনও মূল্য অনুমানের প্রতিক্রিয়াগুলির মধ্যে একটি স্পষ্ট সংযোগ রয়েছে যা ইনফরমেশন থিওরি 2 ইড (২.১66) এর কভার এর উপাদানগুলি দ্বারা প্রদত্ত: যদি এবং আইআইডি ভেরিয়েবল হয়, তবে $X$ $X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$ (1)

ব্যাখ্যা করার জন্য, অভিন্ন বিতরণ এক্সের বিভ্রান্তি কেবলমাত্র | এক্স |, উপাদানগুলির সংখ্যা। যদি আমরা অভিন্ন ডিস্ট্রিবিউশন X এর আইড নমুনাগুলি X থেকে iid অনুমানগুলি গ্রহণ করে যে মানগুলি অনুমান করার চেষ্টা করি, আমরা সময়টির সঠিক 1 / | এক্স | = 1 / বিভ্রান্তি হব। যেহেতু অভিন্ন বিতরণ থেকে মানগুলি অনুমান করা সবচেয়ে শক্ত, তাই আমাদের অনুমানগুলি কতবার ঠিক হবে তার জন্য আমরা 1 / বিভ্রান্তিটিকে নিম্ন সীমাবদ্ধ / হিউরিস্টিক অনুমান হিসাবে ব্যবহার করতে পারি।

— user49404
সূত্র

উদ্বেগ কী?

ডাইসের সাথে সম্পর্ক

রাজ্যের সংখ্যা