ডেরিভিং নেজেনট্রপি। আটকে গেছি

সুতরাং, এই প্রশ্নটি কিছুটা জড়িত তবে আমি যথাসম্ভব এটিকে যথাসম্ভব সোজা-এগিয়ে করার চেষ্টা করেছি।

লক্ষ্য: দীর্ঘ গল্পের সংক্ষিপ্ত বিবরণ, নেজেনট্রপির একটি উত্স রয়েছে যা উচ্চতর অর্ডার কুল্যান্টগুলিকে জড়িত করে না এবং আমি কীভাবে এটি প্রাপ্ত হয়েছিল তা বোঝার চেষ্টা করছি।

পটভূমি: (আমি এই সমস্ত বুঝি)

আমি এখানে পাওয়া 'ইন্ডিপেন্ডেন্ট কম্পোনেন্ট অ্যানালাইসিস' বইটি স্ব-অধ্যয়ন করছি । (এই প্রশ্নটি আপনার 5.5 সেকশন থেকে রয়েছে, যদি আপনার কাছে বইটি থাকে - 'নন-পলিনমোনাল ফাংশন দ্বারা এন্ট্রপির আনুমানিক')।

আমাদের , যা এলোমেলো পরিবর্তনশীল এবং যার নিউজেন্ট্রপি আমরা অনুমান করতে চাই আমাদের কিছু পর্যবেক্ষণ থেকে। পিডিএফ দেওয়া হয় । নেজেনট্রপি হ'ল স্ট্যান্ডার্ডাইজড গাউসিয়ান এলোমেলো ভেরিয়েবলের ডিফারেনশিয়াল এনট্রপি এবং ডিফারেনশিয়াল এনট্রপির মধ্যে পার্থক্য । এখানে ডিফারেনশিয়াল এনট্রপি দ্বারা দেওয়া হয়েছে : $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

এবং তাই, নিয়েনট্রপি দ্বারা দেওয়া হয়

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

যেখানে a দ্বারা প্রদত্ত পিডিএফ সহ একটি মানক গাউসিয়ান আরভি । $v$ $\phi(\zeta)$

এখন, এই নতুন পদ্ধতির অংশ হিসাবে, আমার বই এর অনুমান করেছে , যা দ্বারা প্রদত্ত: $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(যেখানে । যাইহোক, হয় না একটি ক্ষমতা, কিন্তু একটি সূচক পরিবর্তে)। $c_i = \mathbb{E}\{F^i(x)\}$ $i$

আপাতত, আমি এই নতুন পিডিএফ সূত্রটি 'স্বীকার' করেছি এবং এটি সম্পর্কে অন্য একদিন জিজ্ঞাসা করব। এটি আমার মূল সমস্যা নয়। তিনি এখন যা করেন তা হ'ল এর পিডিএফটির এই সংস্করণটি আবার নিউজেন্ট্রপি সমীকরণে প্লাগ করে , এবং এখানে শেষ হয়: $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

মনে রাখবেন, সিগমা (এখানে এবং পোস্ট বাকি জন্য), শুধু সূচক প্রায় loops । উদাহরণস্বরূপ, যদি আমাদের কেবল দুটি ফাংশন থাকে তবে সিগন্যালটি এবং জন্য লুপ করবে । অবশ্যই, তিনি আপনাকে যে ফাংশনগুলি ব্যবহার করছেন সে সম্পর্কে আপনাকে বলা উচিত। সুতরাং স্পষ্টতই, ফাংশনগুলি এইভাবে সংজ্ঞায়িত করা হয়েছে: $i$ $i=2$ $i=2$ $F^i$

ক্রিয়াকলাপগুলি এক্ষেত্রে বহুপদী ফাংশন নয়। (আমরা ধরে নিই যে আরভি শূন্য গড় এবং একক বৈকল্পিক)। এখন আসুন আমরা কিছু বাধা তৈরি করি এবং সেই ফাংশনগুলির বৈশিষ্ট্য দেব: $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
গণনা সহজ করার জন্য, আসুন আমরা আরও একটি তৈরি করি, খাঁটি প্রযুক্তিগত অনুমান: , ফাংশনগুলি একটি অর্থনরমাল সিস্টেম গঠন করে যেমন: $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
এবং

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

প্রায় সেখানে! ঠিক আছে, তাই সমস্ত কি ব্যাকগ্রাউন্ড ছিল, এবং এখন প্রশ্নের জন্য। তখন কাজটি হ'ল এই নতুন পিডিএফটিকে কেবল ডিফারেনশিয়াল এনট্রপি সূত্র, । আমি যদি এটি বুঝতে পারি তবে আমি বাকীগুলি বুঝতে পারি। এখন, বইটি ডেরিওয়েশন দেয়, (এবং আমি এটির সাথে একমত), তবে আমি শেষের দিকে আটকে যাই, কারণ এটি কীভাবে বাতিল হচ্ছে তা আমি জানি না / দেখছি না। এছাড়াও, টেলর সম্প্রসারণ থেকে ছোট-ও স্বরলিপিটি কীভাবে ব্যাখ্যা করতে হয় তা আমি জানি না। $H(x)$

এটি ফলাফল:

টেলর সম্প্রসারণ , আমরা পেয়েছি: $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

এবং তাই

প্রশ্ন: (আমি এটি বুঝতে পারি না)

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

সুতরাং, আমার সমস্যা: ব্যতীত , আমি বুঝতে পারি না তিনি কীভাবে শেষ সমীকরণে চূড়ান্ত 4 পদ পেয়েছিলেন। (যেমন, 0, 0 এবং শেষ 2 টি পদ)। আমি তার আগে সব কিছু বুঝতে পারি। তিনি বলেছেন যে তিনি উপরের বৈশিষ্ট্যগুলিতে প্রদত্ত অরথগোনালটি সম্পর্ককে কাজে লাগিয়েছেন, তবে কীভাবে তা আমি দেখছি না। (আমি এখানে ছোট-ও স্বরলিপিটি বুঝতে পারি না, এই অর্থে এটি কীভাবে ব্যবহৃত হয়?) $H(v)$

ধন্যবাদ !!!!

সম্পাদনা করুন:

আমি এগিয়ে যাচ্ছি এবং আমি যে বইটি পড়ছি তা থেকে ছবিগুলি যুক্ত করেছি, এটি আমি উপরে যা বলেছিলাম তা অনেকটাই বলেছে, তবে কারও অতিরিক্ত প্রসঙ্গের প্রয়োজন হলে needs

এখানে চিত্র বর্ণনা লিখুন

এবং এখানে, লাল চিহ্নযুক্ত, হ'ল সঠিক অংশ যা আমাকে বিভ্রান্ত করছে। তিনি শেষ অংশটি পেতে যেখানে বৈশিষ্ট্যগুলি ব্যবহার করবেন, যেখানে জিনিসগুলি বাতিল হয়ে যাচ্ছে, এবং এবং চূড়ান্ত সংক্ষিপ্ত সংক্ষেপে জড়িত চূড়ান্ত ? $c_i^2$

— Spacey
সূত্র

ইঙ্গিত : পরিষ্কারভাবে এবং দুটি মাঝারি পদটির জন্য শূন্য পেতে লেখকের বর্ণিত অনুমানগুলি ব্যবহার করুন। ব্লক কোট সহ বেশ কয়েকটি টাইপো থাকতে হবে; উদাহরণস্বরূপ, আপনার দেওয়া অর্থমোনিক ভিত্তিক সংজ্ঞাতে ভুল জায়গায় উপস্থিত হয়।

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

— কার্ডিনাল

@ কার্ডিনাল ঠিক আছে, টাইপো সংশোধন করে দিয়েছেন, ধন্যবাদ। যা বলা হচ্ছে, তিনি কীভাবে বাতিলকরণ সম্পাদন করছেন সে সম্পর্কে আমি পরিষ্কার নই। আমি বইটি থেকেই সত্যিকারের চিত্রগুলি বিটিডব্লু করেছি।

— স্পেসি

সত্যিই, আমি জানি না কীভাবে বা কেন এটি গণিতের সাইট থেকে সরানো হয়েছে। যে কোনও হারে, আমি এখানে এটি পেয়ে খুশি, যেখানে এটি বাড়িতে সমানভাবে রয়েছে। আপনি প্রশ্নটিতে অনেক চেষ্টা করেছেন। :-)

— এডিনাল

@ কার্ডিনাল আপনি এটি শুনে শুনে আমাকে খুব খুশি করে। :-) হ্যাঁ, আশা করি এই স্ব-অধ্যয়নের বিনিয়োগটি কোনও দিন শোধ করবে। ;-)

— স্পেসি

এটি হবে, @ মোহাম্মদ, এটি হবে! আইসিএ একটি খুব আকর্ষণীয় বিষয় :-)।

— নস্টোর

প্রথমে মনে রাখবেন যে ধ্রুবক (সেগুলি প্রত্যাশার মান, সংখ্যা!) তাই সেগুলি অবিচ্ছেদ্যগুলির বাইরে নেওয়া যেতে পারে (যদি আপনি এটি দেখতে না পান তবে নোট করুন যে যদি স্বরলিপিটি আপনাকে বিরক্ত করে, কেবলমাত্র__ তে দ্বারা পরিবর্তন করুন )। $c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> শূন্য পদ পেতে:

পুনরাহ্বান যে । @ কার্ড্ডিনালের পরামর্শ অনুসারে আপনাকে স্পষ্টভাবে লিখতে হবে , যা সমান: স্ক্রিট t এটি হাতছাড়া করে, আপনাকে কেবল এটি লক্ষ করতে হবে: যেখানে আমি ইন্টিগ্রালের বাইরে ধ্রুবকগুলি ফেলে রেখেছি। $\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

এই জায়গা থেকে, নোট (5.39) এ বলা হয়েছে যে, যে হয় জন্য । এককের ডানে প্রথম পদটিতে অবিচ্ছেদ্য। এই ফর্মটির ( ) এবং দ্বিতীয় মেয়াদেও অবিচ্ছেদ্য, ( )। আপনাকে কেবল এই সত্যটি অঙ্কের উপরে কাজে লাগাতে হবে এবং আপনি হয়ে গেলেন! $\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

>> পদ প্রাপ্ত করতে : $\sum c_i^2$

নোট করুন যে এই পদগুলি প্রাপ্ত করার জন্য প্রাপ্ত অবিচ্ছেদ্য হ'ল: বর্গক্ষেত্রের যোগফলকে প্রসারিত করতে আমরা বহুজাতিক তত্ত্বটি ব্যবহার করতে পারি । এটি আমাদের দেয়: তবে, (৫.৩৯) আবার, দ্রষ্টব্য যে এই যোগফলের সমস্ত পদগুলিতে form ফর্মের জন্য অবিচ্ছেদ্য অন্তর্ভুক্ত রয়েছে জন্য শূন্য এবং । এটি আমাদের ফলাফল

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

>> স্বরলিপি সম্পর্কে $o(\text{whatever})$

আমি লেখকদের কাছ থেকে এটি বেশ বিভ্রান্তিকর বলে মনে করি, তবে আমি মনে করি যে তারা এটি ব্যবহার করার জন্য কেবলমাত্র অর্ডার শর্তাদি রয়েছে প্রতিবার (যেমন, বড়দের মতো -O স্বরলিপি)। যাইহোক, @ ম্যাক্রো যেমন একই উত্তরটিতে মন্তব্য করেছেন, বিগ-ও স্বীকৃতি এবং লিটল-ও এর মধ্যে একটি পার্থক্য রয়েছে। হতে পারে আপনার নিজের দ্বারা যাচাই করা উচিত এবং এই উইকিপিডিয়া নিবন্ধে কোনটি সমস্যার জন্য উপযুক্ত এটি দেখুন । $\text{whatever}$ $o(\text{whatever})$

PS: এটি উপায় দ্বারা একটি দুর্দান্ত বই। বিষয়টিতে লেখকের কাগজপত্রগুলিও খুব ভাল এবং আপনি আইসিএ বোঝার এবং বাস্তবায়নের চেষ্টা করছেন তবে তা অবশ্যই পড়তে হবে।

— নেস্টর
সূত্র

(+1) ভাল উত্তর। যদি পরিমাণগুলি অসীম হয়, তবে অবিচ্ছেদ্যগুলির সাথে সেগুলি বিনিময় করার বিষয়ে আমাদের আরও যত্নশীল হতে হবে। যদি তারা সীমাবদ্ধ হয় (যেমন ওপি পরামর্শ দেয় তবে আমি চিত্রগুলি ঘনিষ্ঠভাবে দেখিনি) তবে সবকিছুই সোজা, যেমন আপনি দেখিয়েছেন। :-)

— এডিনাল

অই হ্যাঁ! আপনাকে ধন্যবাদ, তবে শেষ দুটি ফলাফল সম্পর্কে কী, , সাথে সংমিশ্রণ এবং ছোট-ও স্বরলিপি অংশের সাথে সংমিশ্রণ?

c_{i}^{2}

$c_i^2$

— স্পেসি

@ কার্ডিনাল: ওহ হ্যাঁ! তারা সীমাবদ্ধ (আমি জানি না কেন আমি কেন লিখেছি সেগুলি অসীম ...)। আমি আমার উত্তরে এটি পরিবর্তন করেছি।

— নস্টর

@ মোহাম্মদ, আমি আমার উত্তরগুলি লিখছি আপনার অন্যান্য দুটি প্রশ্ন ;-)।

— নস্টর

@ নস্টর, এই উত্তরটির জন্য +1 কিন্তু পুনরায়: আপনার শেষ মন্তব্য, আমি মনে করি বিগ-ও এবং লিটল-ও স্বীকৃতির মধ্যে পার্থক্য রয়েছে ।

— ম্যাক্রো