প্রদত্ত গড় এবং মানক বিচ্যুতিতে ধনাত্মক ক্রমাগত পরিবর্তনশীলটির জন্য সর্বাধিক এনট্রপি সম্ভাব্যতা ঘনত্ব ফাংশন কী?

13

প্রথম এবং দ্বিতীয় মুহুর্তে ধনাত্মক ক্রমাগত চলকটির জন্য সর্বাধিক এনট্রপি বিতরণ কী ?

উদাহরণস্বরূপ, গাউসীয় বিতরণ হ'ল একটি আনবাউন্ডেড ভেরিয়েবলের সর্বাধিক এনট্রপি বিতরণ, তার গড় এবং মানক বিচ্যুতি বিবেচনা করে এবং গামা বিতরণটি তার গড় মান এবং তার লগারিদমের গড় মান বিবেচনায় ধনাত্মক ভেরিয়েবলের সর্বাধিক এনট্রপি বিতরণ।

— becko
সূত্র

13

আপনি কেবল বোল্টজমানের উপপাদ্যটি ব্যবহার করতে পারেন যা আপনার উইকিপিডিয়া নিবন্ধে রয়েছে ।

নোট করুন যে গড়টি এবং তারতম্যটি উল্লেখ করা প্রথম দুটি কাঁচা মুহুর্ত নির্দিষ্ট করে দেওয়ার সমতুল্য - প্রত্যেকটি অন্যটিকে নির্ধারণ করে (এটি আবেদনের পক্ষে আসলে প্রয়োজন হয় না, যেহেতু আমরা উপমাটি সরাসরি গড় এবং প্রকরণের সাথে প্রয়োগ করতে পারি, এটি এইভাবে সামান্য সহজ সরল this )।

তত্ত্বটি তখন প্রতিষ্ঠিত করে যে ঘনত্ব অবশ্যই ফর্মের হতে হবে:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

ইতিবাচক বাস্তব লাইনের সাথে কে হিসাবে সীমাবদ্ধ করবে এবং আমি মনে করি এর মধ্যে সম্পর্কের উপর কিছুটা বিধিনিষেধ সৃষ্টি করেছে (যা সম্ভবত কাঁচা মুহুর্তের পরিবর্তে নির্দিষ্ট গড় এবং প্রকরণ থেকে শুরু করার পরে স্বয়ংক্রিয়ভাবে সন্তুষ্ট হবে) )। $\lambda_2$ $\leq 0$ $\lambda$

আমার অবাক করার বিষয় (যেহেতু আমি এই উত্তরটি শুরু করার আগেই এটির আশা করতাম না), এটি আমাদের কাটা কাটা সাধারণ বিতরণে ছেড়ে দেবে বলে মনে হয়।

এটি যেমন ঘটেছিল, আমি মনে করি না আমি এই উপপাদ্যটি আগে ব্যবহার করেছি, তাই আমি বিবেচনা করি নি বা ছেড়ে রেখেছি এমন কোনও বিষয়ে সমালোচনা বা সহায়ক পরামর্শ স্বাগত হবে।

— গ্লেন_বি -রাইনস্টেট মনিকা
সূত্র

+1 ধন্যবাদ ঠিক আছে মনে হচ্ছে। আমি যখন উইকিপিডিয়া নিবন্ধটি পড়ি তখন মনে হয় যে বোল্টজমানের উপপাদ্যটি সমস্ত বন্ধ অন্তরগুলির জন্য প্রযোজ্য। আমি ধরে নিয়েছি এটি কেবল থেকে পরিবর্তনশীলগুলিতে প্রয়োগ হয় ।

- \infty

$-\infty$

\infty

$\infty$

— বেকো

কোনও কারণে অভিন্ন বেস পরিমাপ এবং ফলস্বরূপ কাটা সাধারণ বিতরণ আমাকে পুরোপুরি বিশ্বাস করে না: ফ্রেড শোয়েন যেমন জোর দিয়েছিলেন, ক্রমাগত ক্ষেত্রে সর্বাধিক- (আপেক্ষিক-) এনট্রোপি খুঁজে পেতে আমাদের একটি বেস পরিমাপ বা রেফারেন্স সম্ভাব্যতা বিতরণ প্রয়োজন। যেহেতু প্রশ্নে অবিচ্ছিন্ন পরিবর্তনশীল ইতিবাচক, এটি স্কেল ভেরিয়েবল হতে পারে এবং সমানুপাতিক ভিত্তি পরিমাপ বিভিন্ন কারণের জন্য নিজেকে সুপারিশ করে (যেমন গোষ্ঠী আগ্রাসন; জেনেসের বই বা জেফরিস দেখুন)।

x

$x$

1 / x

$1/x$

— pglpm

এই বেস পরিমাপের ফলে ফলাফলটি বিতরণটি সমানুপাতিক তবে দুর্ভাগ্যক্রমে এটি অ-স্বাভাবিকীকরণযোগ্য (যদিও এটি আগেও একটি অনুপযুক্ত হিসাবে ব্যবহৃত হতে পারে) )। প্রশ্নের মধ্যে পরিবর্তনের ইতিবাচকতা দেওয়া এটি বিবেচনার জন্য এটির লগারিদমের মুহূর্তগুলি তথ্য বাহক এবং সর্বাধিক-এনট্রপি সীমাবদ্ধতা হিসাবে আরও বেশি অর্থবোধ করতে পারে কিনা তা বিবেচনা করা উপযুক্ত। তারা গামার মতো সর্বাধিক-এনট্রপি বিতরণে নেতৃত্ব দেবে।

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— pglpm

7

আমি @ গ্লেন_ বি এর উত্তর আরও সুস্পষ্ট করতে চাই, এখানে একটি অতিরিক্ত উত্তর কেবল কারণ এটি কোনও মন্তব্য হিসাবে উপযুক্ত নয়।

জেনেস বইয়ের 11 ও 12 অধ্যায়ে আনুষ্ঠানিকতা ইত্যাদি সম্পর্কে ভালভাবে ব্যাখ্যা করা হয়েছে । অভিন্ন বিতরণটিকে বেস পরিমাপ হিসাবে গ্রহণ করে, সাধারণ সমাধান হিসাবে @ গ্লেন_ বি ইতিমধ্যে বলেছে যে গাউসিয়ান ভেরিয়েবলের জন্য, আপনি স্পষ্টভাবে ল্যাঞ্জরেজ মাল্টিপ্লায়ার্স এবং এর জন্য সীমাবদ্ধ মানগুলির ( উইকিপিডিয়া নিবন্ধে) হিসাবে সমাধান করতে পারেন। সঙ্গে , তাহলে আপনি পেতে , তাই মান গসিয়ান ।

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

সীমাবদ্ধ পরিবর্তনশীল , আমি (এবং গণিত) জন্য স্পষ্ট করে সমাধান করতে পারছি না কারণ পার্টিশন ফাংশন ( উইকিপিডিয়ায় ) গণনা করার সময় উপস্থিত ত্রুটি ফাংশন উপস্থিত হয় । এর অর্থ হ'ল ছাঁটা গাউসির এবং পরামিতিগুলি আপনি যে ধারাবাহিক পরিবর্তনটি শুরু করেছিলেন তার অর্থ এবং তারতম্য নয় । এমন কি এমন ঘটতে পারে যে এর জন্য গাউসিয়ানদের মোডটি নেতিবাচক! আপনি নেওয়ার সময় অবশ্যই সমস্ত সংখ্যা আবার সম্মত হয় । $x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

আপনার যদি জন্য কংক্রিট মান থাকে তবে আপনি এখনও সংখ্যার জন্য সমাধান করতে পারেন এবং সমাধানগুলিকে সাধারণ সমীকরণের সাথে যুক্ত করতে পারেন এবং আপনি হয়ে ! কেস থেকে The এর মানগুলি একটি ভাল সূচনা পয়েন্ট হতে পারে। $a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

এই প্রশ্নটি /math/598608/ কি-is-the- maximum- entropy- dist वितरण-for-a-continuous- random- variable-on-0 এর সদৃশ

— ফ্রেড শোয়েন
সূত্র