একটি ইউনিট গওসিয়ান সঙ্গে কেএল ক্ষতি

10

আমি একটি ভিএই বাস্তবায়ন করছি এবং আমি সরলিকৃত অবিবাহিত গাউসিয়ান কেএল ডাইভারজেন্সের দুটি পৃথক বাস্তবায়ন লক্ষ্য করেছি। অনুযায়ী মূল বিকিরণ এখানে হয় যদি আমরা ধরে নিই যে আমাদের পূর্ববর্তীটি একক গাউসিয়ান অর্থাৎ ie এবং হয় তবে এটি এবং আমার বিভ্রান্তি এখানেই রয়েছে। যদিও উপরের প্রয়োগের সাথে আমি কয়েকটি অস্পষ্ট গিথুব রেপো পেয়েছি, তবে আমি যা সাধারণত ব্যবহার করি তা হ'ল:

K L_{l o s s} = \log (\frac{σ_{2}}{σ_{1}}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2}

$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$

μ_{2} = 0

$\mu_2=0$

σ_{2} = 1

$\sigma_2=1$

K L_{l o s s} = - \log (σ_{1}) + \frac{σ_{1}^{2} + μ_{1}^{2}}{2} - \frac{1}{2}

$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$

K L_{l o s s} = - \frac{1}{2} (2 \log (σ_{1}) - σ_{1}^{2} - μ_{1}^{2} + 1)

$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$

= - \frac{1}{2} (\log (σ_{1}) - σ_{1} - μ_{1}^{2} + 1)

$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$ উদাহরণস্বরূপ অফিসিয়াল কেরাস অটোনকোডার টিউটোরিয়ালে । আমার প্রশ্নটি তখন, আমি এই দুজনের মধ্যে কী মিস করছি? মূল পার্থক্য হ'ল লগ শব্দটিতে 2 এর ফ্যাক্টরটি বাদ দেওয়া এবং ভেরিয়েন্সটিকে স্কোয়ার না করা। বিশ্লেষণাত্মকভাবে আমি পরেরটির সাফল্যের সাথে ব্যবহার করেছি, এটির জন্য মূল্য। কোনো সাহায্যের জন্য আগাম ধন্যবাদ!

— groovyDragon
সূত্র

7

লক্ষ্য করুন যে কে এর সাথে প্রতিস্থাপন করে আপনি পূর্ববর্তী সমীকরণটি পুনরুদ্ধার করুন (যেমন )। আমাকে ভাবতে পরিচালিত করে যে প্রথম ক্ষেত্রে এনকোডারটি তারতম্যটি পূর্বাভাস দেওয়ার জন্য ব্যবহৃত হয়, অন্যদিকে এটি স্ট্যান্ডার্ড বিচ্যুতির পূর্বাভাস দেওয়ার জন্য ব্যবহৃত হয়। $\sigma_1$ $\sigma_1^2$ $\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

উভয় সূত্র সমতুল্য এবং উদ্দেশ্যটি অপরিবর্তিত।

— এফ এলাঞ্জেলি
সূত্র

আমি মনে করি না যে এগুলি সমতুল্য হতে পারে। হ্যাঁ, শূন্য এবং ইউনিট জন্য এগুলি উভয়ই হ্রাস করা হয় । তবে, মূল সমীকরণে (বৈকল্পিক বৈশিষ্ট্যটি) unity unity থেকে দূরে সরে যাওয়ার জন্য শাস্তি দ্বিতীয় সমীকরণের তুলনায় (স্ট্যান্ডার্ড বিচ্যুতির ভিত্তিতে) বেশি বড়। মধ্যে পরিবর্তনের জন্য শাস্তি উভয়ের জন্য একই এবং পুনর্গঠনের ত্রুটি একই হবে, তাই দ্বিতীয় সংস্করণটি নাটকীয়ভাবে unity থেকে প্রস্থানের আপেক্ষিক গুরুত্বকে পরিবর্তন করে । আমি কী মিস করছি?

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

μ

$\mu$

σ

$\sigma$

— দ্য বি্যামফ

0

আমি বিশ্বাস করি উত্তরটি সহজ। ভিএইতে, লোকেরা সাধারণত একটি মাল্টিভারিয়েট স্বাভাবিক বিতরণ ব্যবহার করে, এতে বৈকল্পিক পরিবর্তে কোভারিয়েন্স ম্যাট্রিক্স । কোডের এক টুকরোতে এটি বিভ্রান্তিকর দেখাচ্ছে তবে তার পছন্দসই ফর্ম রয়েছে। $\Sigma$ $\sigma^2$

মাল্টিভারিয়েট সাধারণ বিতরণগুলির জন্য আপনি কেএল ডাইভারজেন্সের উত্স আবিষ্কার করতে পারেন: ভিএইগুলির জন্য কেএল ডাইভার্জেন্স ক্ষতি হ্রাস

— দিমিত্রি গ্রেবেনিউক
সূত্র