অপ্রয়োজনীয় লগ সম্ভাব্যতাকে লিনিয়ার দিয়ে শুরু করে নিউরাল নেটওয়ার্কগুলিতে সিগময়েড আউটপুট ইউনিটকে অনুপ্রাণিত করা

12

পটভূমি: আমি ইয়ান গুডফেলো এবং যোশুয়া বেনজিও এবং অ্যারন কউরভিলের ডিপ লার্নিংয়ের chapter ষ্ঠ অধ্যায়টি অধ্যয়ন করছি। বিভাগে .2.২.২.২ (183 এর 182 পৃষ্ঠাগুলি যা এখানে দেখা যায় ) সিগময়েডের আউটপুট ব্যবহার অনুপ্রাণিত করা হয়। $P(y=1|x)$

কিছু উপাদান সংক্ষিপ্তসার হিসাবে তারা কে একটি অ্যাক্টিভেশন প্রয়োগ করার আগে একটি আউটপুট নিউরন হতে দেয় যেখানে পূর্ববর্তী লুকানো স্তরের আউটপুট, ওয়েটের ভেক্টর এবং একটি স্কেলার বায়াস হয়। ইনপুট ভেক্টরকে (যা এর একটি ফাংশন) চিহ্নিত করা হয় এবং আউটপুট মান যেখানে সিগময়েড ফাংশন। বইটি এর মান ব্যবহার করে উপর সম্ভাব্যতা বন্টনকে de dene করতে চায় । 183 পৃষ্ঠার দ্বিতীয় অনুচ্ছেদ থেকে:

z- র = W^{টি} জ + + খ

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$

আমরা মান ব্যবহার করে উপর সম্ভাব্যতা বন্টন কীভাবে করব তা আলোচনা করার জন্য আমরা মুহুর্তের জন্য এর নির্ভরতা বাদ দিই । সিগময়েডকে একটি অস্বাভাবিক সম্ভাবনা বিতরণ টিলডে উদ্বুদ্ধ করা যেতে পারে , যা 1 এর সমষ্টি নয়। আমরা তার পরে বৈধ সম্ভাব্যতা বন্টন পাওয়ার জন্য উপযুক্ত ধ্রুবক দ্বারা ভাগ করতে পারি। যদি আমরা এই অনুমান দিয়ে শুরু করি যে অস্বাভাবিক লগ সম্ভাবনাগুলি এবং এর ক্ষেত্রে লিনিয়ার হয় , তবে আমরা অস্বাভাবিক সম্ভাবনাগুলি পেতে দ্রুততর করতে পারি। তারপরে আমরা দেখতে দেখতে স্বাভাবিক হই যে এটি z এর একটি সিগময়েডাল ট্রান্সফর্মেশন দ্বারা নিয়ন্ত্রিত একটি বের্নোল্লি বিতরণ দেয়: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} লগ \tilde{পি} (Y) & = Y z- র \\ \tilde{পি} (Y) & = মেপুঃ (Y z- র) \\ পি (Y) & = \frac{মেপুঃ (Y z- র)}{Σ_{Y^{'} = 0}^{1} মেপুঃ (Y^{'} z- র)} \\ পি (Y) & = φ ((2 Y - 1) z- র) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

প্রশ্ন: আমি দুটি বিষয় সম্পর্কে বিভ্রান্ত, বিশেষত প্রথম:

প্রাথমিক অনুমানটি কোথা থেকে আসছে? এবং কেন অস্বাভাবিক লগ সম্ভাব্যতা রৈখিক ? লেখকরা কীভাবে টিলডে দিয়ে শুরু করেছিলেন সে সম্পর্কে কেউ আমাকে কিছুটা ধারণা দিতে পারেন ? $y$ $z$ $\log\tilde P(y) = yz$
শেষ লাইনটি কীভাবে অনুসরণ করবে?

neural-networks deep-learning

— HBeel
সূত্র

8

সেখানে জন্য দুটি সম্ভাব্য ফলাফল আছে । এটি অত্যন্ত গুরুত্বপূর্ণ, কারণ এই সম্পত্তিটি গুণনের অর্থ পরিবর্তন করে। দুটি সম্ভাব্য কেস রয়েছে: $y \in \{0, 1\}$

\begin{aligned} লগ \tilde{পি} (Y = 1) & = z- র \\ লগ \tilde{পি} (Y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

এছাড়াও লক্ষণীয় গুরুত্বপূর্ণ যে জন্য অস্বাভাবিক লগারিদমিক সম্ভাবনা ধ্রুবক। এই সম্পত্তিটি মূল অনুমান থেকে প্রাপ্ত। ধ্রুবক মানটিতে যে কোনও ডিটারমিনিস্টিক ফাংশন প্রয়োগ করা ধ্রুবক আউটপুট তৈরি করে। এই বৈশিষ্ট্যটি চূড়ান্ত সূত্রটি সহজতর করবে যখন আমরা সম্ভাব্য সমস্ত সম্ভাবনার উপর সাধারণকরণ করব, কারণ আমাদের কেবল এবং এর জন্য কেবল অস্বাভাবিক সম্ভাবনা জানতে হবে যা সর্বদা স্থির থাকে। এবং অস্বাভাবিক লগারিদমিক সম্ভাবনার মধ্যে নেটওয়ার্ক থেকে আউটপুট যেহেতু আমাদের কেবল একটি আউটপুট প্রয়োজন হবে, কারণ অন্য একটি ধ্রুবক বলে ধরে নিয়েছে। $y=0$ $y=1$ $y=0$

এর পরে, আমরা অস্বাভাবিকতর সম্ভাবনা পাওয়ার জন্য অস্বাভাবিক লগারিদম সম্ভাব্যতার জন্য ক্ষয়ক্ষতি প্রয়োগ করছি।

\begin{aligned} \tilde{পি} (Y = 1) & = ই^{z- র} \\ \tilde{পি} (Y = 0) & = ই^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

এরপরে আমরা সমস্ত সম্ভাব্য অস্বাভাবিক সম্ভাবনার যোগফলের মাধ্যমে প্রতিটি অস্বাভাবিক সম্ভাবনার ভাগ করে নেওয়ার সম্ভাবনাগুলিকে কেবল স্বাভাবিক করি।

\begin{aligned} পি (Y = 1) = \frac{ই^{z- র}}{1 + + ই^{z- র}} \\ পি (Y = 0) = \frac{1}{1 + + ই^{z- র}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

আমরা কেবল , কারণ সিগময়েড ফাংশন থেকে সম্ভাব্যতার অর্থ এটি। প্রাপ্ত ফাংশনটি প্রথম চেহারাতে সিগময়েডের মতো দেখাচ্ছে না তবে তারা সমান এবং এটি দেখানো সহজ। $P(y=1)$

\begin{aligned} পি (Y = 1) = \frac{ই^{এক্স}}{1 + + ই^{এক্স}} = \frac{1}{\frac{ই^{এক্স} + + 1}{ই^{এক্স}}} = \frac{1}{1 + + \frac{1}{ই^{এক্স}}} = \frac{1}{1 + + ই^{- এক্স}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

সর্বশেষ বিবৃতিটি প্রথমে বিভ্রান্তিকর হতে পারে তবে এটি দেখানোর একমাত্র উপায় যে চূড়ান্ত সম্ভাবনা ফাংশনটি একটি সিগময়েড is মান পরিবর্তিত থেকে এবং থেকে (অথবা আমরা বলতে পারি যে এটা পরিবর্তন ছাড়াই হবে)। $(2y−1)$ $0$ $-1$ $1$ $1$

পি (Y) = σ ((2 Y - 1) z- র) = {\begin{cases} σ (z- র) = \frac{1}{1 + + ই^{- z- র}} = \frac{ই^{z- র}}{1 + + ই^{z- র}} & কখন Y = 1 \\ σ (- z- র) = \frac{1}{1 + + ই^{- (- z- র)}} = \frac{1}{1 + + ই^{z- র}} & কখন Y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

যেমন আমরা দেখতে পাচ্ছি, এটি এবং মধ্যে সম্পর্ক দেখানোর একমাত্র উপায় $\sigma$ $P(y)$

— itdxer
সূত্র

"এছাড়াও লক্ষণীয় গুরুত্বপূর্ণ যে

জন্য অস্বাভাবিক লগারিদমিক সম্ভাবনা ধ্রুবক। এই সম্পত্তিটি মূল অনুমান থেকে প্রাপ্ত" " অনুমান করা হচ্ছে যে আমরা ইতিমধ্যে সিদ্ধান্ত নিয়েছি যে

?

y = 0

$y=0$

y = 1

$y=1$

— এইচবিিল

আমি মনে করি যে আমার বিভ্রান্তি আসল লেবেল নির্বিশেষে

এর মডেলটির সম্ভাব্যতাটি দেয় এই সত্য থেকেই এসেছে । ধন্যবাদ!

y = 1

$y=1$

— এইচবিিল

পুরু এখানে হবে মানে না কিন্তু কেমন

মধ্যে রৈখিক

এবং

। আমি ফর্মের কিছু আশা

। আমি এটা বুঝতে

পণ্যের উপর

একটি সমষ্টি যা আমাকে রৈখিকতা কাছাকাছি গ্রহণ করা হবে কিন্তু যে কি লেখক বলেছেন থেকে সরাসরি হবে বলে মনে হচ্ছে না উত্পাদ হবে।

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

— জেবুলন

আমি দেখছি, এটি আসলে মজাদার প্রশ্ন। আমি যখন প্রথমবার প্রশ্নটি পড়ি তখন আমি এই বক্তব্যের দিকে মনোযোগ দিইনি। এখন এটি আমার কাছেও অদ্ভুত লাগছে। একটি সমস্যা হ'ল y বাইনারি ভেরিয়েবল এবং এই পরিস্থিতিতে লিনিয়ার ফাংশনের বৈশিষ্ট্যগুলি কীভাবে পরীক্ষা করা যায় তা আমি নিশ্চিত নই। আমার ধারণা, আপনি পৃথক প্রশ্ন জিজ্ঞাসা করলে তা বোধগম্য হবে, কারণ কেউ কেন আপনাকে ব্যাখ্যা করতে পারে যে কেন এটি এভাবে লেখা হয়েছে।

— itdxer

2

আমি এই বইয়ের এই খণ্ডটি অনুসরণ করা চ্যালেঞ্জীও পেয়েছি এবং এটিডেক্সারের উপরের উত্তরটি এমন কিছু ব্যক্তির পক্ষেও বুঝতে যথেষ্ট সময় পাওয়ার যোগ্য, যিনি সম্ভাব্যতা এবং গণিতের চিন্তাভাবনার সাথে সঠিকভাবে সাবলীল নন। আমি উত্তরটি পিছনে পিছনে পড়ে এটি তৈরি করেছি, তাই z এর সিগময়েড দিয়ে শুরু করুন

\begin{aligned} পি (Y = 1) = \frac{ই^{z- র}}{1 + + ই^{z- র}} = \frac{1}{1 + + ই^{- z- র}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

এবং ফিরে যেতে চেষ্টা করুন।

\begin{aligned} লগ \tilde{পি} (Y) & = Y z- র \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

তারপরে বোঝা যায় যে তারা yz দিয়ে ব্যাখ্যাটি কেন শুরু করেছিল - এটি নকশা অনুসারে, ফাইনালের মতো

\begin{aligned} σ ((2 Y - 1) z- র) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

নির্মাণ দ্বারা y = 0 এর জন্য -1 এবং y = 1 এর জন্য 1 পাওয়া যায় যা বার্নোলির অধীনে y এর একমাত্র সম্ভাব্য মান।

— জাকুব জুড়েক
সূত্র

0

এখানে একটি আরও আনুষ্ঠানিক বাক্যবন্ধ যা পরিমাপ-তাত্ত্বিক পটভূমির সাথে তাদের জন্য আবেদন করবে।

$Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

আমাদের অন্তর্ভুক্তগুলির নিম্নলিখিত শৃঙ্খলা রয়েছে:

\begin{aligned} লগ {\tilde{পি}}_{ওয়াই} (Y) = Y z- র & ⟹ {\tilde{পি}}_{ওয়াই} (Y) = মেপুঃ (Y z- র) \\ ⟹ {পি}_{ওয়াই} (Y) = \frac{ই^{Y z- র}}{ই^{0 \cdot z- র} + + ই^{1 \cdot z- র}} = \frac{ই^{Y z- র}}{1 + + ই^{z- র}} \\ ⟹ {পি}_{ওয়াই} (Y) = Y \frac{ই^{z- র}}{1 + + ই^{z- র}} + + (1 - Y) \frac{1}{1 + + ই^{z- র}} \\ ⟹ {পি}_{ওয়াই} (Y) = Y σ (z- র) + + (1 - Y) σ (- z- র) \\ ⟹ {পি}_{ওয়াই} (Y) = σ ((2 Y - 1) z- র) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

$\{0,1\}$ $\{-1,1\}$

— গ্যাব্রিয়েল রোমন
সূত্র