বায়েশিয়ান ডিপ লার্নিং কি?

বায়েশিয়ান ডিপ লার্নিং কী এবং এটি কীভাবে সনাতন বায়েশিয়ান পরিসংখ্যান এবং traditionalতিহ্যবাহী ডিপ লার্নিংয়ের সাথে সম্পর্কিত?

জড়িত মূল ধারণা এবং গণিত কি কি? আমি কি বলতে পারি এটি কেবল প্যারাম্যাট্রিক বেইসিয়ান পরিসংখ্যান? এর মূল কাজগুলি পাশাপাশি এর বর্তমান প্রধান বিকাশ এবং অ্যাপ্লিকেশনগুলি কী কী?

পিএস: বায়েশিয়ান ডিপ লার্নিং অনেক মনোযোগ দিচ্ছে, দেখুন এনআইপিএস ওয়ার্কশপ।

bayesian deep-learning

— statslearner
সূত্র

আপনার এনআইপিএস ওয়ার্কিং লিঙ্কটি বন্ধ করে দিয়ে, ইয়ে হোয়ে তেহ এনআইপিসে বয়েসিয়ান ডিপ লার্নিংয়ের একটি মূল বক্তব্য রেখেছিলেন (ভিডিও: https://www.youtube.com/watch?v=LVBvJsTr3rg , স্লাইড: http: //csML.stats। ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/)। আমি আলাপের এক পর্যায়ে মনে করি, তেহ বায়েশিয়ান গভীর শিক্ষাকে গভীরভাবে শেখার (যেমন নিউরাল নেটওয়ার্কের ওজনকে কেন্দ্র করে উত্তরোত্তর শিখার মতো) ধারণাগুলিতে প্রয়োগ করার মতো গভীর জ্ঞানকে সংক্ষিপ্ত করেছে এবং গভীর বায়সিয়ান লার্নিংকে গভীর শিক্ষার থেকে গভীরভাবে শেখার থেকে আইডিয়া প্রয়োগ করে বায়েশিয়ান কাঠামো (গভীর গাউসিয়ান প্রক্রিয়া বা গভীর ঘনিষ্ঠ পরিবারগুলির মতো)। অবশ্যই ধারণাগুলি রয়েছে যা ভেরিয়েশনাল অটোরকোডারগুলির মতো দুটি ধারণার মধ্যে রেখাটি বিভক্ত করে। যখন বেশিরভাগ লোক বয়েসিয়ান গভীর শিক্ষার কথা বলেন, তখন তাদের সাধারণত দুটির একটির অর্থ হয় এবং এটি আপনি যে ওয়ার্কশপে সংযুক্ত করেছেন তাতে গৃহীত কাগজপত্রগুলিতে প্রতিফলিত হয় (পূর্ববর্তী বছর ওয়ার্কশপের পাশাপাশি)। যদিও ধারণাগুলি 90 এর দশকে বায়েশিয়ান স্নায়বিক নেটওয়ার্ক শেখার বিষয়ে নীলের কাজগুলিতে ফিরে আসে (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ), এবং তখন থেকেই বেশ কয়েক বছর ধরে কাজ চলছে, সম্ভবত সাম্প্রতিকতম একটি গুরুত্বপূর্ণ কাগজপত্র হ'ল মূল পরিবর্তনশীল অটোরকোডার কাগজ ( https://arxiv.org/pdf/1312.6114.pdf )।

— aleshing
সূত্র

আমি আপনাকে পরামর্শ দেব যে আপনি প্রথমে একটি traditionalতিহ্যবাহী বায়েশিয়ান নিউরাল নেটওয়ার্কের অন্তর্নিহিত সম্ভাব্য মডেলটি ভালভাবে উপলব্ধি করুন। নিম্নলিখিতটিতে কিছু পদ একটি বোল্ডফেস সহ লেখা হবে । দয়া করে আরও বিশদ তথ্য সন্ধানের জন্য এই শর্তাদি গুগল করার চেষ্টা করুন। এটি কেবলমাত্র একটি প্রাথমিক পর্যালোচনা। আমি আসা করি এটা সাহায্য করবে.

আসুন ক্ষেত্রে বিবেচনা রিগ্রেশন মধ্যে feedforward স্নায়ুর নেটওয়ার্ক এবং কিছু স্বরলিপি কায়েম কর।

আসুন ইনপুট স্তরে পূর্বাভাসকের মানগুলি বোঝায় । মান ইউনিট মধ্যে ভেতরের স্তর দ্বারা প্রকাশ করা হবে না , জন্য । শেষ আমাদের আউটপুট স্তর । $(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

ওজন এবং পক্ষপাত ইউনিট লেয়ার এ দ্বারা প্রকাশ করা হবে না এবং যথাক্রমে জন্য , , এবং । $i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

যাক হতে অ্যাক্টিভেশন ফাংশন ইউনিট জন্য লেয়ার এ জন্য এবং । $g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

সাধারণভাবে ব্যবহৃত অ্যাক্টিভেশন ফাংশন হ'ল লজিস্টিক , আরএলইউ (ওরফে পজিটিভ পার্ট ) এবং তানহ ।

এখন, জন্য স্তর স্থানান্তর ফাংশনগুলি সংজ্ঞায়িত করুন যাতে জন্য । $\ell=1,\dots,L$

G^{(ℓ)} : R^{N_{ℓ - 1}} \to R^{N_{ℓ}} : (z_{1}^{(ℓ - 1)}, \dots, z_{N_{ℓ - 1}}^{(ℓ - 1)}) \mapsto (z_{1}^{(ℓ)}, \dots, z_{N_{ℓ}}^{(ℓ)}),

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

z_{i}^{(ℓ)} = g_{i}^{(ℓ)} (\sum_{j = 1}^{N_{ℓ - 1}} w_{i j}^{(ℓ)} z_{j}^{(ℓ - 1)} + b_{i}^{(ℓ)}),

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

দ্বারা সমস্ত স্তরগুলিতে সমস্ত ইউনিটের ওজন এবং বায়াসের সেটকে বোঝানো হচ্ছে, এটি হ'ল আমাদের নিউরাল নেটওয়ার্ক ফাংশনগুলির পরিবার স্তর সংক্রমণ ফাংশনগুলির রচনা দ্বারা প্রাপ্ত: $\theta$

θ = {w_{i j}^{(ℓ)}, b_{i}^{(ℓ)} : ℓ = 1, \dots, L; i = 1 \dots, N_{ℓ}; j = 1, \dots, N_{ℓ - 1}},

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

G_{θ} = G^{(L)} \circ G^{(L - 1)} \circ \dots \circ G^{(1)} .

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

উপরের বর্ণনায় কোনও সম্ভাব্যতা জড়িত নেই। মূল নিউরাল নেটওয়ার্ক ব্যবসায়ের উদ্দেশ্য হ'ল ফাংশন ফিটিং ।

ডিপ লার্নিংয়ের "গভীর" হ'ল বিবেচনাধীন নিউরাল নেটওয়ার্কগুলিতে অনেক অভ্যন্তরীণ স্তরগুলির অস্তিত্ব।

একটি প্রশিক্ষণ সেট দেওয়া হয়েছে আমরা উদ্দেশ্য ফাংশন কমানোর জন্য চেষ্টা ওভার । ভবিষ্যতবক্তা কিছু ভেক্টর জন্য মধ্যে টেস্ট সেট , পূর্বাভাস প্রতিক্রিয়া সহজভাবে হয় , যা সমাধান মিনিমাইজেশন সমস্যার জন্য পাওয়া গেছে। এই মিনিমাইজেশনের জন্য স্বর্ণের মানটি হ'ল আধুনিক জিপিইউতে উপলব্ধ সমান্তরালিত সুবিধাগুলি ব্যবহার করে টেনসরফ্লো লাইব্রেরি দ্বারা প্রয়োগ করা ব্যাকপ্রোপেশন $\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

\sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ এর (আপনার প্রকল্পগুলির জন্য, কেরাস ইন্টারফেসটি দেখুন)। এছাড়াও, এখন এই কার্যগুলি ( টিপিইউ ) এর এনক্যাপসুলেট করার জন্য হার্ডওয়্যার উপলব্ধ রয়েছে । যেহেতু স্নায়ুর নেটওয়ার্ক সাধারণ ওভার স্থিতিমাপ হয়, overfitting নিয়মিতকরণ কিছু ফর্ম একটি summing রেসিপি যোগ করা হয়, উদাহরণস্বরূপ এড়াতে শৈলশিরা উদ্দেশ্য ফাংশন শাস্তি মত, অথবা ব্যবহার ড্রপআউট প্রশিক্ষণের সময়। জেফ্রি হিন্টন (ওরফে ডিপ লার্নিং গডফাদার) এবং সহযোগীরা এই বিষয়গুলির অনেকগুলি আবিষ্কার করেছিলেন। ডিপ লার্নিংয়ের সাফল্যের গল্প সর্বত্র রয়েছে।

80 এর দশকের শেষের দিকে এবং 90 এর দশকের গোড়ার দিকে গৌসিয়ান সম্ভাবনা এর প্রস্তাব নিয়ে ছবিতে সম্ভাব্যতা প্রবর্তিত হয়েছিল এবং একটি সহজ (সম্ভবত সরল) গাউসিয়ান পূর্বে, নেটওয়ার্কের সমস্ত ওজন এবং বায়াসগুলির অগ্রাধিকার স্বাতন্ত্র্য মনে করে :

L_{x, y} (θ, σ^{2}) \propto σ^{- n} \exp (- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2}),

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π (θ, σ^{2}) \propto \exp (- \frac{1}{2 σ_{0}^{2}} \sum_{ℓ = 1}^{L} \sum_{i = 1}^{N_{ℓ}} ({(b_{i}^{(ℓ)})}^{2} + \sum_{j = 1}^{N_{ℓ - 1}} {(w_{i j}^{(ℓ)})}^{2})) \times π (σ^{2}) .

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

অতএব, ওজন এবং প্রান্তিক প্রিয়ারগুলি শূন্য গড় এবং সাধারণ বৈকল্পিক সহ সাধারণ বিতরণ । এই মূল যৌথ মডেলটিকে আরও বেশি জড়িত করা যেতে পারে, ট্রেড অফকে আরও শক্তিশালী করার সাথে। $\sigma_0^2$

বয়েসিয়ান ডিপ লার্নিং সংশ্লিষ্ট উত্তরোত্তর বিতরণ থেকে স্যাম্পলিংয়ের কঠিন কাজের মুখোমুখি। এটি সম্পন্ন হওয়ার পরে, ভবিষ্যদ্বাণীগুলি উত্তরোত্তর ভবিষ্যদ্বাণীমূলক বিতরণ দিয়ে প্রাকৃতিকভাবে তৈরি করা হয় এবং এই ভবিষ্যদ্বাণীগুলির সাথে জড়িত অনিশ্চয়তা পুরোপুরি পরিমিত হয়। বায়সিয়ান ডিপ লার্নিংয়ের পবিত্র কচুকাটি হ'ল একটি দক্ষ এবং স্কেলযোগ্য সমাধানের নির্মাণ। এই কোয়েস্টে অনেকগুলি গণ্য পদ্ধতি ব্যবহার করা হয়েছে: মেট্রোপলিস-হেস্টিংস এবং গিবস স্যাম্পলিং , হ্যামিলটনিয়ান মন্টি কার্লো এবং আরও সম্প্রতি, ভেরিয়াল ইনফারেন্স ।

কিছু সাফল্যের গল্পগুলির জন্য এনআইপিএস সম্মেলনের ভিডিওগুলি দেখুন: http://bayesiandeeplearning.org/

— জেন
সূত্র