নিউরাল নেটওয়ার্কগুলিকে ননলাইনার শ্রেণিবিন্যাসের মডেল করে তোলে?

Question

আমি অ-রৈখিক শ্রেণিবদ্ধকরণ মডেলগুলির গাণিতিক অর্থ বোঝার চেষ্টা করছি:

আমি কেবল একটি নিবন্ধ পড়েছি নিউরাল নেট একটি অ-রৈখিক শ্রেণিবদ্ধকরণ মডেল হওয়ার বিষয়ে কথা বলছি।

তবে আমি বুঝতে পারি যে:

প্রথম স্তর:

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

পরবর্তী স্তর

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

সরলীকরণ করা যেতে পারে

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

একটি দুটি স্তর নিউরাল নেটওয়ার্ক কেবল একটি সাধারণ লিনিয়ার রিগ্রেশন

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

এটি কোনও স্তরের কোনও সংখ্যকে প্রদর্শিত হতে পারে, যেহেতু যে কোনও সংখ্যক ওজনের রৈখিক সংমিশ্রণ আবার রৈখিক হয়।

কী সত্যই একটি নিউরাল নেট একটি অ রৈখিক শ্রেণিবদ্ধকরণ মডেল করে তোলে?
অ্যাক্টিভেশন ফাংশনটি কীভাবে মডেলের অ লিনিয়ারিটি প্রভাব ফেলবে?
তুমি কি আমাকে ব্যাখ্যা করতে পারবে?

Answer 1

আমি মনে করি আপনি নিউরাল নেটওয়ার্কের নোডগুলিতে অ্যাক্টিভেশন ফাংশনটি ভুলে গেছেন, যা অ-রৈখিক এবং পুরো মডেলটিকে অ-রৈখিক করে তুলবে।

আপনার সূত্রে সম্পূর্ণ সঠিক নয়, যেখানে,

$$h_1 \neq w_1x_1+w_2x_2$$

কিন্তু

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

যেখানে সিগময়েড এর মতো কাজ করে, $\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

সিগময়েড ফাংশনটির প্রভাবটি ব্যাখ্যা করার জন্য আসুন একটি সংখ্যার উদাহরণ ব্যবহার করুন, ধরুন আপনার কাছে তারপর সিগময়েড ( 4 ) = 0.99 রয়েছে । অন্যদিকে, ধরুন আপনার ডাব্লু 1 x 1 + ডাব্লু 2 x 2 = 4000 , সিগময়েড ( 4000 ) = 1 এবং এটি প্রায় সিগময়েড ( 4 ) এর মতো , যা অ-রৈখিক।$w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

তদতিরিক্ত, আমি মনে করি এই টিউটোরিয়ালের 14 টি স্লাইডটি প্রদর্শন করতে পারে যে আপনি কোথায় ভুল করেছেন। জন্য otuput -7,65, কিন্তু না না খুশি সিগমা ( - 7.65 $H_1$$\text{sigmoid}(-7.65)$

Comments

অ্যাক্টিভেশন ফাংশনটি কীভাবে মডেলের অ লিনিয়ারিটি প্রভাব ফেলবে? তুমি কি আমাকে ব্যাখ্যা করতে পারবে?

— আলভারো জোয়াও

Answer 2

আপনি সঠিক যে একাধিক লিনিয়ার স্তর একক রৈখিক স্তর সমতুল্য হতে পারে। অন্য উত্তরগুলি যেমন বলেছে, একটি ননলাইনার অ্যাক্টিভেশন ফাংশন ননলাইনারি শ্রেণিবদ্ধকরণের অনুমতি দেয়। শ্রেণিবদ্ধকে ননলাইনার বলার অর্থ এটির একটি নৈখিক সিদ্ধান্তের সীমা রয়েছে। সিদ্ধান্তের সীমানা এমন একটি পৃষ্ঠ যা শ্রেণীগুলি পৃথক করে; শ্রেণিবদ্ধকারী সিদ্ধান্তের সীমানার একদিকে সমস্ত পয়েন্টের জন্য একটি শ্রেণি এবং অন্যদিকে সমস্ত পয়েন্টের জন্য অন্য শ্রেণি পূর্বাভাস দেয়।

$y$$h$$w$$b$

$$y = \sigma(hw + b)$$

$\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

$hW + b$$y$

আমি আগেই বলেছিলাম যে সিদ্ধান্তের সীমানাটি অরেখিক, তবে একটি হাইপারপ্লেন একটি লিনিয়ার সীমানার খুব সংজ্ঞা। তবে, আমরা আউটপুটের ঠিক আগে লুকানো ইউনিটগুলির একটি ক্রিয়াকলাপ হিসাবে সীমানাকে বিবেচনা করছি। পূর্ববর্তী লুকানো স্তরগুলি এবং তাদের ননলাইনার অ্যাক্টিভেশন কার্যকারিতার কারণে গোপন ইউনিট অ্যাক্টিভেশনগুলি মূল ইনপুটগুলির একটি ননলাইন ফাংশন। নেটওয়ার্ক সম্পর্কে ভাবার একটি উপায় হ'ল এটি কিছু বৈশিষ্ট্যযুক্ত স্থানে অলক্ষনিকভাবে ডেটা ম্যাপ করে। এই স্পেসের স্থানাঙ্কগুলি শেষ লুকানো ইউনিটগুলির সক্রিয়করণ দ্বারা দেওয়া হয়। নেটওয়ার্কটি তখন এই জায়গাতে লিনিয়ার শ্রেণিবিন্যাস সম্পাদন করে (এই ক্ষেত্রে লজিস্টিক রিগ্রেশন)। মূল ইনপুটগুলির কার্যকারিতা হিসাবে আমরা সিদ্ধান্তের সীমানা সম্পর্কেও ভাবতে পারি। ইনপুট থেকে লুকানো ইউনিটের ক্রিয়াকলাপগুলিতে ননলাইনার ম্যাপিংয়ের ফলস্বরূপ এই ফাংশনটি ননলাইনার হবে।

এই ব্লগ পোস্টটি এই প্রক্রিয়াটির কিছু সুন্দর পরিসংখ্যান এবং অ্যানিমেশন দেখায়।

Answer 3

অরৈখিকতাটি সিগময়েড অ্যাক্টিভেশন ফাংশন, 1 / (1 + e ^ x) থেকে আসে, যেখানে x আপনি আপনার প্রশ্নে উল্লেখ করেছেন এমন ভবিষ্যদ্বাণীকারী এবং ওজনগুলির রৈখিক সংমিশ্রণ।

যাইহোক, এই অ্যাক্টিভেশনটির সীমা শূন্য এবং একটি কারণ উভয়ই এত বড় হয়ে যায় যে ভগ্নাংশটি শূন্যের কাছে পৌঁছায়, বা e ^ x এত ছোট হয়ে যায় যে ভগ্নাংশটি 1/1 এ পৌঁছায়।