অবজেক্ট ফাংশন এবং আউটপুট লেয়ার অ্যাক্টিভেশন ফাংশনের মধ্যে লিঙ্কটি কতটা নমনীয়?

Question

আউটপুট স্তরের অ্যাক্টিভেশন ফাংশনটির সাথে সংক্ষিপ্ত করার উদ্দেশ্যে উদ্দেশ্য ফাংশনটি জোড়া লাগাতে অনেকগুলি নিউরাল নেটওয়ার্ক প্যাকেজগুলিতে এটি স্ট্যান্ডার্ড বলে মনে হচ্ছে।

উদাহরণস্বরূপ, রিগ্রেশন জন্য ব্যবহৃত লিনিয়ার আউটপুট স্তরটির জন্য একটি স্কোয়ার ত্রুটির উদ্দেশ্যমূলক ফাংশনটি স্ট্যান্ডার্ড (এবং প্রায়শই কেবল পছন্দ) হয়। আর একটি সাধারণ জুড়ি হ'ল লজিস্টিক আউটপুট এবং লগ হ্রাস (বা ক্রস-এনট্রপি)। এবং এখনও অন্যটি হ'ল সফটম্যাক্স এবং মাল্টি লগ হ্রাস।

পূর্ব-অ্যাক্টিভেশন মানটির জন্য , (পূর্ববর্তী স্তর থেকে ওজনগুণ সক্রিয়করণের যোগফল), অ্যাক্টিভেশন জন্য , প্রশিক্ষণের জন্য ব্যবহৃত স্থল সত্যের জন্য , আউটপুট নিউরনের সূচকের জন্য i ।$z$$a$$y$$i$

• লিনিয়ার অ্যাক্টিভেশন $a_i=z_i$ স্কোয়ার ত্রুটির সাথে চলে $\frac{1}{2} \sum\limits_{\forall i} (y_i-a_i)^2$

• সিগময়েড অ্যাক্টিভেশন $a_i = \frac{1}{1+e^{-z_i}}$ log লগলস / ক্রস-এনট্রপি উদ্দেশ্য নিয়ে যায় - \ যোগফল \ সীমা _ { ora ফোড়াল $-\sum\limits_{\forall i} (y_i*log(a_i) + (1-y_i)*log(1-a_i))$

• সফটম্যাক্স অ্যাক্টিভেশন $a_i = \frac{e^{z_i}}{\sum_{\forall j} e^{z_j}}$ mult মাল্টিক্লাস লগলস উদ্দেশ্য নিয়ে যায় - \ যোগফল \ সীমা _ { ora ফোরেল আই y $-\sum\limits_{\forall i} (y_i*log(a_i))$

এগুলি আমি জানি এবং আমি আশা করি এমন অনেকগুলি আছে যা আমি এখনও শুনিনি।

দেখে মনে হচ্ছে লগ ক্ষতি কেবলমাত্র কাজ করবে এবং সংখ্যায় স্থিতিশীল থাকবে যখন আউটপুট এবং লক্ষ্যগুলি সীমার মধ্যে থাকবে [0,1]। সুতরাং লগলস অবজেক্টিভ ফাংশন সহ রৈখিক আউটপুট স্তরটি চেষ্টা করে বোঝা যায় না। যদি এমন কোনও আরও সাধারণ লগলাস ফাংশন না থাকে যা y এর মানগুলি $y$সীমার বাইরে থাকে তবে?

তবে স্কোয়ার ত্রুটির উদ্দেশ্য নিয়ে সিগময়েড আউটপুট চেষ্টা করা এত খারাপ বলে মনে হচ্ছে না। এটি স্থিতিশীল এবং কমপক্ষে একত্রিত হওয়া উচিত।

আমি বুঝতে পারি যে এই জুটিগুলির পিছনে কিছু নকশা এটি - যেখানে উদ্দেশ্য ফাংশনের মান - পিছনে বংশবিস্তারের জন্য সহজ হিসাবে সূত্র তৈরি করে । তবে এখনও অন্য জুটি ব্যবহার করে সেই উদ্ভটটি খুঁজে পাওয়া উচিত। এছাড়াও, আরও অনেক অ্যাক্টিভেশন ফাংশন রয়েছে যা আউটপুট স্তরগুলিতে সাধারণত দেখা যায় না, তবে সম্ভবত এটি হতে পারে , এবং যেখানে উদ্দেশ্যমূলক ফাংশন প্রয়োগ করা যেতে পারে তা পরিষ্কার নয়।$\frac{\delta E}{\delta z}$$E$tanh

নিউরাল নেটওয়ার্কের আর্কিটেকচার ডিজাইন করার সময় কি এমন পরিস্থিতি রয়েছে যে আপনি আউটপুট অ্যাক্টিভেশন এবং অবজেক্টিভ ফাংশনগুলির "অ-মানক" জুটি ব্যবহার করবেন বা ব্যবহার করবেন?

Answer 1

এটি কোনটি অ্যাক্টিভেশন ফাংশন যা আপনি ব্যবহার করেন তা নির্ধারণ করে যে কোন ক্ষতির ফান্ট ব্যবহার করা উচিত তা নয়, বরং আউটপুট সম্পর্কে আপনার ব্যাখ্যাটি কী।

যদি আউটপুটটি সম্ভাবনা বলে মনে করা হয়, তবে লগ-ক্ষতি হ'ল উপায়।

যদি আউটপুট একটি জেনেরিক মান হয় তবে স্কোয়ার ত্রুটি মানে ডিফল্ট উপায় way সুতরাং উদাহরণস্বরূপ, যদি আপনার আউটপুটটি ধূসর-স্কেল সহ 0 থেকে 1 অবধি একটি লেবেলযুক্ত ধূসর স্কেল পিক্সেল হয় তবে এটি একটি স্কোয়ার ত্রুটি উদ্দেশ্যমূলক ফাংশন সহ সিগময়েড অ্যাক্টিভেশন ফাংশনটি ব্যবহার করা বোধগম্য হতে পারে।