সাধারনকরণ ছাড়াই কি গভীর নিউরাল নেটওয়ার্ক আনুমানিক গুণমানের কাজ করতে পারে?

Question

ধরা যাক আমরা f = x * yস্ট্যান্ডার্ড ডিপ নিউরাল নেটওয়ার্ক ব্যবহার করে সাধারণের জন্য রিগ্রেশন করতে চাই ।

আমার মনে আছে যে এমন গবেষণাগুলি রয়েছে যেগুলি বলে যে একটি হাইডেন স্তরযুক্ত এনএন কোনও ফাংশনকেই অনুমান করতে পারে তবে আমি চেষ্টা করেছি এবং সাধারণীকরণ ছাড়াই এনএন এই সাধারণ গুণটিকেও আনুমানিকভাবে অক্ষম করতে পেরেছিল। শুধুমাত্র ডেটা লগ-নরমালাইজেশন সাহায্য করেছে m = x*y => ln(m) = ln(x) + ln(y). তবে এটি প্রতারণার মতো দেখাচ্ছে। এনএন কি লগ-নরমালাইজেশন ছাড়া এটি করতে পারে? আনসওয়ার স্পষ্টতই (আমার হিসাবে) - হ্যাঁ, সুতরাং প্রশ্নটি আরও এই জাতীয় এনএন এর ধরন / কনফিগারেশন / লেআউটটি কী হওয়া উচিত?

Answer 1

একটি বৃহত গুণ গুণ ফাংশন গ্রেডিয়েন্ট সম্ভবত তত্ক্ষণাত জালকে কিছু ভয়ঙ্কর অবস্থায় নিয়ে যায় যেখানে তার সমস্ত লুকানো নোডের শূন্য গ্রেডিয়েন্ট থাকে (নিউরাল নেটওয়ার্ক বাস্তবায়ন বিশদ এবং সীমাবদ্ধতার কারণে)। আমরা দুটি পন্থা ব্যবহার করতে পারি:

1. ধ্রুবক দ্বারা ভাগ। আমরা শেখার আগে কেবল সমস্ত কিছু ভাগ করে দিচ্ছি এবং পরে বহুগুণ করব।

2. লগ-নরমালাইজেশন ব্যবহার করুন। এটি সংখ্যাকে অতিরিক্ত করে তোলে:

   $$\begin{align} m &= x \cdot y\\ &\Rightarrow \\ \ln(m) &= \ln(x) + \ln(y) \end{align}$$

Answer 2

আজকের প্রথম দিকে একই ধরণের প্রশ্ন আমাকে আঘাত করেছিল এবং আমি অবাক হয়েছি আমি এর দ্রুত উত্তর খুঁজে পাইনি। আমার প্রশ্নটি ছিল যে এনএন'র কেবলমাত্র সামিশন ফাংশন রয়েছে, তারা কীভাবে গুণক ফাংশনগুলির মডেল করতে পারে।

এই ধরণের এটি উত্তর, যদিও এটি দীর্ঘ ব্যাখ্যা ছিল। আমার সংক্ষিপ্তসারটি হ'ল এনএন এর মডেলটি ফাংশনটির পরিবর্তে ফাংশন পৃষ্ঠ। যা সুস্পষ্ট, পশ্চাদপসরণে…

Answer 3

রিপু অ্যাক্টিভেশন ফাংশনযুক্ত এনএন যখন ইনপুটগুলির সীমাটি সীমিত হয় তখন আনুমানিক গুণন করতে পারে। মনে আছে relu(x) = max(x, 0)।

এটা যথেষ্ট হলে এন এন একটি বর্গক্ষেত্র ফাংশন পরিমাপক g(z) = z^2, কারণ x*y = ((x-y)^2 - x^2 - y^2)/(-2)। ডানদিকে কেবল লিনিয়ার সংমিশ্রণ এবং স্কোয়ার রয়েছে।

এনএন z^2কোনও অংশবিশেষ লিনিয়ার ফাংশন দিয়ে আনুমানিক করতে পারে। উদাহরণস্বরূপ, পরিসীমাটিতে [0, 2]একটি সংমিশ্রণ রয়েছে xএবং relu(2(x-1))এটি খারাপ নয়। চিত্রের নীচে এটি কল্পনা করে। এটি তত্ত্বের বাইরেও কার্যকর কিনা ধারণা নেই :-)

Answer 4

"একটি লুকানো স্তর" নিউরনের সংখ্যা এবং ব্যবহৃত ধরণের অ্যাক্টিভেট ফাংশনকে সীমাবদ্ধ করে না, এটির এখনও একটি বড় উপস্থাপনের স্থান রয়েছে। এই সমস্যার অস্তিত্ব যাচাই করার জন্য একটি সহজ পদ্ধতি: এই রিগ্রেশন সমস্যাটিকে একটি আসল নিউরন নেটওয়ার্ক দিয়ে প্রশিক্ষণ দিন, প্রতিটি ওজন এবং পক্ষপাত রেকর্ড করুন, এই পরামিতিগুলি পূর্বাভাস বক্ররেখার জন্য প্ল্যাটফর্ম ব্যবহার করুন, লক্ষ্য ফাংশন বক্ররেখার সাথে বৈপরীত্য করুন। এই রচনা সাহায্য করতে পারে।

Answer 5

স্ট্যাক এক্সচেঞ্জে নতুন সক্রিয় ব্যবহারকারী হওয়ার কারণে আমি মন্তব্য করতে অক্ষম। তবে আমি মনে করি এটি একটি গুরুত্বপূর্ণ প্রশ্ন কারণ এটি বোঝার পক্ষে এত সহজ সরল তবুও ব্যাখ্যা করা কঠিন। শ্রদ্ধার সাথে, আমি মনে করি না গৃহীত উত্তর যথেষ্ট। যদি আপনি কোনও স্ট্যান্ডার্ড ফিড-ফরোয়ার্ড এনএন-এর মূল অপারেশনগুলি সম্পর্কে চিন্তা করেন তবে s(W*x+b)কিছু অরৈখিক অ্যাক্টিভেশন ক্রিয়াকলাপের জন্য ফর্মটির সক্রিয়করণ সহ s, এটি কোনও সংশ্লেষিত (বহু-স্তরযুক্ত) নেটওয়ার্কে কীভাবে এটি থেকে গুণনকে "পেতে" হয় তা বাস্তবে সুস্পষ্ট নয়। স্কেলিং (স্বীকৃত উত্তরের প্রথম বুলেট) প্রশ্নটি মোটেও ঠিক মনে হচ্ছে না ... স্কেল কী দিয়ে? ইনপুটগুলি xএবং yপ্রতিটি নমুনার জন্য সম্ভবত পৃথক পৃথক। যতক্ষণ আপনি জানেন লগ নেওয়া ঠিক আছেআপনার যা করা দরকার তা হ'ল এবং প্রিপ্রোসেসিংয়ে সাইন ইস্যুটির যত্ন নিন (যেহেতু স্পষ্টত লগ নেতিবাচক ইনপুটগুলির জন্য সংজ্ঞায়িত করা হয়নি)। তবে এই মৌলিকভাবে এই ধারণাটি নিয়ে জাগ্রত হয় না যে নিউরাল নেটওয়ার্কগুলি কেবল "শিখতে" পারে (এটি ওপি যেমন বলেছে তেমন প্রতারণার মতো মনে হয়)। আমি মনে করি না যতক্ষণ না এটি সত্যই না হওয়া পর্যন্ত প্রশ্নের উত্তর বিবেচনা করা উচিত, আমার চেয়ে বেশি স্মার্ট কেউ!