একটি নিউরাল নেটওয়ার্ক একটি কার্যকরী এবং এর কার্যকরী ডেরাইভেটিভ শিখতে পারে?

Question

আমি বুঝেছি যে নিউরাল নেটওয়ার্কগুলি (এনএন) উভয় ফাংশন এবং তাদের ডেরাইভেটিভগুলির সর্বজনীন অনুমানক হিসাবে বিবেচিত হতে পারে, কিছু অনুমানের অধীনে (নেটওয়ার্ক এবং ফাংশন উভয়কে আনুমানিক)। প্রকৃতপক্ষে, আমি সাধারণ, তবু তুচ্ছ ত্রিভুক্ত ফাংশনগুলিতে (উদাহরণস্বরূপ, বহুভুজ) বেশ কয়েকটি পরীক্ষা করেছি এবং দেখে মনে হচ্ছে যে আমি তাদের এবং তাদের প্রথম ডেরাইভেটিভগুলি ভালভাবে অনুমান করতে পারি (উদাহরণটি নীচে দেখানো হয়েছে)।

তবে আমার কাছে যা স্পষ্ট নয় তা হ'ল উপরের দিকে পরিচালিত তত্ত্বগুলি কার্যকরী এবং তাদের কার্যকরী ডেরাইভেটিভগুলিতে প্রসারিত (বা সম্ভবত বাড়ানো যেতে পারে) কিনা। উদাহরণস্বরূপ, কার্যকরী বিবেচনা করুন: ক্রিয়ামূলক ডেরাইভেটিভ সহ

$$\begin{equation} F[f(x)] = \int_a^b dx ~ f(x) g(x) \end{equation}$$ : $$\begin{equation} \frac{\delta F[f(x)]}{\delta f(x)} = g(x) \end{equation}$$ যেখানে$f(x)$সম্পূর্ণরূপে, এবং তুচ্ছভাবে,$g(x)$উপর নির্ভর করে। কোনও এনএন কি উপরের ম্যাপিং এবং এর কার্যকরী ডেরাইভেটিভ শিখতে পারে? আরো নির্দিষ্টভাবে, এক discretizes ডোমেইন যদি$x$উপর$[a,b]$এবং উপলব্ধ$f(x)$(discretized বিন্দুতে) ইনপুট এবং যেমন$F[f(x)]$আউটপুট হিসাবে, কোনও এনএন কি এই ম্যাপিংটি সঠিকভাবে শিখতে পারে (কমপক্ষে তাত্ত্বিকভাবে)? যদি তা হয় তবে তা কী ম্যাপিংয়ের কার্যকরী ডেরাইভেটিভ শিখতে পারে?

আমি বেশ কয়েকটি পরীক্ষা করেছি এবং দেখে মনে হচ্ছে যে কোনও এনএন কিছুটা হলেও ম্যাপিং $F[f(x)]$ শিখতে পারে । তবে এই ম্যাপিংয়ের যথার্থতা ঠিক থাকলেও এটি দুর্দান্ত নয়; এবং উদ্বেগ হ'ল গণনা করা ফাংশনাল ডেরাইভেটিভ হ'ল সম্পূর্ণ আবর্জনা (যদিও এগুলি উভয়ই প্রশিক্ষণ ইত্যাদির সাথে সম্পর্কিত হতে পারে)। একটি উদাহরণ নীচে প্রদর্শিত হয়।

যদি কোনও এনএন কার্যকরী এবং এর কার্যকরী ডেরাইভেটিভ শেখার জন্য উপযুক্ত না হয়, তবে অন্য কোনও মেশিন লার্নিং পদ্ধতি রয়েছে কি?

উদাহরণ:

(1) নিম্নলিখিতটি কোনও ফাংশন এবং এর ডেরাইভেটিভের সান্নিধ্যের উদাহরণ: একটি এনএন ( $f(x) = x^3 + x + 0.5$ পরিসীমা [-3,2] এর উপরে ফাংশন শিখতে প্রশিক্ষিত হয়েছিল : যেখান থেকে একটি যুক্তিসঙ্গত আনুমানিকতা থেকে $df(x)/dx$ প্রাপ্ত হয়: দ্রষ্টব্য, যেমন প্রত্যাশা হিসাবে, $f(x)$ থেকে এনএন অনুমান এবং প্রশিক্ষণ পয়েন্ট, এনএন আর্কিটেকচারের সংখ্যার সাথে এর প্রথম ডেরাইভেটিভ উন্নত, প্রশিক্ষণের সময় আরও ভাল মিনিমা পাওয়া যায় ইত্যাদি Note ।

$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$$f(x)$$F[f(x)]$

Comments

আকর্ষণীয় প্রশ্ন। আপনি কীভাবে কার্যকরী এফ এর ইনপুট এফ প্রতিনিধিত্ব করছেন? আমি ধরে নিচ্ছি চ এর কিছু ভেক্টরকে এফ-ভ্যালুতে পরিমাপ করা হচ্ছে (1000 স্যাম্পেলের একটি ভেক্টর বলুন)। যদি তা হয় তবে আপনার তৃতীয় প্লটের এক্স-অক্ষ বলতে কী বোঝায়? এটি আপনার চতুর্থ প্লটের এক্স-অক্ষের চেয়ে আলাদা বলে মনে হচ্ছে। নেটওয়ার্কটি কি এফ [এফ] এবং ডিএফ / ডিএফ শিখতে প্রশিক্ষিত হচ্ছে বা নেটওয়ার্ক প্রশিক্ষিত হয়ে গেলে আপনি কি ডিএফ / ডিএফ কম্পিউটিং করছেন?

— খ্রিস্টান বুয়েনো

Answer 1

এটা একটা ভালো প্রশ্ন। আমি মনে করি এটিতে তাত্ত্বিক গাণিতিক প্রমাণ জড়িত। আমি ডিপ লার্নিং (মূলত নিউরাল নেটওয়ার্ক) এর সাথে কিছু সময়ের জন্য (প্রায় এক বছর) কাজ করে যাচ্ছি এবং আমি যে সমস্ত কাগজ পড়েছি তা থেকে আমার জ্ঞানের উপর ভিত্তি করে, আমি এখনও এ সম্পর্কে প্রমাণ দেখিনি। তবে পরীক্ষামূলক প্রমাণের মেয়াদে আমি মনে করি আমি একটি প্রতিক্রিয়া সরবরাহ করতে পারি।

আসুন নীচে এই উদাহরণটি বিবেচনা করুন:

এই উদাহরণে, আমি বহু-স্তরীয় নিউরাল নেটওয়ার্কের মাধ্যমে বিশ্বাস করি, এটি ব্যাক-প্রসারণের মাধ্যমে এফ (এক্স) এবং এফ [চ (এক্স)] উভয়ই জানতে সক্ষম হওয়া উচিত। তবে এটি আরও জটিল ক্রিয়াকলাপে বা মহাবিশ্বের সমস্ত ক্রিয়াকলাপের ক্ষেত্রে প্রযোজ্য কিনা তা আরও প্রমাণের প্রয়োজন more যাইহোক, যখন আমরা চিত্রের প্রতিযোগিতার উদাহরণটি বিবেচনা করি --- 1000 টি বস্তুকে শ্রেণিবদ্ধ করার জন্য, খুব গভীর নিউরাল নেটওয়ার্ক প্রায়শই ব্যবহৃত হয়; সেরা মডেল একটি অবিশ্বাস্য ত্রুটি হার ~ 5% অর্জন করতে পারে। এই জাতীয় গভীর এনএন 10 টিরও বেশি অ-রৈখিক স্তর ধারণ করে এবং এটি একটি পরীক্ষামূলক প্রমাণ যা গভীর সম্পর্কের মাধ্যমে জটিল সম্পর্কের প্রতিনিধিত্ব করা যায় [1 গোপন স্তর সহ একটি এনএনকে আমরা জানি যে তথ্য অ-রৈখিকভাবে পৃথক করতে পারে] এর উপর ভিত্তি করে।

তবে সমস্ত ডেরাইভেটিভগুলি শেখা যায় কিনা এর জন্য আরও গবেষণা প্রয়োজন।

আমি নিশ্চিত না যে কোনও মেশিন শেখার পদ্ধতি রয়েছে যা ফাংশনটি এবং এর ডেরাইভেটিভ সম্পূর্ণরূপে শিখতে পারে। এর জন্যে দুঃখিত.

Comments

আপনার উত্তর করার জন্য আপনাকে ধন্যবাদ। আমি প্রথমে কিছুটা অবাক হয়েছিলাম যে নিউরাল নেটওয়ার্ক মোটামুটি কার্যকরী হতে পারে। যদিও এটি হতে পারে তা স্বীকার করে, এরপরে স্বজ্ঞাতভাবে মনে হয় যে এর কার্যকরী ডেরাইভেটিভ সম্পর্কিত তথ্য সমাধানের মধ্যে থাকা উচিত (যেমন ফাংশনগুলির ক্ষেত্রে) বিশেষত সাধারণ ফাংশন এবং ক্রিয়াকলাপগুলির জন্য (যেমন আপনার উদাহরণ হিসাবে) অনুশীলনে, তবে, এই ক্ষেত্রে হয় না. আপনার উদাহরণের আলোকে, আমি আমার মূল পোস্টে কয়েকটি উদাহরণ যুক্ত করেছি।

— মাইকেল

শান্ত, আপনার নিউরাল নেটওয়ার্কের জন্য কী সেটিংস? এই ধরনের ইত্যাদি স্তর নম্বর, গোপন ইউনিট, অ্যাক্টিভেশন ফাংশন, যেমন

— RockTheStar

আমি বিভিন্ন সেটিংস চেষ্টা করেছি: 1-3 লুকানো স্তর, 5 থেকে 100 টি গোপন ইউনিট (প্রতি স্তর), বিভিন্ন সংখ্যার ইনপুট (যখন ক্রিয়াকলাপটি এই সীমারেখার সীমানা হিসাবে সংজ্ঞায়িত হয়, আমি চারটি পয়েন্ট হিসাবে চেষ্টা করেছি) , সিগময়েড এবং তান (সাধারণ, সেইসাথে লেকুন দ্বারা প্রস্তাবিত) অ্যাক্টিভেশন ফাংশন এবং বিভিন্ন প্রশিক্ষণ পদ্ধতি (ব্যাকপ্রোপ্যাগেশন, কিউআরপ্রোপ, কণা ঝাঁক অপ্টিমাইজেশন এবং অন্যান্য)। আমি ঘরে বসে এবং কিছু সুপরিচিত সফ্টওয়্যার চেষ্টা করেছি। আমি জিনিসগুলি পরিবর্তন করার সাথে সাথে ক্রিয়াকলাপটি প্রায় অনুমানের উন্নতি পেতে পারি, তবে আমি কার্যকরী ডেরাইভেটিভটিতে পারি না।

— মাইকেল

কুল। আপনি কোন সফ্টওয়্যার ব্যবহার করেছেন? আপনার নেটওয়ার্ক সেটিংটি অনুকূলকরণের জন্য আপনি কি ক্রস-বৈধকরণ করেছেন? এখানে আমার কিছু চিন্তাভাবনা রয়েছে: (1) আমি সম্ভবত 3 বা ততোধিক গোপন স্তরগুলির প্রয়োজনীয়তা আশা করব কারণ সমস্যাটি অত্যন্ত অ-রৈখিক, (২) লুকানো ইউনিটগুলির জন্য আন্ডার কমপ্লিট সেটিংস ব্যবহার করার চেষ্টা করুন, যেমন ইনপুট-100-50-20 -আউটপুট, ইনপুট -20-50-100-আউটপুট পরিবর্তে, (3) সিগময়েড বা তানহ এর পরিবর্তে রিলু ব্যবহার করুন; একটি গবেষণা 2010 এর দশকে কয়েকটি গবেষণাপত্র প্রকাশ করেছে এবং প্রমাণ করেছে যে আরএলইউ আরও ভাল ফলাফলের দিকে নিয়ে যেতে পারে, (4) ওজন হ্রাস, শেখার হারের মতো প্যারামিটারগুলি গুরুত্বপূর্ণ, আপনি যথাযথভাবে তাদের টিউন করেছেন তা নিশ্চিত করুন, (5)

— ক্যাফে

ইন-হাউস সফটওয়্যার ছাড়াও, আমি পরিসংখ্যান ++, এনকোগ এবং নিউরোসলিউশন ব্যবহার করেছি (পরবর্তীটি কেবল একটি বিনামূল্যে পরীক্ষা ছিল এবং আমি এটি আর ব্যবহার করি না)। আমি জিনিসগুলি অনুকূলকরণের জন্য এখনও ক্রস বৈধকরণের চেষ্টা করি নি, তবে আমি করব; আমি আপনার অন্যান্য পরামর্শ চেষ্টা করে দেখুন। আপনার ভাবনার জন্য আপনাকে ধন্যবাদ.

— মাইকেল

Answer 2

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

Answer 3

$$F[f(x)]=\int\limits_a^bf(x)g(x)dx$$ $g(x)$$f_i(x), ~i=0,\dots,M$$F[f_i(x)]$ $$F[f(x)]= \Delta x\left[\frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}\right]$$ $$\frac{F[f(x)]}{\Delta x}=y= \frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}$$ $$f_0=a,~f_1=f(x_1),~...,~f_{N-1}=f(x_{N-1}),~f_N=b,$$ $$a<x_1<...<x_{N-1}<b,~~\Delta x=x_{j+1}-x_j$$

$M$$f_i(x),~i=1,\dots,M$$i$

$$\frac{F[f_i(x)]}{\Delta x}=y_i= \frac{f_{i0}g_0}{2}+f_{i1}g_1+...+f_{i,N-1}g_{N-1}+\frac{f_{iN}g_N}{2}$$

$g_0,\dots, g_N$

$$X=\begin{bmatrix} f_{00}/2 & f_{01} & \dots & f_{0,N-1} & f_{0N}/2 \\ f_{10}/2 & f_{11} & \dots & f_{1,N-1} & f_{1N}/2 \\ \dots & \dots & \dots & \dots & \dots\\ f_{M0}/2 & f_{M1} & \dots & f_{M,N-1} & f_{MN}/2 \end{bmatrix}$$ $y=[y_0,\dots,y_M]$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

ডোমেনটি আলাদা করুন$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

আসুন আমাদের প্রশিক্ষণ ফাংশন হিসাবে বিভিন্ন ফ্রিকোয়েন্সি সহ সাইন এবং কোসাইনগুলি গ্রহণ করি। লক্ষ্য ভেক্টর গণনা করা হচ্ছে:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

এখন, রেজিস্ট্রার ম্যাট্রিক্স:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

লিনিয়ার রিগ্রেশন:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$

$$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x)\right)dx$$ $f_0, f_1\dots,f_N$$x$ $$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x),f'(x)\right)dx$$ $f'$$f_0, f_1\dots,f_N$$\mathcal{L}$$f_0, f_1\dots,f_N$, কেউ এটি একটি অ-রৈখিক পদ্ধতি, উদাহরণস্বরূপ নিউরাল নেটওয়ার্ক বা এসভিএম দিয়ে শিখতে চেষ্টা করতে পারে, যদিও এটি সম্ভবত রৈখিক ক্ষেত্রে যেমন সহজ হবে না।