ইউনিভার্সাল ফাংশন আনুমানিক

এটি সর্বজনীন আনুমানিক উপপাদ্যের মাধ্যমে জানা যায় যে এমনকি একটি একক লুকানো স্তর এবং একটি স্বেচ্ছাসেবী ক্রিয়াকলাপ সহ একটি নিউরাল নেটওয়ার্ক যে কোনও ধ্রুবক ফাংশন আনুমানিক করতে পারে।

অন্যান্য মডেলগুলি কী রয়েছে যা সর্বজনীন ফাংশন আনুমানিক are

machine-learning function approximation

— মনোনীত করা
সূত্র

আমি এই সাইটে এবং এই প্রশ্নের উত্তর এবং কয়েকটি উত্তর উপস্থাপন করতে এই সাইটে যোগদান করেছি।

— প্রসাদ রাঘবেন্দ্র

এটি পরিসংখ্যানের সাহিত্যে, রিগ্রেশন বিষয়ের অধীনে ব্যাপকভাবে চিকিত্সা করা হয়। এখানে দুটি স্ট্যান্ডার্ড রেফারেন্স হ'ল ওয়াসারম্যানের "সমস্ত ননপ্যারমেট্রিক স্ট্যাটিস্টিকস" এবং টিসিবাকভের "ননপ্যারমেট্রিক অনুমানের ভূমিকা"। আমি কিছু স্ট্যান্ডার্ড স্টাফ সম্পর্কে সংক্ষেপে কথা বলব এবং পরিসংখ্যানের বাইরে পয়েন্টার দেওয়ার চেষ্টা করব (এটি একটি সাধারণ বিষয় এবং বিভিন্ন ক্ষেত্রে বিভিন্ন সংস্কৃতি রয়েছে: বিভিন্ন ধরণের উপপাদ্য প্রমাণ করুন, বিভিন্ন অনুমান করা))

(কার্নেল রিগ্রিজারস, যাকে কখনও কখনও নাদেরায়া-ওয়াটসন এসটিমেটর বলা হয়) এখানে আপনি যে কোনও সময়ে কাছের মানগুলির একটি ভারিত সংমিশ্রণ হিসাবে ফাংশনটি লেখেন। আরও দৃ concrete়ভাবে, যেহেতু এটি পরিসংখ্যান সাহিত্যের মধ্যে রয়েছে, আপনি সাধারণত মনে করেন যে আপনার কয়েকটি উদাহরণ রয়েছে কিছু বিতরণ থেকে আঁকা এবং কিছু কার্নেল (এটিকে এই হিসাবে ভাবতে পারেন) একটি গসিয়ান কিন্তু শূন্য অর্থ কি সবচেয়ে গুরুত্বপূর্ণ), এবং লিখুন $((x_i,f(x_i)))_{i=1}^n$ $K$ যেখানে(বাড়ার সাথে সাথেআপনি ছোট দূরত্বের প্রতি আরও সংবেদনশীল)। গ্যারান্টি যে, যেমন, বিকৃতি একটি probilistic নির্ণায়ক (SUP-আদর্শ, হাই সম্ভাব্যতা প্রত্যাশা যাই হোক না কেন) শূন্য চলে যায়। (এটি খুব কমইদেখতে পছন্দ করে তা বিবেচনা করে --- আপনিকীভাবে চয়ন করেন তা এটি গুরুত্ব দেয়))
$\hat{চ} (এক্স) : = \underset{আমি}{Σ} চ ({এক্স}_{আমি}) (\frac{কে (গ_{এন} (এক্স - {এক্স}_{আমি}))}{\underset{ঞ}{Σ} কে (গ_{এন} (এক্স - {এক্স}_{ঞ}))}),$ $\hat f(x) := \sum_i f(x_i) \left(\frac{ K(c_n(x-x_i)) }{ \sum_j K(c_n(x-x_j))}\right),$ $c_n\to\infty$ $n$ $n\to\infty$ $K$ $c_n$
(বেসেস পদ্ধতিগুলি।) অনুরূপ জিনিসটি "বেসড ফাংশনগুলি" এর কিছু পরিবারকে বেছে নেওয়া, ওয়েভলেটস বা টুকরোচক লিনিয়ার ফাংশনগুলির মতো জিনিসগুলি সত্যই সত্য যা কিছু ভেক্টর জন্য (সম্ভবত অত্যধিক অসম্পূর্ণ) ভিত্তি তৈরি করে এবং একটি ভারী লিনিয়ার নির্ধারণ করে স্কেলড এবং অনুবাদিত উপাদানগুলির সংমিশ্রণ। এখানকার কৌশলগুলি (১.) থেকে মারাত্মকভাবে পৃথক; ডেটা পয়েন্টকে কেন্দ্র করে ভিত্তি ফাংশনগুলি বন্ধ করার পরিবর্তে কিছুটা বিকৃতি মানদণ্ড হ্রাস করার জন্য আপনি প্রতিটিটির ওজন এবং অবস্থান সাবধানে গণনা করুন। (সাধারণত তাদের পরিমাণ অবরোহমার্গী সংশোধন করা হয়েছে।) এক অভিগমন "ভিত্তিতে সাধনা", যেখানে আপনি সাগ্রহে নতুন ফাংশন যোগ মধ্যে কিছু পড়তা ত্রুটি কমানোর জন্য চেষ্টা করার সময় হয় এবং $L^2$ $\hat f$ $f$ । এখানে পদ্ধতির বৈচিত্র্য অনুধাবন করার জন্য, একটি ঝরঝরে কাগজ হ'ল রহিমী এবং রেচ্টের "এলোমেলো বেসগুলির সাথে ফাংশনের সমান আনুষঙ্গিকতা"। সম্ভবত আমার বলা উচিত যে এই সমস্তগুলির গ্র্যান্ড-বাবা হ'ল ফুরিয়ার সম্প্রসারণ; ওয়েভলেটগুলিতে মাল্লাতের বইতে এটিতে প্রচুর ভাল উপাদান রয়েছে।
(গাছের পদ্ধতি।) আরেকটি উপায় হ'ল গাছ হিসাবে কোনও ফাংশনটি তাকাতে; প্রতিটি স্তরে, আপনি ডোমেনের কিছু বিভাজন নিয়ে কাজ করছেন, এবং উদাহরণস্বরূপ, গড় পয়েন্ট return (গাছের প্রতিটি ছাঁটাইও একটি বিভাজন দেয়)) সীমাবদ্ধভাবে, এই পার্টিশনের সূক্ষ্মতা আর ফাংশনটিকে বিচক্ষণ করবে না এবং আপনি এটিকে ঠিক পুনর্গঠন করেছেন। এই পার্টিশনটি কীভাবে সেরা চয়ন করা উচিত তা একটি কঠিন সমস্যা। (আপনি এটি "রিগ্রেশন ট্রি" এর অধীনে গুগল করতে পারেন))
(বহুবর্ষের পদ্ধতি; স্প্লাইজস এবং অন্যান্য ইন্টারপোলটিং কৌশলগুলিও দেখুন)) টেলরের উপপাদ্য দ্বারা, আপনি জানেন যে আপনি ভাল আচরণের ক্রিয়াগুলির সাথে নির্বিচারে কাছাকাছি যেতে পারেন। এটি একটি খুব বেসিক পদ্ধতির মতো মনে হতে পারে (যেমন, কেবলমাত্র ল্যাঞ্জারেঞ্জ ইন্টারপোলটিং বহুভুজ ব্যবহার করুন) তবে যেখানে বিষয়গুলি আকর্ষণীয় হয়ে উঠবে তা সিদ্ধান্ত নেওয়ার ক্ষেত্রেবিভাজন পয়েন্ট। এটি সংখ্যার একীকরণের প্রসঙ্গে ব্যাপকভাবে তদন্ত করা হয়েছিল; আপনি "ক্লেনশো-কার্টিস চতুর্ভুজ" এবং "গাউসিয়ান চতুর্ভুজ" শীর্ষক অধীনে কিছু আশ্চর্য গণিত খুঁজে পেতে পারেন। আমি এটিকে এখানে ফেলে দিচ্ছি কারণ অনুমানগুলি এবং গ্যারান্টিগুলির ধরণগুলি উপরের চিত্রগুলির চেয়ে মারাত্মকভাবে পৃথক। আমি এই ক্ষেত্রটি পছন্দ করি তবে এই পদ্ধতিগুলি মাত্রার অভিশাপ থেকে সত্যিই খারাপভাবে ভুগছে, কমপক্ষে আমি মনে করি এ কারণেই তারা আগের তুলনায় কম আলোচিত হয় (যদি আপনি গণিতের সাথে সংখ্যার সংহত করেন তবে আমি মনে করি এটি অবিচ্ছিন্ন ডোমেনগুলির জন্য চতুর্ভুজ করে, তবে মাল্টিভারিয়েট ডোমেনগুলির জন্য স্যাম্পলিং কৌশলগুলি)।

আপনার ফাংশন শ্রেণিতে বিভিন্ন বিধিনিষেধ বিবেচনা করে, আপনি বিভিন্ন ধরণের ব্যবহৃত-ব্যবহৃত অন্যান্য পরিস্থিতিতে দেখতে উপরেরটি ইনস্ট্যান্ট করতে পারেন। উদাহরণস্বরূপ, বুলিয়ান মূল্যবান ফাংশন সহ, থ্রোসোল্ডিং (১.) দেখতে অনেকটা কাছের-প্রতিবেশী অনুমানকারী, বা কিছু স্থানীয় কার্নেল (গাউসিয়ান) এর সাথে একটি এসভিএম হিসাবে দেখাবে। উপরের অনেকগুলি উপাদান মাত্রার অভিশাপের সাথে ভুগছে (সীমানাটি মাত্রার উপর ঘনিষ্ঠভাবে নির্ভরশীলতা প্রদর্শন করে)। মেশিন লার্নিংয়ের ক্ষেত্রে আপনি আপনার ক্লাসটি কিছু পরিবারে (যেমন, "প্যারামেট্রিক পদ্ধতি) বা স্পষ্টভাবে সীমাবদ্ধ করে, সাধারণত লক্ষ্য ফাংশন জটিলতার সাথে আনুমানিক মানের গুণমান সম্পর্কিত কিছু (যেমন, একটি এনালগ) দ্বারা এটিকে ঘুরে দেখেন learning বৃদ্ধিতে দুর্বল শেখার অনুমান))

$f:\mathbb{R}^d \to \mathbb{R}$

চ (এক্স) = Σ_{ঞ = 0}^{2 ঘ} জ_{ঞ} (Σ_{আমি = 1}^{ঘ} ছ_{ঞ, আমি} ({এক্স}_{আমি})),

$f(x) = \sum_{j=0}^{2d}h_j\left(\sum_{i=1}^d g_{j,i}(x_i)\right),$

g_{j, i} : R \to R

$g_{j,i} : \mathbb{R}\to\mathbb{R}$

h_{j} : R \to R

$h_j:\mathbb{R}\to\mathbb{R}$

g

$g$

h

$h$

Θ (d^{2})

$\Theta(d^2)$

(আপনি কেবল ফাংশন ক্লাস সম্পর্কে জিজ্ঞাসা করেছিলেন, তবে আমি বুঝতে পেরেছিলাম যে আপনি পদ্ধতিগুলিতেও আগ্রহী হবেন .. না হলে .. ওফস)

— matus
সূত্র

"1957 থেকে!", এটি কি 1957 এর ক্ষতিকারক, তাই এটি ভবিষ্যত থেকে ?! :)

— এনব্রো