চরম শেখার মেশিন: এ সব কি?

আমি এখন এক বছরেরও বেশি সময় ধরে এক্সট্রিম লার্নিং মেশিন (ইএলএম) দৃষ্টান্তটি সম্পর্কে বাস্তবায়ন এবং ব্যবহারের বিষয়ে চিন্তাভাবনা করছি এবং আমি যত বেশি করবো ততই সন্দেহ করি যে এটি সত্যিই একটি ভাল জিনিস। আমার মতামতটি বৈজ্ঞানিক সম্প্রদায়ের সাথে বিপরীত বলে মনে হয় যেখানে - যখন পরিমাপ হিসাবে উদ্ধৃতি এবং নতুন প্রকাশনা ব্যবহার করা হয় - এটি একটি উত্তপ্ত বিষয় বলে মনে হয়।

ইএলএম হুয়াং এট চালু করেছে । অল। 2003 এর কাছাকাছি। অন্তর্নিহিত ধারণাটি বরং সহজ: একটি 2-স্তর কৃত্রিম নিউরাল নেটওয়ার্ক দিয়ে শুরু করুন এবং এলোমেলোভাবে প্রথম স্তরের সহগকে নির্ধারণ করুন। এটি একটি অ-রৈখিক অপ্টিমাইজেশান সমস্যাটি রূপান্তর করে যা সাধারণত ব্যাকপ্রোগেশনের মাধ্যমে একটি সাধারণ লিনিয়ার রিগ্রেশন সমস্যায় রূপান্তরিত হয়। আরও বিশদ, , মডেলটি $\mathbf x \in \mathbb R^D$

f (x) = \sum_{i = 1}^{N_{hidden}} w_{i} σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$f(\mathbf x) = \sum_{i=1}^{N_\text{hidden}} w_i \, \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

এখন, কেবলমাত্র সামঞ্জস্য করা হয়েছে (স্কোয়ার-ত্রুটি-ক্ষতি হ্রাস করার জন্য), তবে সবই এলোমেলোভাবে বেছে নেওয়া হয়েছে। স্বাধীনতার ডিগ্রি-ক্ষতির ক্ষতিপূরণ হিসাবে, স্বাভাবিক পরামর্শটি হ'ল সংখ্যক লুকানো নোড (যেমন ফ্রি প্যারামিটার ) ব্যবহার করা। $w_i$ $v_{ik}$ $w_i$

অন্য দৃষ্টিকোণ (এক সাধারণত সাহিত্যে উন্নীত হয়, যা স্নায়ুর নেটওয়ার্ক পাশ থেকে আসে) থেকে, সমগ্র প্রক্রিয়া হয় কেবল রৈখিক রিগ্রেশনের, কিন্তু এক যেখানে আপনি আপনার ভিত্তি ফাংশন চয়ন এলোমেলোভাবে, উদাহরণস্বরূপ $\phi$

ϕ_{i} (x) = σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$\phi_i(\mathbf x) = \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

(সিগময়েডের পাশের অন্যান্য অনেক পছন্দ এলোমেলো ফাংশনগুলির জন্য সম্ভব instance উদাহরণস্বরূপ, একই নীতিটিও রেডিয়াল বেস ফাংশন ব্যবহার করে প্রয়োগ করা হয়েছে))

এই দৃষ্টিকোণ থেকে, পুরো পদ্ধতিটি প্রায় সরল হয়ে উঠেছে, এবং এটি সেই জায়গাটিও আমি সন্দেহ করতে শুরু করি যে পদ্ধতিটি আসলেই একটি ভাল (... যদিও এর বৈজ্ঞানিক বিপণন অবশ্যই)। সুতরাং, এখানে আমার প্রশ্নগুলি:

এলোমেলো ভিত্তি ফাংশনগুলি ব্যবহার করে ইনপুট স্পেসের উপর আনুষাঙ্গিক করার ধারণাটি আমার মতে, কম মাত্রার জন্য ভাল। উচ্চ মাত্রায়, আমি মনে করি যুক্তিসঙ্গত সংখ্যার ভিত্তিক সংজ্ঞা সহ এলোমেলো নির্বাচন ব্যবহার করে কোনও ভাল পছন্দ পাওয়া সম্ভব নয়। সুতরাং, ELM উচ্চ মাত্রায় (মাত্রিকতার অভিশাপের কারণে) অবনমিত হয়?
আপনি কি এই মতামতকে সমর্থন / বিরোধী পরীক্ষামূলক ফলাফল সম্পর্কে জানেন? লিঙ্ক পেপারে কেবলমাত্র একটি 27-মাত্রিক রিগ্রেশন ডেটা সেট (পিওয়াইআরআইএম) রয়েছে যেখানে পদ্ধতিটি এসভিএমগুলির অনুরূপ সঞ্চালিত হয় (যেখানে আমি ব্যাকপ্রোপেশন এএনএন এর সাথে তুলনা দেখতে চাই)
আরও সাধারণভাবে, আমি ইএলএম পদ্ধতি সম্পর্কে আপনার মন্তব্যগুলি এখানে দিতে চাই।

regression

— davidhigh
সূত্র

সম্পূর্ণ গল্পের জন্য এখানে দেখুন: theanonymousemail.com/view/?msg=ZHEZJ1AJ

— ডেভিডইঘ

উত্তর:

উচ্চ মাত্রিক সমস্যার জন্য ইএলএম ব্যবহার সম্পর্কে আপনার স্বজ্ঞাততা সঠিক, এটি সম্পর্কে আমার কিছু ফলাফল রয়েছে, যা আমি প্রকাশের জন্য প্রস্তুত করছি। অনেক ব্যবহারিক সমস্যার জন্য, ডেটা খুব অ-রৈখিক হয় না এবং ইএলএম মোটামুটি ভাল করে, তবে ডেটাসেটগুলি সর্বদা থাকবে যেখানে মাত্রিকতার অভিশাপের অর্থ হ'ল যেখানে আপনার প্রয়োজন সেখানে বক্রতা সহ একটি ভাল বেস ফাংশন সন্ধানের সুযোগটি বরং এটি হয়ে যায় rather ছোট, এমনকি অনেক বেস ভেক্টর সহ।

আমি ব্যক্তিগতভাবে একটি স্বল্প স্কোয়ার সমর্থন ভেক্টর মেশিন (বা একটি রেডিয়াল বেস ফাংশন নেটওয়ার্ক) এর মতো কিছু ব্যবহার করব এবং প্রশিক্ষণের জন্য লোভী উপায়ে সেট করা বেসিক ভেক্টরদের চেষ্টা করে বেছে নেব (যেমন আমার কাগজটি দেখুন , তবে অন্যগুলি / আরও ভাল ছিল) প্রায় একই সময়ে প্রকাশিত পন্থাগুলি, যেমন "স্ক্রিন উইথ কার্নেলস" সম্পর্কিত স্কলকফ এবং স্মোলার খুব ভাল বইতে। আমি মনে করি আনুমানিক সমস্যার সুনির্দিষ্ট সমাধানের চেয়ে সঠিক সমস্যার একটি আনুমানিক সমাধান গণনা করা আরও ভাল এবং কার্নেল মেশিনগুলির একটি আরও ভাল তাত্ত্বিক আন্ডারপিনিং রয়েছে (একটি নির্দিষ্ট কর্নেলের জন্য; ও)।

— ডিকরান মার্সুপিয়াল
সূত্র

+1 টি। আমি এর আগে কখনও ইএলএম সম্পর্কে শুনিনি, তবে ওপিতে বর্ণিত বর্ণনা থেকে এটি কিছুটা তরল স্টেট মেশিন (এলএসএম) এর মতো মনে হয়: এলোমেলো নেটওয়ার্ক সংযোগ এবং কেবল পঠনের ওজনকেই অনুকূলিত করে। তবে, এলএসএম এ র্যান্ডম "জলাশয়" পুনরাবৃত্তি হয়, অন্যদিকে ELM এ এটি ফিডফোরওয়ার্ড। আসলেই কি তা মিল এবং পার্থক্য?

— অ্যামিবা বলেছেন

k (x, x_{i})

$k(\mathbf x,\mathbf x_i)$

x_{i}

$\mathbf x_i$

@ অ্যামিবা: আমি তরল স্টেট মেশিনটি জানতাম না, তবে আপনি যা বলছেন তা থেকে এটি দেখতে খুব সাদৃশ্যপূর্ণ ... এবং অবশ্যই প্রযুক্তিগতভাবে আরও সাধারণ। তবুও, পুনরুক্তি সমস্যার মধ্যে এলোমেলোতার আরও জটিল রূপ যুক্ত করে, যা আমার মতে অভিশাপ-মাত্রিক সমস্যাগুলি নিরাময় করে না (... তবে ঠিক আছে, কে এই কাজ করে?)। এই পুনরাবৃত্তির ওজনগুলি কিছু যত্নের সাথে বা সম্পূর্ণ এলোমেলোভাবে চয়ন করা হয়?

— ডেভিডিঘ

আরবিএফ কার্নেলের জন্য @ ডেভিডইগ, "উপস্থাপক উপপাদ্যগুলি" দেখায় যে প্রতিটি প্রশিক্ষণের নমুনায় ভিত্তি ফাংশনকে কেন্দ্র করে নেওয়া (নিয়মিত ব্যয় সম্পর্কিত ক্রিয়াকলাপ সম্পর্কে কিছু যুক্তিসঙ্গত অনুমান করা) এর চেয়ে ভাল কোনও সমাধান নেই। এটি কার্নেল পদ্ধতিগুলির একটি দুর্দান্ত বৈশিষ্ট্য (এবং স্প্লাইনস), তাই এলোমেলোভাবে এগুলি ছড়িয়ে দেওয়ার দরকার নেই। যাইহোক, এলোমেলোভাবে নির্বাচিত বেস ফাংশনগুলির আউটপুটে একটি রৈখিক মডেল নির্মাণের একটি দীর্ঘ ইতিহাস রয়েছে, আমার প্রিয় একক স্তরটি পার্সেপট্রন ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=51949&tag=1 তবে আমি পক্ষপাতদুষ্ট হতে পারে!

— ডিকরান মার্সুপিয়াল

@ ডিক্রানমারসুপিয়াল আপনি কি প্রকাশ করেছেন বা আপনার কাছে প্রাক-প্রকাশনা উপলভ্য কিছু আছে?

— টম হেল

ELM আউটপুট ওজনগুলির জন্য বিশ্লেষণাত্মকভাবে সমাধান করে ডেটা থেকে "শেখায়"। সুতরাং নেটওয়ার্কে খাওয়ানো হয় এমন আরও বড় ডেটা আরও ভাল ফলাফল দেয়। তবে এর জন্য আরও বেশি সংখ্যক লুকানো নোডের প্রয়োজন। ELM যদি সামান্য বা কোনও ত্রুটির সাথে প্রশিক্ষিত হয়, যখন কোনও নতুন সেট ইনপুট দেওয়া হয়, এটি সঠিক আউটপুট উত্পাদন করতে অক্ষম।

Lতিহ্যবাহী নিউরাল নেট যেমন পিঠ প্রচারের চেয়ে ELM এর প্রধান সুবিধা এটির দ্রুত প্রশিক্ষণের সময়। হুয়াং কাগজে উল্লিখিত আউটপুট স্তরের ওজন সমাধানে বেশিরভাগ গণনার সময় ব্যয় করা হয়।

— user62106
সূত্র