গাউসিয়ান আরবিএফ বনাম গাউসিয়ান কার্নেল

গাউসীয় রেডিয়াল বেসিস ফাংশন (আরবিএফ) এর সাথে লিনিয়ার রিগ্রেশন এবং গাউসিয়ান কার্নেলের সাথে লিনিয়ার রিগ্রেশন করার মধ্যে পার্থক্য কী?

regression normal-distribution kernel-trick

— user35965
সূত্র

সাইটটিতে আপনাকে স্বাগতম, @ ব্যবহারকারী 35965। দয়া করে আপনার সংক্ষিপ্ত শব্দটি বানান। "আরবিএফ" দ্বারা, আপনি কি রেডিয়াল বেস ফাংশন বলতে চান ?

— গুং - মনিকা পুনরায়

হ্যাঁ, আমি কী বোঝাতে চাইছি তা নির্মম। যথাযথভাবে ভবিষ্যতের রেফারেন্সের জন্য উল্লেখ করা হয়েছে।

— ব্যবহারকারী 35965

শুধুমাত্র বাস্তব পার্থক্য হ'ল নিয়মিতকরণ যা প্রয়োগ করা হয়। একটি নিয়মিত আরবিএফ নেটওয়ার্ক সাধারণত ওজনের স্কোয়ার নিয়মের উপর ভিত্তি করে একটি জরিমানা ব্যবহার করে। কার্নেল সংস্করণের জন্য, জরিমানা সাধারণত কর্নেল দ্বারা প্রেরণ করা বৈশিষ্ট্য স্পেসে অন্তর্নিহিতভাবে রৈখিক মডেলের ওজনগুলির স্কোয়ার মান হিসাবে থাকে। মূল বাস্তব পার্থক্য এটি দেয় যে আরবিএফ নেটওয়ার্কের জন্য জরিমানাটি আরবিএফ নেটওয়ার্কের কেন্দ্রগুলির উপর নির্ভর করে (এবং তাই ব্যবহৃত ডেটার নমুনার উপর নির্ভর করে) যেখানে আরবিএফ কার্নেলের জন্য প্রেরিত বৈশিষ্ট্য স্থানটি একই রকমের নমুনা নির্বিশেষে ডেটা, সুতরাং জরিমানাটি তার পরামিতিগুলির পরিবর্তে মডেলটির ক্রিয়াকলাপের জন্য একটি দণ্ড ।

অন্য কথায়, দুটি মডেলের জন্য আমাদের রয়েছে

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

আরবিএফ নেটওয়ার্ক পদ্ধতির জন্য, প্রশিক্ষণের মানদণ্ডটি

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

আরবিএফ কার্নেল পদ্ধতির জন্য, আমাদের কাছে সেই , এবং । এর অর্থ হল উত্সাহিত বৈশিষ্ট্য ব্যবস্থায় মডেলের ওজনের উপর একটি বর্গক্ষেত্রের আদর্শ জরিমানা, the দ্বৈত প্যারামিটারের ক্ষেত্রে লেখা যেতে পারে, হিসাবে $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

যেখানে training all হ'ল সমস্ত প্রশিক্ষণের নিদর্শনগুলির জন্য কার্নেলের জোড়া-ভিত্তিক মূল্যায়নের ম্যাটিক্স। প্রশিক্ষণের মানদণ্ডটি তখন $\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$ ।

দুটি মডেলের মধ্যে পার্থক্য হ'ল নিয়মিতকরণের মেয়াদে $\matrix{K}$

কার্নেল পদ্ধতির মূল তাত্ত্বিক সুবিধা হ'ল এটি আপনাকে কোনও অ-রৈখিক মডেলটিকে একটি নির্দিষ্ট অ-রৈখিক রূপান্তর অনুসরণের পরে রৈখিক মডেল হিসাবে ব্যাখ্যা করতে দেয় যা ডেটা নমুনার উপর নির্ভর করে না। সুতরাং রৈখিক মডেলগুলির জন্য বিদ্যমান যে কোনও পরিসংখ্যান শেখার তত্ত্ব স্বয়ংক্রিয়ভাবে অ-রৈখিক সংস্করণে স্থানান্তর করে। যাইহোক, আপনি চেষ্টা করার সাথে সাথে কার্নেল প্যারামিটারগুলি টিউন করার সাথে সাথে এই সমস্ত বিচ্ছিন্ন হয়ে যায়, আমরা আরবিএফ (এবং এমএলপি) নিউরাল নেটওয়ার্কগুলির সাথে থাকাকালীনভাবে তাত্ত্বিকভাবে একইভাবে কথা বলছি। সুতরাং তাত্ত্বিক সুবিধা সম্ভবত আমাদের পছন্দ মতো দুর্দান্ত নয়।

পারফরম্যান্সের ক্ষেত্রে এটি কি কোনও বাস্তব পার্থক্য তৈরি করতে পারে? সম্ভবত খুব বেশি না। "কোনও নিখরচায় মধ্যাহ্নভোজ" তাত্ত্বিক পরামর্শ দেয় যে অন্য সকলের তুলনায় কোনও অ্যালগরিদমের অগ্রাধিকারের শ্রেষ্ঠত্ব নেই এবং নিয়মিতকরণের মধ্যে পার্থক্য মোটামুটি সূক্ষ্ম, তাই সন্দেহের ভিত্তিতে যদি উভয়ই চেষ্টা করে এবং উদাহরণস্বরূপ ক্রস-বৈধতা অনুসারে সেরাটি বেছে নেয়।

— ডিকরান মার্সুপিয়াল
সূত্র

@CagdasOzgenc হ্যাঁ, RBF জন্য regulariser হয় বদলে কার্নেল মেশিনের জন্যতারা আরো অনুরূপ হয়ে যেমন ভিত্তিতে ফাংশনের প্রস্থ শূন্য পন্থা হিসাবে হবে কাছে চাই । আমি মনে করি এটি মূলত কারণ ভিত্তিক ফাংশনগুলির মধ্যে পারস্পরিক সম্পর্কের জন্য অ্যাকাউন্টিং করছে।

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— ডিকরান মার্শুপিয়াল

@ ক্যাগডাস ওজগেনেক যেভাবে আমি এটি দেখছি তা হ'ল নিয়মিতায়নের প্রতিটি ভিত্তি ভেক্টরের জন্য শাস্তি আলাদাভাবে ওজন করে এবং জরিমানাটি অন্যান্য ভিত্তি ভেক্টরগুলির নির্বাচনের উপর নির্ভর করে। এই ওজন তাদের পারস্পরিক সম্পর্কের উপর নির্ভর করে, সুতরাং আপনি যদি অন্য কোনও নমুনা বেছে নেন তবে ওজন ক্ষতিপূরণে পরিবর্তন হয়। এটি দেখার অন্য উপায়টি হ'ল মডেলটি feature দ্বারা নির্ধারিত কোনও বৈশিষ্ট্যের সংজ্ঞায়িত করা হয় , যা ভিত্তি ভেক্টরগুলির পছন্দগুলির উপর নির্ভর করে না (তারা ডেটাযুক্ত স্থানটি স্প্যান করে)।

K

$K$

ϕ (x)

$\phi(x)$

— ডিকরান মার্শুপিয়াল

@ ক্যাগডাস ওজেনসিইন নিশ্চিত যে আমরা ইগেন-পচন দ্বারা বেস ফাংশনগুলির স্থানকে রূপান্তর করতে পারি এবং একটি style স্টাইলের নিয়মিতকরণ (সত্যিই এটি নিয়মিতকরণের প্যারামিটারটি অনুকূল করার ক্ষেত্রে একটি কার্যকর কৌশল - doi.org/10.1016/j.neunet.2007.05.005 )। তবে যে রূপান্তরটি ভিত্তিক কার্যের মূল পছন্দের নির্ভরতা দূর করে। দুটি জিনিস সমান হওয়ার জন্য প্রয়োজন হবে , যা সাধারণত সত্য নয় (বিশেষত আরবিএফ কার্নেলের জন্য নয়)।

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— ডিকরান মার্শুপিয়াল

ধন্যবাদ. আমি প্রতিফলিত করব এটি আপনার কাছে ফিরে আসবে। এই মুহুর্তে মনে হচ্ছে আমি আপনার বোঝার পর্যায়ে নেই। আমার আরও চিন্তাভাবনা করা দরকার :)।

— ক্যাগডাস ওজজেঙ্ক

@ ক্যাগডাস ওজেগেনেকে কোনও সমস্যা নেই, বেশিরভাগ মানক পাঠ্যগুলি এটিকে কার্নেল ফাংশনের ইগনফ্যানকশনের মাধ্যমে ব্যাখ্যা করে যা আমার মস্তিষ্ককেও আহত করে তোলে! ; ও)

— ডিকরান মার্সুপিয়াল