নিউরাল নেটওয়ার্কগুলির জন্য কার্নেলাইজেশন ট্রিক

Question

আমি নিউরাল নেটওয়ার্ক এবং এসভিএম সম্পর্কে শিখছি। আমি যে টিউটোরিয়ালগুলি পড়েছি সেগুলি এসভিএমগুলির জন্য কার্নেলাইজেশন কীভাবে গুরুত্বপূর্ণ তা জোর দিয়েছিল। কার্নেল ফাংশন ব্যতীত, এসভিএমগুলি কেবল একটি লিনিয়ার শ্রেণিবদ্ধ হয়। কার্নেলাইজেশন সহ, এসভিএমগুলি অ-রৈখিক বৈশিষ্ট্যগুলিও অন্তর্ভুক্ত করতে পারে, যা তাদের আরও শক্তিশালী শ্রেণিবদ্ধকরণ করে।

আমার কাছে দেখে মনে হচ্ছে যে কেউ নিউরাল নেটওয়ার্কগুলিতে কার্নেলাইজেশন প্রয়োগ করতে পারে তবে আমি যে নিউরাল নেটওয়ার্ক দেখেছি তার কোনও টিউটোরিয়াল এটি উল্লেখ করে নি। মানুষ কি সাধারণত নিউরাল নেটওয়ার্কগুলির সাহায্যে কার্নেল ট্রিক ব্যবহার করে? আমি অনুমান করি যে এটির কোনও তাত্পর্য রয়েছে কিনা তা দেখার জন্য কেউ অবশ্যই এটি নিয়ে পরীক্ষা-নিরীক্ষা করেছেন। কার্নেলাইজেশন কীভাবে নিউরাল নেটওয়ার্কগুলিকে এসভিএমগুলিকে সহায়তা করে? কেন অথবা কেন নয়?

(কর্নেল ট্রিকটি নিউরাল নেটওয়ার্কগুলিতে অন্তর্ভুক্ত করার জন্য আমি বেশ কয়েকটি উপায় কল্পনা করতে পারি One একটি উপায় হ'ল ইনপুট প্রিপ্রোসেস করতে উপযুক্ত কার্নেল ফাংশন ব্যবহার করা, in একটি ভেক্টরকে একটি উচ্চ-মাত্রিক ইনপুট, ভেক্টর) মধ্যে জন্য । মাল্টিপল লেয়ার নিউরাল জাল জন্য, আরেকটি বিকল্প স্নায়ুর নেটওয়ার্ক প্রতিটি পর্যায়ে একটি কার্নেল ফাংশন প্রয়োগ করতে হবে।)$\mathbb{R}^n$$\mathbb{R}^{m}$$m\ge n$

Comments

কার্নেল ট্রিকটি কাজ করে যখন আপনার ডেটা পয়েন্টগুলিতে কম্পিউটেশনাল অ্যাক্সেস অভ্যন্তরীণ পণ্যগুলিতে কম্পিউটিং থাকে। আমি নিশ্চিত না যে এটি নিউরাল নেটওয়ার্কগুলির ক্ষেত্রে।

— যুবাল ফিল্মাস

Answer 1

আমি মনে করি আপনি সম্ভবত এইভাবে শব্দটিকে বিভ্রান্ত করছেন যা সমস্যাটিকে বিভ্রান্ত করছে। এসভিএমগুলি একটি লিনিয়ার সিদ্ধান্তের সীমানা, অর্থাৎ হাইপারপ্লেনকে সংজ্ঞায়িত করে কাজ করে। আমরা এই হাইপারপ্লেনটিকে পয়েন্টগুলির মধ্যে অভ্যন্তরীণ পণ্যের ক্ষেত্রে সংজ্ঞা দিতে পারি। অতএব, আমরা যদি এই অভ্যন্তরীণ পণ্যটিকে কিছু উচ্চ-মাত্রিক, এমনকি সীমাহীন মাত্রিক জায়গাতে হতে সংজ্ঞায়িত করি তবে নতুন স্থানটিতে হাইপারপ্লেনের মতো দেখতে এটি মূল বৈশিষ্ট্যের জায়গার জন্য প্রয়োজনীয় লিনিয়ার নয়। সুতরাং সবকিছু এখনও রৈখিক, কেবলমাত্র আমরা যা করেছি তা হ'ল সুস্পষ্টভাবে (নতুন অভ্যন্তরীণ-পণ্যটির মাধ্যমে) কিছু উচ্চতর মাত্রিক স্থানে পয়েন্টগুলি এম্বেড করা। সম্ভবত আপনি এই সব ইতিমধ্যে জানেন।

নিউরাল নেটওয়ার্কগুলির সাথে বিবেচনা করার জন্য 2 টি সমস্যা রয়েছে। প্রথমটি @ ইউভাল ফিল্মাস দ্বারা উত্থাপিত হয়েছিল, কারণ লুকানো স্তরের নিউরাল নেটওয়ার্কগুলি পয়েন্টগুলির মধ্যে কেবল অভ্যন্তরীণ পণ্যের চেয়ে বেশি নির্ভর করে। আপনি যদি লুকানো স্তরটি সরিয়ে ফেলেন তবে আপনার কাছে লজিস্টিক রিগ্রেশন জাতীয় কিছু রয়েছে যার মধ্যে কার্নেলযুক্ত সংস্করণ রয়েছে । এটি প্রায় কাছাকাছি পেতে একটি উপায় আছে, কিন্তু আমি এটি দেখতে না।

দ্বিতীয়ত, আপনি উচ্চতর, তবে অসীম নয়, মাত্রিক জায়গাতে প্রজেক্টের মাধ্যমে ইনপুটটিকে প্রিপ্রোসেসিংয়ের কথা উল্লেখ করেছেন। নিউরাল নেটওয়ার্কগুলি সিদ্ধান্তের পৃষ্ঠকে সংজ্ঞায়িত করে এবং এই পৃষ্ঠটি লিনিয়ার হতে বাধ্য হয় না। এর অর্থ হ'ল পয়েন্টগুলিকে একটি উচ্চ মাত্রিক স্থানে প্রজেক্ট করা থেকে লাভ আলাদা হবে, অর্থাত্ এটি ভাল ওজনের একটি ভাল সেট খুঁজে পাওয়া সহজ করে তুলতে পারে, তবে আমরা আমাদের মডেলটিকে আরও শক্তিশালী করে তুলিনি। এটি সর্বজনীন আনুমানিক উপপাদ্য থেকে অনুসরণ করে যেটি বলে যে আমাদের প্রচুর পরিমাণে গোপন ইউনিট দেওয়া হয়েছে আমরা কোনও ফাংশন অনুমান করতে পারি (কিছু সীমাবদ্ধতার অধীনে)। এই শেষ বিবৃতি বরং শূন্য এবং আমি এটি উল্লেখ ঘৃণা। সঠিক ওজন কীভাবে সন্ধান করতে হয় সে সম্পর্কে আপনাকে কিছু না জানিয়ে এটি প্রয়োগের দৃষ্টিকোণ থেকে টেবিলের তেমন কিছু নিয়ে আসে না।

Comments

ধন্যবাদ. হ্যাঁ. আমি জানি যে আমরা এসভিএমগুলিকে কিছুটা উচ্চতর (বা এমনকি অসীম) মাত্রিক জায়গাতে মুল ইনপুট হিসাবে ম্যাপিং হিসাবে ভাবতে পারি, তারপরে সেই উচ্চতর মাত্রিক স্থানে রৈখিক সিদ্ধান্তের সীমানা করে। সুতরাং, আমরা কি নিউরাল নেটওয়ার্কগুলি দিয়ে এটি করতে পারি? আমরা কী ইনপুটগুলিকে উচ্চতর মাত্রিক স্থানে ম্যাপ করতে পারি, তারপরে একে নিউরাল নেটওয়ার্কের আসল ইনপুট হিসাবে বিবেচনা করব? আমি অনুমান করি যে আমরা করতে পারি (এবং আমি অনুমান করি যে আমরা প্রতিটি স্তরে এটি করতে পারতাম, যদি আমরা চাই)। এবং, যদি আমরা পারি তবে আমার আসল প্রশ্নটি হচ্ছে: এসভিএমগুলির জন্য এটি কি নিউরাল নেটওয়ার্কগুলিকে (বাস্তবে) এত বড় উন্নতি হিসাবে প্রস্তাব দেয়? কেন অথবা কেন নয়?

— DW

আমি সর্বজনীন আনুমানিক উপপাদ্য সম্পর্কে জানি, তবে এটি সত্যই প্রশ্নের উত্তর দেয় না (যেমন আপনি নির্দেশ করেছেন)। আমি যে বিষয়টির বিষয়ে যত্নশীল তা হ'ল স্নায়ু সংক্রান্ত কাজগুলি অনুশীলনে কাজ করার প্রবণতা। আমি ভাবছি যে কার্নেলাইজেশন ট্রিকের মাধ্যমে ইনপুটগুলিতে প্রসেসোসিং করার ফলে নিউরাল নেটওয়ার্কগুলি অনুশীলনে আরও ভাল কাজ করার প্রবণতা তৈরি করতে পারে। অবশ্যই কোনও গ্যারান্টি নেই এবং সর্বদা এমন পরিস্থিতি থাকবে যেখানে আপনি যা কিছু করেন তা খারাপ করে দিতে পারে তবে আমি সাধারণত আচরণগত আচরণ নিয়ে ভাবছি, বাস্তবে (একই অর্থে আমরা বলেছি যে কার্নেলাইজেশন এসভিএমগুলিকে উল্লেখযোগ্যভাবে আরও কার্যকর করে তোলে, অনুশীলন করা).

— DW

@ ডিডব্লিউ কার্নেলাইজেশন এসভিএমগুলিকে আরও কার্যকর করে তোলে কারণ এটি তাদের অ-লিনিয়ার সিদ্ধান্তের সীমানা সংজ্ঞায়িত করতে দেয়। নিউরাল নেটওয়ার্কগুলি ইতিমধ্যে অ-রৈখিক সিদ্ধান্তের সীমানা সংজ্ঞায়িত করতে পারে, সুতরাং আপনার ডেটাটিকে একটি উচ্চ মাত্রিক স্থানে প্রজেক্ট করার একমাত্র সুবিধা হ'ল অপটিমাইজেশন সমস্যাটিকে সহজ করা।

— অল্টো

Answer 2

এসভিএমগুলির জন্য শেখার প্রক্রিয়াটির একটি বিশেষ সম্পত্তি থাকার কারণে কার্নেল ট্রিকটি এসভিএমগুলির পক্ষে সম্ভব। নিউরাল নেটওয়ার্কগুলির সেই সম্পত্তি আছে বলে মনে হচ্ছে না (যতদূর আমি বলতে পারি)।

যাক ট্রেনিং সেট পয়েন্ট দেখুন। সাধারণত, আপনি আশা করতে পারেন যে কোনও মেশিন লার্নিং অ্যালগরিদম মানগুলি দেখবে । তবে এসভিএম শেখার প্রক্রিয়াটির পরিবর্তে উল্লেখযোগ্য সম্পত্তি রয়েছে। এটি মানগুলি জানার দরকার নেই । কোনও পছন্দসই জোড় ইনপুট পয়েন্টের জন্য গণনা করতে সক্ষম (যেমন, আপনার পছন্দের ইনপুট ভেক্টরগুলির কোনও জোড়া জন্য ডট-প্রোডাক্ট গণনা করতে); এটাই সমস্ত এসভিএম শেখার প্রক্রিয়াটির প্রয়োজন।$x_1,\dots,x_n \in \mathbb{R}^d$$x_i$$x_i$$x_i \cdot x_j$

এসভিএম শেখার প্রক্রিয়াটির এই বিশেষ সম্পত্তিটি আমাদের কার্নেল ট্রিক ব্যবহার করতে দেয়। আমরা একটি কার্নেল ফাংশন সংজ্ঞায়িত করতে পারি যাতে ইনপুটগুলির কিছু অ-রৈখিক রূপান্তরকরণের ডট-প্রোডাক্ট হয়। আমরা যদি ইনপুট ভেক্টরগুলিকে ননলাইনার ট্রান্সফর্মেশন via (কিছু ) এর জন্য রূপান্তর করি তবে আমরা সংজ্ঞায়িত করব । পরবর্তী দুর্দান্ত বৈশিষ্ট্যটি হ'ল, কিছু অফলাইন রুপান্তর আপনি আরও দক্ষতার সাথে গণনা করে তার ডট-প্রোডাক্ট গণনা করতে পারেন; আপনি গণনা করতে পারেন$K$$K(x_i,x_j)$$\phi : \mathbb{R}^d \to \mathbb{R}^m$$m > d$$K(x_i,x_j) = \phi(x_i) \cdot \phi(x_j)$$\phi$$K(x_i,x_j)$$\phi(x_i),\phi(x_j)$$K(x_i,x_j)$মধ্যে সময় (বলুন) বদলে সময়।$O(d)$$O(m)$

দুর্ভাগ্যক্রমে, নিউরাল নেটওয়ার্কগুলির এই দুর্দান্ত কৌশলটি কাজে লাগানোর কোনও উপায় আছে বলে মনে হয় না, কারণ স্নায়ুবিক নেটওয়ার্কগুলির জন্য শেখার প্রক্রিয়াটি কেবলমাত্র (বা ) মানের উপর নির্ভর করে বলে মনে হয় ; এর জন্য সমস্ত এর সম্পূর্ণ মান দরকার । সুতরাং, আমরা যদি চাই তবে কিছু ননলাইনার ফাংশনের মাধ্যমে ননলাইনার নেটওয়ার্কে ইনপুটগুলিকে প্রাক রূপান্তর করতে পারি, আমরা এসভিএমগুলির জন্য যেমন করতে পারি, তেমন এটিকে আরও কার্যকর করার জন্য কার্নেল ট্রিকটি ব্যবহার করার কোনও উপায় নেই বলে মনে হচ্ছে।$x_i \cdot x_j$$K(x_i,x_j)$$x_i$

Answer 3

আমি আমার তৈরি কিছু পর্যবেক্ষণগুলি ভাগ করে নিতে চাই। ইনপুট মাত্রা: 144. আমি একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণ পেয়েছি, এবং প্রশিক্ষণের সময়, লুকানো স্তরগুলির আউটপুটটি লজিস্টিক রিগ্রেশনের জন্য ইনপুট হিসাবে দেওয়া হয়েছিল, এবং মডেলটি ফিট করার পরে লোকসানের ফাংশনের গড় মূল্য পরিকল্পনা করা হয়েছিল।

আমরা দেখতে পাচ্ছি স্তরের আকার বৃদ্ধির সাথে সাথে বৈশিষ্ট্যগুলি বা লুকানো স্তরগুলির আউটপুট লাইনারি পৃথকযোগ্য হয়ে উঠছে। যদিও এটি কার্নেলযুক্ত বৈশিষ্ট্য ভেক্টর শেখার উদ্দেশ্য , স্নায়ুবহুল নেটওয়ার্ক অভ্যন্তরীণভাবে এটি করছে বলে মনে হচ্ছে।