নিউরাল নেটওয়ার্ক বনাম সমর্থন ভেক্টর মেশিন: দ্বিতীয়টি কি অবশ্যই উচ্চতর?

52

আমি প্রমাণিত এসভিএমগুলিতে যে সমস্ত কাগজপত্র পড়েছি তা হ'ল তাদের প্রতিরোধ / শ্রেণিবিন্যাসের সমস্যার মুখোমুখি হওয়ার জন্য এটি উচ্চতর কৌশল, সচেতন যে তারা এনএনএসের মাধ্যমে অনুরূপ ফলাফল পেতে পারে না। প্রায়শই তুলনা বলছে যে

এনভিগুলির পরিবর্তে এসভিএম,

একটি শক্তিশালী প্রতিষ্ঠাতা তত্ত্ব আছে
চতুর্ভুজ প্রোগ্রামিংয়ের কারণে গ্লোবাল সর্বোত্তম পৌঁছান
সঠিক সংখ্যক পরামিতি বেছে নেওয়ার জন্য কোনও সমস্যা নেই
অতিরিক্ত মানানসই প্রবণতা কম
ভবিষ্যদ্বাণীপূর্ণ মডেলটি সঞ্চয় করতে কম স্মৃতি দরকার
আরও পঠনযোগ্য ফলাফল এবং জ্যামিতিক ব্যাখ্যা প্রদান করুন

এটি কি গুরুত্ব সহকারে কোনও বহুল স্বীকৃত চিন্তাভাবনা? নো-ফ্রি লাঞ্চের উপপাদ্য বা অনুরূপ বিবৃতি উদ্ধৃত করবেন না, আমার প্রশ্নটি সেই কৌশলগুলির ব্যবহারিক ব্যবহার সম্পর্কে।

অন্যদিকে আপনি এনএন এর সাথে অবশ্যই কোন ধরণের বিমূর্ত সমস্যার মুখোমুখি হবেন?

machine-learning svm neural-networks

— stackovergio
সূত্র

4

আমি মনে করি প্রশ্নটি কিছুটা বিস্তৃত হতে পারে। তবে অনুশীলনে এনএন কাঠামোগত পছন্দ করার সাথে এনএনগুলি অনেক বেশি সুরক্ষিত বলে মনে হয়, যেখানে এসভিএমগুলিতে কম পরামিতি রয়েছে। দুটি প্রশ্ন আছে, যদি কোনও এনএন যদি উপযুক্তভাবে কোনও সমস্যা সমাধানের জন্য সেট আপ করা হয় তবে এটি কীভাবে এসভিএম বনাম ভাড়া নেবে? এবং গড় অনুচ্ছেদের হাতে এসভিএম কীভাবে এনএন এর সাথে তুলনা করে?

— প্যাট্রিক ক্যালডন

2

@ পেট্রিকক্যালডন আমি আপনার দৃষ্টিভঙ্গি বুঝতে পেরেছি তবে এর সাথে মোকাবিলা করার জন্য আরও পরামিতিগুলি সর্বদা আরও ভাল সরঞ্জামের অর্থ নয়, যদি আপনি কীভাবে উপযুক্ত উপায়ে কনফিগার করতে না জানেন তবে। এমনকি সম্ভাব্য হলেও, একটি দীর্ঘ অধ্যয়নের প্রয়োজন হতে পারে; বা, আপনার অ্যাপ্লিকেশনটির প্রয়োজনে আপনার এত বিস্তৃত সুরের দরকার নেই

— stackovergio

1

এটাই আমার বক্তব্য কোন প্রশ্নটি কীভাবে সরঞ্জামটি বিশেষ পরিস্থিতিতে আদর্শ পরিস্থিতিতে কাজ করে? বা বেশিরভাগ সময় কীভাবে সরঞ্জামটি কাজ করে? আমার মনে হয় এখানে সবচেয়ে বড় উপাদানটি বিটিডব্লিউ। এ কারণেই আমি মনে করি প্রাসঙ্গিক কারণগুলি প্রায়শই: প্রতিটি সরঞ্জাম শেখা কতটা কঠিন? আশেপাশে এমন বিশেষজ্ঞরা আছেন যারা কীভাবে এটি ব্যবহার করতে জানেন? ইত্যাদি যা "এক্স এর চেয়ে ভাল পারফরম্যান্স পেয়েছি" এর অনেক কিছুই ব্যাখ্যা করতে পারে

— প্যাট্রিক ক্যালডন

1

আমি যা জানি, মাল্টিলেয়ার ফিডফোরওয়ার্ড এএনএন অ্যাক্টিভেশন কার্যটি নির্বিশেষে কমবেশি সর্বজনীন আনুমানিক ima আমি এসভিএম এর অনুরূপ ফলাফল সম্পর্কে অবগত নই যা ব্যবহৃত কার্নেল ফাংশনে আমার জ্ঞানকে অনেক বেশি নির্ভর করে।

— মোমো

2

ব্যবহারিক ব্যবহারে, আমি প্রশিক্ষণের সময়ের কারণে এনএনগুলিকে কিছুটা বেশি ব্যবহারিক বলে মনে করি। অ-লিনিয়ার এসভিএমগুলি কেবল বৃহত এনকে খুব ভালভাবে পরিচালনা করতে পারে না। উভয় অ্যালগরিদমই উপযোগ করতে পারে এবং উভয়েরই শক্তিশালী নিয়ন্ত্রণ প্রয়োজন zation

— শেয়া পার্কস

43

এটি বাণিজ্য বন্ধের বিষয়। SVMs হয় মধ্যে এখন NNs ব্যবহার করা হয় মধ্যে । আপনি কাগজপত্র যে এলোমেলো বন, সম্ভাব্য গ্রাফিক মডেল বা Nonparametric Bayesian পদ্ধতি দাবি একটি ক্রমবর্ধমান সংখ্যা খুঁজে বের করব না। কেউ একটি পূর্বাভাস মডেল প্রকাশ করা উচিত অভাবনীয় গবেষণা কাহিনী কি মডেল হিপ বিবেচনা করা হবে।

অনেক বিখ্যাত তত্ত্বাবধানে থাকা সমস্যার জন্য সেরা পারফর্মিং সিঙ্গল মডেলগুলি হ'ল কিছু প্রকার এনএন, কিছু প্রকারের এসভিএম বা কোনও সমস্যা নির্দিষ্ট স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি সিগন্যাল প্রক্রিয়াজাতকরণ পদ্ধতি ব্যবহার করে প্রয়োগ করা হয় Having

এনএন এর পেশাদাররা:

তারা যে ধরণের ডেটা সমর্থন করতে পারে তার ক্ষেত্রে এগুলি অত্যন্ত নমনীয়। ম্যানুয়ালি বৈশিষ্ট্যগুলি ব্যয় না করে এনএনগুলি মূলত কোনও ডেটা স্ট্রাকচার থেকে গুরুত্বপূর্ণ বৈশিষ্ট্যগুলি শিখতে একটি ভাল কাজ করে।

এনএন এখনও বৈশিষ্ট্য ইঞ্জিনিয়ারিং থেকে উপকৃত হয়, যেমন আপনার দৈর্ঘ্য এবং প্রস্থ থাকলে আপনার কোনও অঞ্চল বৈশিষ্ট্য থাকা উচিত। একই গণনার প্রচেষ্টার জন্য মডেল আরও ভাল পারফর্ম করবে।

বেশিরভাগ তত্ত্বাবধানে থাকা মেশিন লার্নিংয়ের জন্য আপনাকে দৈর্ঘ্যের পর্যবেক্ষণের ভেক্টর হিসাবে লেবেলগুলি সহ ম্যাট্রিক্স বৈশিষ্ট্যগুলির দ্বারা পর্যবেক্ষণে আপনার ডেটা কাঠামোগত করা দরকার। এনএন এর সাথে এই সীমাবদ্ধতার প্রয়োজন নেই। কাঠামোগত এসভিএম নিয়ে দুর্দান্ত কাজ রয়েছে তবে এটি এনএনএসের মতো নমনীয় হওয়ার সম্ভাবনা কম is

এসভিএম এর পেশাদাররা:

কম হাইপারপ্যারামিটার। সাধারণত এসভিএমগুলিকে যুক্তিসঙ্গতভাবে সঠিক মডেলটি পেতে কম গ্রিড-অনুসন্ধান করা প্রয়োজন। আরবিএফ কার্নেল সহ এসভিএম সাধারণত বেশ ভাল সম্পাদন করে।
গ্লোবাল সর্বোত্তম গ্যারান্টিযুক্ত

এনএন এবং এসভিএম সম্পর্কে ধারণা:

বেশিরভাগ উদ্দেশ্যে তারা উভয়ই কালো বক্স। এসভিএমগুলি ব্যাখ্যা করার জন্য কিছু গবেষণা রয়েছে, তবে আমি সন্দেহ করি এটি কখনও জিএলএমগুলির মতো স্বজ্ঞাত হতে পারে। এটি কিছু সমস্যা ডোমেনে একটি গুরুতর সমস্যা।

আপনি যদি একটি কালো বাক্স গ্রহণ করতে চলেছেন তবে আপনি সাধারণত ব্যাগিং / স্ট্যাকিং / বিভিন্ন ট্রেড-অফের সাহায্যে অনেকগুলি মডেলকে বাড়িয়ে দিয়ে আরও কিছুটা নির্ভুলতা খুঁজে বের করতে পারেন।

এলোমেলো বনগুলি আকর্ষণীয় কারণ তারা অতিরিক্ত প্রচেষ্টা ছাড়াই ব্যাগ-অফ-ব্যাগ ভবিষ্যদ্বাণীগুলি (ছুটি-এক-আউট ভবিষ্যদ্বাণী) উত্পাদন করতে পারে, তারা খুব ব্যাখ্যাযোগ্য, তাদের একটি ভাল পক্ষপাত-বৈকল্পিক বাণিজ্য বন্ধ রয়েছে (ব্যাগিং মডেলগুলির জন্য দুর্দান্ত) এবং তারা নির্বাচন পক্ষপাত তুলনামূলকভাবে মজবুত। একটি সমান্তরাল বাস্তবায়ন লিখতে বোকামি সহজ।

সম্ভাব্য গ্রাফিকাল মডেলগুলি আকর্ষণীয় কারণ তারা ডোমেন-নির্দিষ্ট-জ্ঞানকে সরাসরি মডেলটিতে অন্তর্ভুক্ত করতে পারে এবং এ ক্ষেত্রে ব্যাখ্যাযোগ্য।

ননপ্যারমেট্রিক (বা সত্যিই চূড়ান্ত প্যারামেট্রিক) বেয়েসিয়ান পদ্ধতিগুলি আকর্ষণীয় কারণ তারা সরাসরি আত্মবিশ্বাসের অন্তর উত্পাদন করে। তারা ছোট নমুনা আকারগুলিতে খুব ভাল এবং বড় নমুনা আকারগুলিতে খুব ভাল সম্পাদন করে। একটি রৈখিক বীজগণিতের প্রয়োগ বাস্তবায়নের জন্য নির্বুদ্ধিতা সহজ।

— জেসিকা মিক
সূত্র

41

সাম্প্রতিক গভীর শিক্ষার উত্থানের সাথে, এনভিগুলি এসভিএমগুলির তুলনায় "বেশি" হিসাবে বিবেচিত হতে পারে, আমি বলব।

— বায়ারজ

30

আপনার প্রশ্নের উত্তরটি আমার অভিজ্ঞতা "না" তে রয়েছে, এসভিএমগুলি অবশ্যই উচ্চতর নয়, এবং যা কাজ করে ডেটাসেটের প্রকৃতি এবং প্রতিটি সরঞ্জামের সাথে অপারেটরের আপেক্ষিক দক্ষতার উপর নির্ভর করে। সাধারণভাবে এসভিএমগুলি ভাল কারণ প্রশিক্ষণ অ্যালগরিদম দক্ষ, এবং এটিতে একটি নিয়মিতকরণ প্যারামিটার রয়েছে, যা আপনাকে নিয়মিতকরণ এবং অতিরিক্ত-ফিটিং সম্পর্কে ভাবতে বাধ্য করে। তবে, এমন ডেটাসেট রয়েছে যেখানে এমএলপিগুলি এসভিএমগুলির তুলনায় অনেক ভাল পারফরম্যান্স দেয় (কার্নেল ফাংশন দ্বারা এটি পূর্ব-নির্দিষ্ট করার পরিবর্তে তাদের নিজস্ব অভ্যন্তরীণ প্রতিনিধিত্ব সিদ্ধান্ত নেওয়ার অনুমতি দেওয়া হয়)। এমএলপি (যেমন নেটলব) এর একটি ভাল বাস্তবায়ন এবং নিয়মিতকরণ বা প্রারম্ভিক স্টপিং বা আর্কিটেকচার নির্বাচন (বা আরও ভাল এখনও তিনটি) প্রায়শই খুব ভাল ফলাফল দিতে পারে এবং পুনরায় উত্পাদনযোগ্য হতে পারে (কমপক্ষে পারফরম্যান্সের ক্ষেত্রে)।

মডেল নির্বাচন এসভিএমগুলির ক্ষেত্রে প্রধান সমস্যা, কার্নেলটি বেছে নেওয়ার এবং কার্নেলকে নিয়মিতকরণ এবং নিয়মিতকরণের পরামিতিগুলি প্রায়শই মারাত্মক ওভার-ফিটনেস হতে পারে যদি আপনি মডেল নির্বাচনের মানদণ্ডকে অতি-অনুকূল করে তোলেন। যদিও এসভিএম-এর নীচে পিন করা তত্ত্বটি একটি স্বাচ্ছন্দ্য, তবে বেশিরভাগটি কেবলমাত্র একটি নির্দিষ্ট কার্নেলের জন্য প্রযোজ্য, তাই আপনি কার্নেল পরামিতিগুলি অপ্টিমাইজ করার চেষ্টা করার সাথে সাথে এটি আর প্রযোজ্য হবে না (উদাহরণস্বরূপ কার্নেলের সুরের ক্ষেত্রে অপ্টিমাইজেশন সমস্যাটি সমাধান করা হবে) সাধারণত নন-উত্তল এবং স্থানীয় মিনিমা থাকতে পারে)।

— ডিকরান মার্সুপিয়াল
সূত্র

7

আমি এর সাথে পুরোপুরি একমত আমি বর্তমানে ব্রেইন-কম্পিউটার ইন্টারফেস ডেটা সম্পর্কে এসভিএম এবং এএনএন প্রশিক্ষণ দিচ্ছি এবং এমন কিছু ডেটা সেট রয়েছে যেখানে এসভিএম আরও ভাল এবং কিছু ডেটা সেট যেখানে এএনএন আরও ভাল। মজার বিষয় হ'ল: আমি যখন ব্যবহার করছি সমস্ত ডেটা সেটের উপর পারফরম্যান্স গড় করি তখন এসভিএম এবং এএনএন ঠিক একই পারফরম্যান্সে পৌঁছায়। অবশ্যই, এটি একটি প্রমাণ নয়। এটি কেবল একটি উপাখ্যান। :)

— আলফা

27

আমি আমার মতামতটি ব্যাখ্যা করার চেষ্টা করব যা আমার বেশিরভাগ বন্ধুরা ভাগ করে নিয়েছে বলে মনে হয়েছিল। এনএন সম্পর্কে আমার নিম্নোক্ত উদ্বেগগুলি রয়েছে যা এসভিএম সম্পর্কে মোটেই নয়:

একটি ক্লাসিক এনএন-তে, পরামিতিগুলির পরিমাণ প্রচুর পরিমাণে। ধরা যাক আপনার 100 দৈর্ঘ্যের ভেক্টর রয়েছে যা আপনি দুটি শ্রেণিতে শ্রেণিবদ্ধ করতে চান। ইনপুট স্তর হিসাবে একই আকারের একটি লুকানো স্তর আপনাকে আরও 100000 ফ্রি প্যারামিটারে নিয়ে যাবে to আপনি কীভাবে খারাপভাবে উপকৃত হতে পারেন তা কল্পনা করুন (এ জাতীয় জায়গায় স্থানীয় সর্বনিম্নে পড়ে যাওয়া কতটা সহজ), এবং এটি রোধ করার জন্য আপনার কতগুলি প্রশিক্ষণের প্রয়োজন হবে (এবং তখন আপনাকে প্রশিক্ষণের জন্য কতটা সময় প্রয়োজন হবে)।
এক নজরে টপোলজি বাছাই করার জন্য আপনাকে সত্যিকারের বিশেষজ্ঞ হতে হবে। এর অর্থ হ'ল আপনি যদি ভাল ফলাফল পেতে চান তবে আপনার প্রচুর পরীক্ষা-নিরীক্ষা করা উচিত। এজন্য এসভিএম ব্যবহার করা এবং বলা সহজ যে আপনি এনএন এর সাথে অনুরূপ ফলাফল পেতে পারেন নি।
সাধারণত এনএন ফলাফল পুনরায় উত্পাদনযোগ্য হয় না। এমনকি আপনি দুবার আপনার এনএন প্রশিক্ষণ চালালেও, সম্ভবত আপনি শেখার অ্যালগরিদমের এলোমেলোতার কারণে বিভিন্ন ফলাফল পাবেন।
সাধারণত আপনার কাছে ফলাফলগুলির কোনও ব্যাখ্যা নেই। এটি একটি ছোট উদ্বেগ, তবে যাইহোক।

এর অর্থ এই নয় যে আপনার এনএন ব্যবহার করা উচিত নয়, আপনার এটি কেবল সাবধানতার সাথে ব্যবহার করা উচিত। উদাহরণস্বরূপ, কনভলিউশনাল এনএন ইমেজ প্রসেসিংয়ের জন্য অত্যন্ত ভাল হতে পারে, অন্যান্য ডিপ এনএন অন্যান্য সমস্যার জন্যও ভাল প্রমাণিত।

আশা করি এটি সাহায্য করবে।

— দিমিত্রি ল্যাপটভ
সূত্র

2

এএনএন ফলাফলগুলি পুনরায় উত্পাদনযোগ্য করে তোলার জন্য, এলোমেলো ক্রিয়াটি বীজ করুন।

— ফ্রাঙ্ক ডারননকোর্ট

@ ফ্রাঙ্ক এটি বাস্তব প্রজননযোগ্যতা নয়।

— বিস্ময়কর

17

আমি বেশিরভাগ সমস্যার জন্য নিউরাল নেটওয়ার্ক ব্যবহার করছি। মুল বক্তব্যটি হ'ল এটি বেশিরভাগ ক্ষেত্রেই মডেল সম্পর্কে ব্যবহারকারীর অভিজ্ঞতা সম্পর্কে বেশি। আমি এনএনএস কেন পছন্দ করি তার কয়েকটি কারণ এখানে।

তারা নমনীয় হয়। আমি তাদের যে যা ক্ষতি চাই তা ফেলে দিতে পারি: কব্জি ক্ষতি, স্কোয়ার্ড, ক্রস এন্ট্রপি, আপনি নাম দিন। যতক্ষণ না এটি পার্থক্যযোগ্য, আমি এমনকি এমন একটি ক্ষতিও ডিজাইন করতে পারি যা আমার প্রয়োজনগুলির সাথে ঠিক ফিট করে।
তাদের সম্ভাব্য হিসাবে চিকিত্সা করা যেতে পারে: বায়েশিয়ান নিউরাল নেটওয়ার্কগুলি, ভেরিয়েশনাল বেয়েস, এমএলই / এমএপি, সবকিছু রয়েছে। (তবে কিছু ক্ষেত্রে আরও কঠিন difficult)
তারা দ্রুত। বেশিরভাগ এমএলপিগুলি দুটি ম্যাট্রিক্স গুণ এবং এর মধ্যে একটি অরেখার প্রয়োগযোগ্য উপাদান হবে। এটি একটি এসভিএম দিয়ে মারুন।

আমি আপনার অন্যান্য পয়েন্টগুলি ধাপে ধাপে এগিয়ে যাব।

একটি শক্তিশালী প্রতিষ্ঠাতা তত্ত্ব আছে

আমি বলব, এনএনগুলি সেক্ষেত্রে সমানভাবে শক্তিশালী: যেহেতু আপনি তাদের সম্ভাব্য কাঠামোর প্রশিক্ষণ দিন। এটি প্রিরিরদের ব্যবহার এবং একটি বয়েসিয়ান চিকিত্সা (যেমন বৈকল্পিক কৌশল বা অনুমান সহ) সম্ভব করে তোলে।

চতুর্ভুজ প্রোগ্রামিংয়ের কারণে গ্লোবাল সর্বোত্তম পৌঁছান

হাইপারপ্যারামিটার এক সেট জন্য। তবে, ভাল এইচপিএসের অনুসন্ধানটি উত্তল নয় এবং আপনি বৈশ্বিক অনুকূলটিও খুঁজে পেয়েছেন কিনা তা আপনি জানতে পারবেন না।

সঠিক সংখ্যক পরামিতি বেছে নেওয়ার জন্য কোনও সমস্যা নেই

এসভিএমগুলি সহ, আপনাকে হাইপার পরামিতিগুলিও নির্বাচন করতে হবে।

ভবিষ্যদ্বাণীপূর্ণ মডেলটি সঞ্চয় করতে কম স্মৃতি দরকার

আপনাকে সমর্থন ভেক্টরগুলি সঞ্চয় করতে হবে। এসভিএমগুলি সাধারণত এমএলপি সঞ্চয় করার জন্য সস্তা হবে না, এটি ক্ষেত্রে নির্ভর করে।

আরও পঠনযোগ্য ফলাফল এবং জ্যামিতিক ব্যাখ্যা প্রদান করুন

কোনও এমএলপির উপরের স্তরটি শ্রেণিবিন্যাসের ক্ষেত্রে একটি লজিস্টিক রিগ্রেশন। সুতরাং, একটি জ্যামিতিক ব্যাখ্যা (হাইপার প্লেন পৃথক করে) এবং পাশাপাশি একটি সম্ভাব্য ব্যাখ্যা রয়েছে।

— bayerj
সূত্র

আমাকে কেন ভেক্টরগুলি সঞ্চয় করার দরকার? এসভিএমের হাইপারপ্লেন / মার্টিং সঞ্চয় করার পক্ষে কি যথেষ্ট নয়?

— জুলিয়ান

কারণ হাইপার প্লেনটি সমর্থন ভেক্টরগুলির মাধ্যমে প্রতিনিধিত্ব করা হয়। এটি থেকে একটি নতুন পয়েন্টের দূরত্ব গণনা করতে, আপনি সেগুলির উপরে পুনরাবৃত্তি করবেন।

— বায়ারজ

0

কিছু উপায়ে এই দুটি বিস্তৃত বিভাগের মেশিন লার্নিং কৌশল সম্পর্কিত। নিখুঁত না হলেও, এই কৌশলগুলির মধ্যে সাদৃশ্যগুলি দেখানোর জন্য আমি দুটি পেপারকে সহায়ক বলে মনে করেছি

রোনান কল্লোবার্ট এবং সামি বেনজিও। 2004. উপলব্ধিকারী, এমএলপি এবং এসভিএমগুলির মধ্যে লিঙ্ক মেশিন লার্নিংয়ের একবিংশ আন্তর্জাতিক সম্মেলনের কার্যক্রম (আইসিএমএল '04)। এসিএম, নিউ ইয়র্ক, এনওয়াই, মার্কিন যুক্তরাষ্ট্র, 23-। ডিওআই: https://doi.org/10.1145/1015330.1015415

এবং

আন্দ্রেস, পিটার (2002)। সমর্থন ভেক্টর মেশিন ও নিয়মিতকরণ নিউরাল নেটওয়ার্কগুলির সমতুল্যতা। নিউরাল প্রসেসিং লেটারস 15. 97-104। 10,1023 / এ: 1015292818897।

— পল
সূত্র