সমর্থন ভেক্টর মেশিনগুলির মাধ্যমে কৃত্রিম নিউরাল নেটওয়ার্কগুলির সুবিধা কী কী? [বন্ধ]

Question

এএনএন (কৃত্রিম নিউরাল নেটওয়ার্ক) এবং এসভিএম (সমর্থন ভেক্টর মেশিন) তদারকি করা মেশিন লার্নিং এবং শ্রেণিবিন্যাসের জন্য দুটি জনপ্রিয় কৌশল। কোনও প্রকল্পের জন্য কোন পদ্ধতিটি আরও ভাল তা প্রায়শই পরিষ্কার হয় না এবং আমি নিশ্চিত যে উত্তরটি সর্বদা "এটি নির্ভর করে"। প্রায়শই, বায়েশিয়ান শ্রেণিবিন্যাসের সাথে উভয়ের সংমিশ্রণ ব্যবহৃত হয়।

স্ট্যাকওভারফ্লোতে এই প্রশ্নগুলি ইতিমধ্যে এএনএন বনাম এসভিএম সম্পর্কিত জিজ্ঞাসা করা হয়েছে:

এএনএন এবং এসভিএম শ্রেণিবদ্ধকরণ

আমার শ্রেণিবিন্যাস প্রশ্নে এএনএন, এসভিএম এবং কেএনএন এর মধ্যে তফাত কী

পাঠ্য প্রক্রিয়াকরণের জন্য ভেক্টর মেশিন বা কৃত্রিম নিউরাল নেটওয়ার্ক সমর্থন করবেন?

এই প্রশ্নে, আমি বিশেষত জানতে চাই যে কোনও এএনএন (বিশেষত, একটি মাল্টিলেয়ার পারসেপ্ট্রন) এর কোন দিকগুলি এসভিএমের মাধ্যমে এটি ব্যবহারযোগ্য করে তোলে? আমি জিজ্ঞাসার কারণটি হ'ল বিপরীত প্রশ্নের উত্তর দেওয়া সহজ : সাপোর্ট ভেক্টর মেশিনগুলি প্রায়শই এএনএন এর চেয়ে উচ্চতর হয় কারণ তারা এএনএনগুলির দুটি বড় দুর্বলতা এড়িয়ে চলে:

(১) এএনএন প্রায়শই স্থানীয় মিনিমার পরিবর্তে স্থানীয় মিনিমায় রূপান্তর করে , এর অর্থ তারা কখনও কখনও "বড় ছবিটি মিস করে" বা (গাছের জন্য বন মিস করে) থাকে that

(২) প্রশিক্ষণ খুব বেশি দিন চলতে থাকলে এএনএন প্রায়শই উপকার পায় , অর্থাত কোনও প্রদত্ত প্যাটার্নের জন্য, কোনও এএনএন শব্দটিকে প্যাটার্নের অংশ হিসাবে বিবেচনা করা শুরু করতে পারে।

এসভিএমগুলি এই দুটি সমস্যার কোনওটিতেই ভুগছে না। তবে এটি সহজেই স্পষ্ট নয় যে এসভিএমগুলি হ'ল এএনএনগুলির সম্পূর্ণ প্রতিস্থাপন। সুতরাং কোনও এএনএন এর কোনও এসভিএমের সাথে কোন নির্দিষ্ট সুবিধা (গুলি) রাখে যা এটি নির্দিষ্ট পরিস্থিতিতে প্রয়োগ করতে পারে? আমি কোনও এএনএন এর মাধ্যমে এসভিএমের সুনির্দিষ্ট সুবিধাগুলি তালিকাভুক্ত করেছি , এখন আমি এএনএন সুবিধাগুলির একটি তালিকা দেখতে চাই (যদি থাকে)।

Comments

দুর্ভাগ্যক্রমে এটি সম্ভবত বন্ধ হয়ে যাবে বা শীঘ্রই সরানো হবে তবে আমি প্রশ্নটি একেবারেই পছন্দ করি। আমি এটার অনেক চিন্তাশীল উত্তর দেখার চেয়ে ভাল আর কিছু চাই না।

— ডাফাইমো

আমি ধারণা করি এই প্রশ্নের বেশিরভাগ উত্তর অনুমানমূলক বা প্রমাণের ভিত্তিতে হবে কারণ এই মেশিনগুলির শক্তির উপর খুব কম তাত্ত্বিক গ্যারান্টি রয়েছে। উদাহরণস্বরূপ (যদি আমি সঠিকভাবে স্মরণ করি), এটি কোনও অ-লেয়ার ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্ক 2-স্তর নেটওয়ার্কের চেয়ে বেশি শক্তিশালী কিনা তা অজানা। সুতরাং আমরা কীভাবে বলতে পারি যে আমরা একই মডেলের সামান্য পরিবর্তনের মধ্যে সম্পর্কগুলি বুঝতে না পারলে নীতিগতভাবে অন্যটির তুলনায় একজনের চেয়ে আরও ভাল?

— জেরেমিকুন

এটি খুব গঠনমূলক না হওয়ার জন্য বন্ধ হয়ে গেছে ... লোল!

— erogol

আমি পছন্দ করি যে স্ট্যাক ওভারফ্লো প্রশ্ন এবং উত্তরগুলির গুণমানকে উচ্চ করে রাখার চেষ্টা করে। আমি ঘৃণা করি যে স্ট্যাকওভারফ্লো এটিকে একটি স্ক্যাল্পেলের পরিবর্তে একটি কুড়াল দিয়ে কার্যকর করে। "আমি কীভাবে এইচটিএমএল স্টাফ করব?" জিজ্ঞাসার মধ্যে পার্থক্য রয়েছে এবং একটি ডোমেন-নির্দিষ্ট প্রশ্ন যা অন্য কোথাও উত্তর খুঁজে পাওয়া কঠিন। এটির 140 টিরও বেশি কারণ থাকার কারণ রয়েছে - তবে এটি "গঠনমূলক নয়" হিসাবে বিবেচিত। ভালো প্রশ্ন আছে সংক্ষিপ্তসার গঠনমূলক করুন। অবশ্যই আমি প্রতিদিন যতগুলি দেখতে পাই তার চেয়ে অনেক বেশি যে সুনির্দিষ্টভাবে প্রশ্নোত্তর বিন্যাসে পড়ে যায় তবে তবুও প্রায় প্রত্যেকের কাছেই এটি অনর্থক এবং প্রশ্নকারী।

— চেজ রেস

এটি অবশ্যই গঠনমূলক। কেন এটি বন্ধ থাকবে তা আমি বুঝতে পারি না। এটি নির্দিষ্ট পরিস্থিতিতে জিজ্ঞাসা করছে যেখানে বিকল্প অ্যালগরিদম ব্যবহারের ক্ষেত্রে একটি অ্যালগরিদম ব্যবহারের সুবিধা রয়েছে। এটা কি জিজ্ঞাসা করা যুক্তিসঙ্গত জিনিস নয়?

— র্যাবের

Answer 1

আপনি যে উদাহরণ সরবরাহ করেছেন তা বিচার করে আমি ধরে নিচ্ছি যে এএনএন দ্বারা আপনার বোঝানো মাল্টিলেয়ার ফিড-ফরোয়ার্ড নেটওয়ার্কগুলি (সংক্ষেপে এফএফ নেট) যেমন মাল্টিলেয়ার পারসেপ্ট্রন, কারণ সেগুলি এসভিএমগুলির সাথে সরাসরি প্রতিযোগিতায় রয়েছে।

এই মডেলগুলির এসভিএমগুলির ওপরে একটি নির্দিষ্ট সুবিধা রয়েছে যেগুলি তাদের আকারটি স্থির করে: তারা প্যারামেট্রিক মডেল, যখন এসভিএমগুলি নন-প্যারামেট্রিক। এটি হ'ল, একটি এএনএন-তে আপনি এইচ _{এন এর} মাধ্যমে মাপের h _{1 এর} সাথে একগুচ্ছ গোপন স্তর রাখবেনবৈশিষ্ট্যগুলির সংখ্যার উপর ভিত্তি করে, পক্ষপাতদুষ্ট প্যারামিটারগুলি এবং সেগুলি আপনার মডেল তৈরি করে। এর বিপরীতে, একটি এসভিএম (কমপক্ষে একটি কার্নেলাইজড) প্রতিটিতে ওজন সহ প্রশিক্ষণ সেট থেকে নির্বাচিত সমর্থন ভেক্টরগুলির একটি সেট থাকে। সবচেয়ে খারাপ ক্ষেত্রে, সমর্থন ভেক্টরগুলির সংখ্যা হুবহু প্রশিক্ষণের নমুনার সংখ্যা (যদিও এটি মূলত ছোট প্রশিক্ষণ সেটগুলির সাথে বা অধঃপতিত ক্ষেত্রে দেখা যায়) এবং সাধারণভাবে এটির মডেল আকারের আকারটি লাইনগতভাবে হয়। প্রাকৃতিক ভাষা প্রক্রিয়াকরণে, কয়েক হাজার সমর্থনকারী ভেক্টর সহ এসভিএম শ্রেণিবদ্ধ, যার প্রত্যেকটিতে কয়েক হাজার বৈশিষ্ট্য রয়েছে, শুনা যায় না।

এছাড়াও, অনলাইন এসভিএম ফিটিংয়ের তুলনায় এফএফ নেটগুলির অনলাইন প্রশিক্ষণ খুব সহজ, এবং ভবিষ্যদ্বাণী করা কিছুটা দ্রুত হতে পারে।

সম্পাদনা : উপরের সমস্তগুলি কার্নেলাইজড এসভিএমগুলির সাধারণ ক্ষেত্রে সম্পর্কিত। লিনিয়ার SVM একটি বিশেষ ক্ষেত্রে যে তারা হয় স্থিতিমাপ এবং এই ধরনের সম্ভাব্যতার সূত্রাবলি গ্রেডিয়েন্ট বংশদ্ভুত হিসাবে সহজ আলগোরিদিম সঙ্গে অনলাইন লার্নিং অনুমতি দেয়।

Comments

এই কাগজটিতে আরও একটি কারণ পাওয়া যাবে: yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf । সংক্ষেপে, লেখক বলেছেন যে "গভীর আর্কিটেকচার" "বুদ্ধিমান" আচরণ / ফাংশন ইত্যাদিকে এসভিএমগুলির মতো "অগভীর আর্কিটেকচার" এর চেয়ে আরও দক্ষতার সাথে প্রতিনিধিত্ব করতে পারে।

— আলফা

একদিকে যেমন গভীর শিক্ষণ এখানে এমএলপি (নির্দিষ্ট আকার, সহজ প্রশিক্ষণ) এর জন্য দেওয়া "সুবিধাগুলি" হারায়। যদিও আমি নিশ্চিত না যে এই সুবিধার জন্য এটি মূল্যবান।

— মুহাম্মদ আলকারৌরি

@ মুহাম্মাদ আলকারৌরি: গভীর শিক্ষণ কৌশলগুলি একটি বিস্তৃত বিস্তৃত সেট, তবে আমি যেগুলির সাথে পরিচিত সেগুলি মডেলগুলির প্যারামেট্রিক (স্থির আকার) হওয়ার সুবিধা বজায় রাখে।

— ফ্রেড ফু

দুটি মন্তব্য: অনলাইন ট্রেনিং পয়েন্টটি সত্য, তবে বিশেষত অনলাইন শিক্ষার জন্য ডিজাইন করা এসভিএম-জাতীয় শ্রেণিবদ্ধের একটি বৈকল্পিক রয়েছে, তাকে এমআইআরএ (এক ধরণের প্যাসিভ-আক্রমনাত্মক শ্রেণিবদ্ধ) বলা হয় যার জন্য আপডেটগুলি তুচ্ছ। দ্বিতীয়ত, এটি উল্লেখ করার মতো যে অনেকগুলি নিউরাল জালকে কার্নেল ট্রিকের মাধ্যমে এসভিএম হিসাবে সূচনা করা যেতে পারে।

— বেন অ্যালিসন

@ ফ্রেডফুও এএনএন স্থানীয় মিনিমাতে আটকে যেতে পারে যেখানে সমর্থন ভেক্টর মেশিনরা এই সমস্যাটি প্রবণ করে না।

— পর্যটক

Answer 2

সমর্থন ভেক্টর মেশিনগুলির মাধ্যমে কৃত্রিম নিউরাল নেটওয়ার্কগুলির একটি সুস্পষ্ট সুবিধা হ'ল কৃত্রিম নিউরাল নেটওয়ার্কগুলির যে কোনও সংখ্যক আউটপুট থাকতে পারে, অন্যদিকে সমর্থন ভেক্টর মেশিনগুলির কেবল একটি রয়েছে। সাপোর্ট ভেক্টর মেশিনের সাহায্যে এন-অ্যারি শ্রেণিবদ্ধকারী তৈরির সর্বাধিক প্রত্যক্ষ উপায় হ'ল এন সাপোর্ট ভেক্টর মেশিন তৈরি করা এবং তাদের প্রত্যেককে একটি করে প্রশিক্ষণ দেওয়া। অন্যদিকে, নিউরাল নেটওয়ার্কগুলির সাথে একটি এন-অ্যারি শ্রেণিবদ্ধকারীকে একযোগে প্রশিক্ষণ দেওয়া যেতে পারে। অতিরিক্তভাবে, নিউরাল নেটওয়ার্কটি আরও বোধগম্য হবে কারণ এটি সম্পূর্ণরূপে, অন্যদিকে সমর্থন ভেক্টর মেশিনগুলি বিচ্ছিন্ন সিস্টেম। ফলাফলগুলি আন্তঃসম্পর্কিত হলে এটি বিশেষত কার্যকর useful

উদাহরণস্বরূপ, যদি লক্ষ্যটি হস্ত-লিখিত অঙ্কগুলিকে শ্রেণিবদ্ধ করা হয় তবে দশটি সমর্থন ভেক্টর মেশিন করত। প্রতিটি সমর্থন ভেক্টর মেশিন হুবহু একটি ডিজিট চিনতে পারে এবং অন্য সমস্তকে সনাক্ত করতে ব্যর্থ হয়। যেহেতু প্রতিটি হস্তাক্ষর ডিজিট কেবল তার শ্রেণীর চেয়ে বেশি তথ্য ধারণ করে বোঝানো যায় না, তাই এটি কৃত্রিম নিউরাল নেটওয়ার্ক দিয়ে সমাধান করার চেষ্টা করার কোনও মানে হয় না।

তবে, ধরা যাক লক্ষ্যটি হ'ল একজন ব্যক্তির হরমোন ভারসাম্য (বেশ কয়েকটি হরমোনের জন্য) যেমন শেষ খাবার, হার্ট রেট ইত্যাদির মতো সময় হিসাবে সহজে পরিমাপ করা শারীরবৃত্তীয় কারণগুলির কার্যকারিতা হিসাবে ... এই কারণগুলি সমস্ত আন্তঃসম্পর্কিত, কৃত্রিম নিউরাল নেটওয়ার্ক রিগ্রেশন ভেক্টর মেশিন রিগ্রেশনকে সমর্থন করার চেয়ে বেশি বোঝায়।

Comments

প্রকৃতপক্ষে, সমর্থন ভেক্টর মেশিনের সত্যিকারের মাল্টিক্লাস সূত্র রয়েছে (ক্র্যামার এবং সিঙ্গারের কাগজপত্র দেখুন)। আমি বিশ্বাস করি যে LibSVM এগুলির একটি বাস্তবায়ন রয়েছে।

— ফ্রেড ফু

তবে একটি মাল্টিক্লাস এসভিএম প্রশিক্ষণ এত সহজ নয় এবং এভিএ পদ্ধতির চেয়ে ওভিএতে পারফরম্যান্স আরও ভাল বলে মনে হচ্ছে।

— ক্রড্রিগেজো

"কৃত্রিম নিউরাল নেটওয়ার্ক দিয়ে এটি সমাধান করার চেষ্টা করার কোনও মানে নেই" আপনি হস্তাক্ষর সংখ্যার শ্রেণিবিন্যাস সমাধান করতে স্নায়বিক নেটওয়ার্ক ব্যবহার করতে পারেন। আমি ক্লাসের জন্য এইচডাব্লু অ্যাসাইনমেন্ট হিসাবে এটি করেছি। আউটপুট স্তরটিতে সমস্ত অঙ্কের সম্ভাবনা থাকে। সর্বাধিক সম্ভাবনাযুক্ত শ্রেণিটি অনুমান হিসাবে ব্যবহৃত হয়। আমার কাছে 94% নির্ভুলতার হার ছিল।

— ব্যবহারকারী 3266824

আপনার অর্থ এন আউটপুট তৈরি করতে এন এন ব্যবহার করে বনাম 1 বনাম এন -1 এসভিএম শ্রেণিবদ্ধের সংখ্যা তৈরি করুন। এসভিএম এইভাবে ধীর বলে মনে হচ্ছে?

— mskw

@ ইউজার 3266824 হ্যাঁ, এই উক্তিটি খুব ভাল হয়নি age

— চালিতডসরুণ

Answer 3

একটি বিষয় লক্ষণীয় যে দুটি আসলে খুব সম্পর্কিত। লিনিয়ার এসভিএমগুলি সিঙ্গল লেয়ার এনএন এর সমতুল্য (অর্থাত্ পেরসেপ্টরন) এবং মাল্টি-লেয়ার এনএনগুলি এসভিএমগুলির ক্ষেত্রে প্রকাশ করা যেতে পারে। কিছু বিশদ জন্য এখানে দেখুন ।

Answer 4

আপনি যদি কার্নেল এসভিএম ব্যবহার করতে চান তবে আপনাকে কার্নেলটি অনুমান করতে হবে। তবে, এএনএনগুলি সর্বজনীন আনুমানিক যা কেবল অনুমান করেই করা হয় প্রস্থ (আনুমানিক নির্ভুলতা) এবং উচ্চতা (আনুমানিক দক্ষতা)। আপনি যদি অপ্টিমাইজেশনের সমস্যাটি সঠিকভাবে ডিজাইন করেন তবে আপনি অতিরিক্ত ফিট করবেন না (দয়া করে ওভার-ফিটিংয়ের জন্য গ্রন্থপঞ্জি দেখুন)। এটি প্রশিক্ষণের উদাহরণগুলির উপরও নির্ভর করে যদি তারা অনুসন্ধানের স্থানটি সঠিক এবং অভিন্নভাবে স্ক্যান করে। প্রস্থ এবং গভীরতা আবিষ্কার ইন্টিজার প্রোগ্রামিংয়ের বিষয়।

ধরুন আপনি f (।) এবং সীমাবদ্ধ I = [0,1] এ সার্বজনীন আনুষাঙ্গিককে আবার সীমাবদ্ধ রেখেছেন I = [0,1] উদাহরণস্বরূপ যা কমপ্যাক্ট সমর্থন ইউ (।, ক) এর আসল ক্রম দ্বারা প্যারাম্যাট্রাইজড সম্পত্তি যে ক্রম একটি ক্রম বিদ্যমান

lim sup { |f(x) - U(x,a(k) ) | : x } =0

এবং আপনি (x,y)ডিস্ট্রিবিউশন ডি দিয়ে উদাহরণ এবং পরীক্ষা আঁকেন IxI।

একটি নির্ধারিত সহায়তার জন্য, আপনি যা করেন তা হ'ল এটির সেরা একটি সন্ধান করা

sum {  ( y(l) - U(x(l),a) )^{2} | : 1<=l<=N } is minimal

যাক এটি a=aaএলোমেলো পরিবর্তনশীল! ওভার-ফিটিংটি তখন

গড় ব্যবহার D and D^{N} of ( y - U(x,aa) )^{2}

আমাকে ব্যাখ্যা করতে দাও কেন, যদি আপনি এমনটি নির্বাচন করেন aaযে ত্রুটিটি হ্রাস করা হয়েছে তবে একটি বিরল মানের মানগুলির জন্য আপনার উপযুক্ত। যাইহোক, এগুলি বিরল হওয়ার কারণে গড়টি কখনই 0 হয় না You যদিও আপনি ডি এর সাথে একটি স্বতন্ত্র সান্নিধ্য পেয়েছেন তবে আপনি দ্বিতীয়টি হ্রাস করতে চান এবং মনে রাখবেন যে সমর্থন দৈর্ঘ্যটি নিখরচায় is

Answer 5

একটি উত্তর আমি এখানে নিখোঁজ করছি: মাল্টি-লেয়ার পার্সেপ্ট্রন বৈশিষ্ট্যগুলির মধ্যে সম্পর্ক খুঁজে পেতে সক্ষম। উদাহরণস্বরূপ কম্পিউটারের দর্শনে এটি প্রয়োজনীয় যখন লার্নিং অ্যালগরিদমে কোনও কাঁচা চিত্র সরবরাহ করা হয় এবং এখন পরিশীলিত বৈশিষ্ট্য গণনা করা হয়। মূলত মধ্যবর্তী স্তরগুলি নতুন অজানা বৈশিষ্ট্য গণনা করতে পারে।

Answer 6

আমাদের এও বিবেচনা করা উচিত যে এসভিএম সিস্টেমটি নন-মেট্রিক স্পেসে যেমন লেবেলযুক্ত গ্রাফ বা স্ট্রিংয়ের সেট হিসাবে প্রয়োগ করা যেতে পারে । প্রকৃতপক্ষে, অভ্যন্তরীণ কার্নেল ফাংশনটি কার্যত যে কোনও ধরণের ইনপুটটিতে সঠিকভাবে সাধারণীকরণ করা যেতে পারে, তবে শর্ত থাকে যে কার্নেলের ইতিবাচক সুনির্দিষ্ট প্রয়োজনীয়তা সন্তুষ্ট থাকে। অন্যদিকে, লেবেলযুক্ত গ্রাফের সেটগুলিতে একটি এএনএন ব্যবহার করতে সক্ষম হতে, স্পষ্টত এম্বেডিং পদ্ধতি বিবেচনা করতে হবে।

Comments

আমার মনে, একটি বুদ্ধিমান কার্নেল নির্মাণ এবং একটি বুদ্ধিমান মেট্রিক এম্বেডিং নির্মাণ সমান সমস্যাযুক্ত। সুতরাং এটি কেবলমাত্র একটি মন্তব্য যে মেট্রিকের চেয়ে আরও বিভিন্ন ধরণের কার্নেল থাকতে পারে, তবে আমি এটি সত্যিই কিনছি না। অহলি.ডে

— ডাউনলোড /