নিউরাল নেটওয়ার্ক বনাম মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন?


54

দেখে মনে হয় যে কিছু ক্ষেত্রে মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন সহ নিউরাল নেটওয়ার্কের সাথে একই রকম ফলাফল পাওয়া সম্ভব এবং মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন অত্যন্ত দ্রুত এবং সহজ।

কোন পরিস্থিতিতে নিউরাল নেটওয়ার্কগুলি মাল্টিভারিয়েট লিনিয়ার রিগ্রেশনের চেয়ে ভাল ফলাফল দিতে পারে?

উত্তর:


28

নিউরাল নেটওয়ার্কগুলি নীতিগতভাবে ননলাইনারিটি মডেল করতে পারে স্বয়ংক্রিয়ভাবে ( সর্বজনীন আনুমানিক উপপাদ্যটি দেখুন ), যা আপনাকে রৈখিক প্রতিরোধে রূপান্তর (স্প্লিংস ইত্যাদি) ব্যবহার করে স্পষ্টভাবে মডেল করতে হবে।

সতর্কতামূলক: অতিরিক্ত মানিয়ে নেওয়ার প্রলোভন রিগ্রেশনের চেয়ে নিউরাল নেটওয়ার্কগুলিতে (এমনকি) আরও শক্তিশালী হতে পারে, যেহেতু লুকানো স্তর বা নিউরন যুক্ত করা নিরীহ দেখাচ্ছে। সুতরাং নমুনা বহির্ভূত পূর্বাভাস কর্মক্ষমতা দেখার জন্য অতিরিক্ত সতর্কতা অবলম্বন করুন।


ঠিক আছে. আমার মনে হয় আমার মনে একটি প্রশ্ন, আমি আমার ইনপুট ডেটাটিকে চতুর্ভুজ এবং ঘনক পদ দিয়ে বাড়িয়ে একই পরিমাণে কতটা প্রতিলিপি করতে পারি?
হিউ পারকিনস

3
প্রকৃতপক্ষে, আপনি সম্ভবত যথাযথ রূপান্তরিত রেজিস্ট্রারগুলির সাথে যথাযথ রূপান্তরিত রেজিস্ট্রারগুলির সাথে আপনার কাছাকাছি নিকটবর্তী হতে পারেন (এবং বিপরীতে)। চতুর্ভুজ এবং ঘনক্ষেত্রের চেয়ে আরও ভাল অনুশীলন স্প্লাইং, যদিও - আমি আন্তরিকভাবে হ্যারেলের পাঠ্যপুস্তক "রিগ্রেশন মডেলিং কৌশলগুলি" সুপারিশ করি।
এস। কোলাসা - মনিকা

ঠিক আছে. ট্রান্সফর্মড ডেটাতে রৈখিক প্রতিরোধের জন্য প্রশিক্ষণের সময়টি দ্রুততর হবে বা প্রশিক্ষণের সময়গুলিও প্রায় সমান হবে? রুপান্তরিত ডেটাতে রৈখিক প্রতিরোধের সমাধানের ক্ষেত্রে কী একক বৈশ্বিক সর্বাধিক পরিমাণ থাকবে, নাকি নিউরাল নেটওয়ার্কগুলির মতো এটিতে স্থানীয় নূন্যতম প্রচুর পরিমাণ থাকবে? (সম্পাদনা করুন: আমি অনুমান করি কীভাবে ইনপুটগুলি রুপান্তরিত হয়, লিনিয়ার রিগ্রেশনটির সমাধান হ'ল ডিজাইন ম্যাট্রিক্সের কেবলমাত্র ছদ্ম ক্ষেত্র যা কোনও কিছুর দ্বারা গুণিত হয় এবং তাই সর্বদা অনন্য বা একক হয়?)
হিউ পার্কিনস

2
প্রশিক্ষণের সময় অবশ্যই ইনপুট মাত্রার উপর নির্ভর করবে (কয়েকটি / অনেক পর্যবেক্ষণ, কয়েকটি / বহু ভবিষ্যদ্বাণীকারী)। লিনিয়ার রিগ্রেশন একটি একক (সিউডো-) অন্তর্নিহিত (হ্যাঁ, স্বতন্ত্রতা / এককতা এমনকি রূপান্তরিত রেজিস্ট্রারদের ধারণ করে) জড়িত থাকে, যেখানে এনএনগুলি সাধারণত পুনরাবৃত্তি পদ্ধতিতে প্রশিক্ষিত হয়, তবে পুনরাবৃত্তিতে ম্যাট্রিক্স বিপরীকরণ জড়িত না, তাই প্রতিটি পুনরাবৃত্তি দ্রুত হয় - আপনি সাধারণত আপনাকে অতিরিক্ত চাপ দেওয়া থেকে বিরত রাখতে কিছু মানদণ্ডের উপর ভিত্তি করে প্রশিক্ষণ বন্ধ করুন।
এস.কোলাসা - মনিকা

1
@ ইয়ামচা: সর্বজনীন আনুমানিক উপপাদ্য সম্পর্কে আমার ধারণা হ'ল নীতিগত দিকের মাত্রিকতা কোনও বিষয় নয়। (অবশ্যই, এটি একটি অ্যাসিম্পটোটিক ফলাফল I'd আমি আশা করতাম যে এনএনকে সূক্ষ্ম সুরযুক্ত বহুবর্ষীয় রিগ্রেশন থেকে ভাল হওয়ার জন্য আপনার নিকট ভয়ঙ্কর পরিমাণে ডেটা দরকার। ডিপ লার্নিংয়ের মতো শোনানো শুরু হয় ...)
এস। কোলাসা - মনিকা পুনরায় ইনস্টল করুন

16

আপনি লিনিয়ার রিগ্রেশন উল্লেখ করেন। এটি লজিস্টিক রিগ্রেশন সম্পর্কিত , যা একই রকম দ্রুত অপ্টিমাইজেশন অ্যালগরিদমযুক্ত। শ্রেণীবদ্ধকরণের সমস্যা সহ আপনার যদি লক্ষ্য মানগুলির সীমা থাকে তবে আপনি লজিস্টিক রিগ্রেশনকে লিনিয়ার রিগ্রেশনকে সাধারণীকরণ হিসাবে দেখতে পারেন।

নিউরাল নেটওয়ার্কগুলি মূল ইনপুটগুলিতে লজিস্টিক রিগ্রেশনের চেয়ে কঠোরভাবে সাধারণ, যেহেতু লুকানো নোডের সাথে স্কিপ-লেয়ার নেটওয়ার্কের সাথে (সরাসরি আউটপুটগুলির সাথে সরাসরি সংযোগগুলি সংযোগের সাথে) সম্পর্কিত ।0

আপনি যখন মতো বৈশিষ্ট্য যুক্ত করেন , এটি কোনও একক গোপন স্তরের কয়েকটি গোপন নোডের ওজন চয়ন করার অনুরূপ। ঠিক পত্র নেই, যেহেতু সিগময়েড সহ মতো কোনও ফাংশন মডেল করতে একাধিক লুকানো নিউরন নিতে পারে may আপনি যখন নিউরাল নেটওয়ার্ক প্রশিক্ষণ করেন, আপনি এটির নিজের ইনপুট থেকে লুকানো লুকানো ওজন খুঁজে বের করতে দিন, যা আরও ভাল হওয়ার সম্ভাবনা রয়েছে। এটি আরও সময় নিতে পারে এবং এটি বেমানানও হতে পারে। আপনি অতিরিক্ত বৈশিষ্ট্যগুলির সাথে লজিস্টিক রিগ্রেশনের সান্নিধ্যের সাথে শুরু করতে পারেন এবং ইনপুট থেকে লুকানো ওজনকে ধীরে ধীরে প্রশিক্ষণ দিতে পারেন এবং শেষ পর্যন্ত অতিরিক্ত বৈশিষ্ট্যগুলির সাথে লজিস্টিক রিগ্রেশনের চেয়ে এটি আরও ভাল করা উচিত। সমস্যার উপর নির্ভর করে, প্রশিক্ষণের সময়টি নগণ্য বা প্রতিরোধমূলক হতে পারে।x311x3

একটি মধ্যবর্তী কৌশল হ'ল বিপুল সংখ্যক এলোমেলো নোডগুলি বেছে নেওয়া, আপনি যখন নিউরাল নেটওয়ার্ক শুরু করেন তখন এর অনুরূপ, এবং ইনপুট থেকে লুকানো ওজন ঠিক করে। *-থেকে-আউটপুট ওজনের উপর অপ্টিমাইজেশন রৈখিক থাকে। একে চূড়ান্ত লার্নিং মেশিন বলে । এটি কমপক্ষে পাশাপাশি মূল লজিস্টিক রিগ্রেশন হিসাবে কাজ করে।


1
"একটি মধ্যবর্তী কৌশল হ'ল বিপুল সংখ্যক এলোমেলো নোডগুলি বেছে নেওয়া, আপনি যখন নিউরাল নেটওয়ার্ক শুরু করেন তখন এর অনুরূপ, এবং ইনপুট থেকে লুকানো ওজন ঠিক করে দেয় * => আপনি কি বোঝাতে চেয়েছেন যে এই ক্ষেত্রে সমাধানের জন্য একক বিশ্বব্যাপী থাকবে?
হিউ পারকিনস

1
এলোমেলোভাবে লুকানো নোডগুলির জেনারিক এলোমেলো পছন্দের জন্য, হ্যাঁ।
ডগলাস জারে

2
দুর্দান্ত পোস্ট - [এলআর, লগআর, এনএন, ইএলএম] এর প্রসঙ্গ সরবরাহ করে। লগআর স্কিফ-লেয়ার এনএন হওয়া সম্পর্কে আপনার মন্তব্যটি নির্দেশিত হওয়ার পরে সুস্পষ্ট মনে হলেও এটি একটি দুর্দান্ত অন্তর্দৃষ্টি।
জাভাদ্ব্বা

3

লিনিয়ার রিগ্রেশন হ'ল লাইনগতভাবে পৃথকযোগ্য এমন ডেটা পৃথক করে, হ্যাঁ আপনি অতিরিক্ত তৃতীয়> ডিগ্রি বহুবচন ব্যবহার করতে পারেন তবে আপনি সেই ডেটা সম্পর্কে আবার কিছু অনুমানকে নির্দেশ করেছেন যেহেতু আপনি উদ্দেশ্যমূলক ফাংশনটির কাঠামোটি সংজ্ঞায়িত করেছেন। নিউরাল নেট ইন। সাধারণত আপনার কাছে ইনপুট স্তর থাকে যা আপনার কাছে থাকা ডেটার জন্য লিনিয়ার বিভাজক তৈরি করে এবং আড়াল করে আন্ডারস অঞ্চলগুলি যা কিছু শ্রেণি এবং শেষ স্তর ওআর এই সমস্ত অঞ্চলকে সীমাবদ্ধ করে। এই পদ্ধতিতে আপনার কাছে থাকা সমস্ত ডেটা অ রৈখিক উপায়ে শ্রেণিবদ্ধ করাতে সক্ষম, এছাড়াও এই সমস্ত প্রক্রিয়াটি অভ্যন্তরীণভাবে শিখে নেওয়া ওজন এবং সংজ্ঞায়িত ফাংশনগুলির সাথে চলছে। লিনিয়ার রিগ্রেশন এর বৈশিষ্ট্য সংখ্যা বাড়ানো ছাড়াও "মাত্রার শাপ" এর বিরোধী। এছাড়াও কিছু অ্যাপ্লিকেশনের আউটপুট হিসাবে ধ্রুব সংখ্যার চেয়ে বেশি সম্ভাব্য ফলাফল প্রয়োজন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.