বহুবর্ষীয় বৈশিষ্ট্যগুলির সাথে রৈখিক প্রতিরোধের জন্য কৃত্রিম নিউরাল নেটওয়ার্কগুলি EQUIVALENT?


11

অন্যান্য মেশিন লার্নিং অ্যালগরিদমের তুলনায় আমি নিউরাল নেটওয়ার্কগুলি এবং তাদের সুবিধাগুলি সম্পর্কে আমার বোঝার উন্নতি করতে চাই। আমার বোঝা নীচের মত এবং আমার প্রশ্নটি হ'ল:

আপনি দয়া করে আমার বোঝার সংশোধন ও পরিপূরক করতে পারেন? :)

আমার বোঝার:

(1) কৃত্রিম নিউরাল নেটওয়ার্কগুলি = একটি ফাংশন, যা ইনপুট মানগুলি থেকে আউটপুট মানগুলির পূর্বাভাস দেয়। ইউনিভার্সাল অ্যাক্সেসিমেশন থিওরেম ( https://en.wikedia.org/wiki/Universal_approximation_theorem ) অনুসারে, আপনার পর্যাপ্ত নিউরন দেওয়া সাধারণত সাধারণত কোনও সম্ভাবনা (যদিও এটি ভাল আচরণ করা উচিত) থাকতে পারে।

(২) অতিরিক্ত ইনপুট মান হিসাবে ইনপুট মানগুলির বহুপদী গ্রহণের মাধ্যমে লিনিয়ার রিগ্রেশনের ক্ষেত্রেও এটি একই সত্য, যেহেতু আপনি বহু কার্যক্রমে প্রতিটি ফাংশনটি ভালভাবে আনুমানিক (টেলর সম্প্রসারণের তুলনা করতে পারেন) করতে পারেন।

(3) এর অর্থ হল, (এক অর্থে, সেরা সম্ভাব্য ফলাফলগুলির প্রতি শ্রদ্ধা সহ), সেই 2 টি পদ্ধতি সমতুল্য।

(৪) সুতরাং, তাদের মূল পার্থক্যটি রয়েছে যে পদ্ধতিটি নিজেকে আরও ভাল গণনামূলক বাস্তবায়নের জন্য toণ দেয়। অন্য কথায়, কোন পদ্ধতির সাহায্যে আপনি প্রশিক্ষণের উদাহরণগুলির উপর ভিত্তি করে, প্যারামিটারগুলির জন্য দ্রুত ভাল মানগুলি যা শেষ পর্যন্ত ভবিষ্যদ্বাণী ফাংশনটি সংজ্ঞায়িত করে।

আমি আমার চিন্তাভাবনা উন্নত করতে অন্য লিঙ্ক বা বইগুলিতে যেকোন চিন্তাভাবনা, মন্তব্য এবং প্রস্তাবনাগুলিকে স্বাগত জানাই।


2
সরানো যাবে উচিত math.stackexchange.com নিউরাল নেটওয়ার্কের সঙ্গে অ্যাক্টিভেশন আনুমানিক নির্বিচারে ভাল কোন মসৃণ ফাংশন কিন্তু তারা আরও একটি বৈশিষ্ট্য আছে: স্নিগ্ধতা (ওজন স্কেলিং) বিন্দু উপর নির্ভর করে, এই একটি ভাল চাবিকাঠি বিশ্বব্যাপী পড়তা। আপনি বহুবর্ষীয় সান্নিধ্যের সাথে এটি অর্জন করতে পারবেন না (একটি অবিচ্ছিন্ন ক্রিয়াকলাপ দেওয়া হলে with দিয়ে এবং কিছু পয়েন্টের আশেপাশে টেলর সম্প্রসারণের প্রথম কয়েকটি পদ ব্যবহার করুন যা কেবলমাত্র দেয় একটি ভাল স্থানীয় অনুমান)এন ডি - π | n x | 2TANHএন-π|এনএক্স|2
ব্যবহারকারী 1952009

@ user1952009 - উপপাদ্যটির প্রায় একরনের কারণে স্টোন-ওয়েয়ার্সট্রাস ইচ্ছাকৃতভাবে ভাল বিশ্বব্যাপী সান্নিধ্যের ইঙ্গিত দিচ্ছে না?
jboman

@jbowman এটা একটা ভাল স্থানীয় পড়তা না: কোনো জন্য অবিচ্ছিন্ন এবং অস্তিত্ব আছে একটি নির্ঝঞ্চাট, বিশ্লেষণমূলক বা বহুপদী ফাংশন (যেমন আপনি চান) যেমন যে । নিউরাল নেটওয়ার্কটিও তাই করে তবে বৈশিষ্ট্যটি হ'ল এটি অনেকগুলি স্থানীয় স্থানীয় অনুমান (প্রায় বিভিন্ন কাছাকাছি ) নিতে পারে এবং একরকম বিশ্বব্যাপী আনুমানিকতা পেতে এটি মিশ্রিত করতে পারে। RεR,εঅভিজ্ঞতার স্বাস পাত্তয়া|এক্স|R|(এক্স)-R,ε(এক্স)|εএক্স0
ব্যবহারকারী1952009

1
এটি সম্ভবত stats.stackexchange.com/questions/41289/… এর সদৃশ I 'd আমি এই প্রশ্নটি পতাকাঙ্কিত করেছি, তবে এতে অনুগ্রহ করে আমি অনুমান করছি যে আমি পরিবর্তে এখানে মন্তব্য করব :)
হিউ পার্কিনস

1
অন্তর্দৃষ্টিযুক্ত সম্পর্কিত প্রশ্নটির লিঙ্কের জন্য +1 @ হুগপর্কিনস। তবে, যদিও সম্পর্কিত প্রশ্নের উত্তরগুলি এখানে প্রশ্নটির অন্তর্দৃষ্টি দেয় (যেমন স্টিফান কোলাসা ব্যাখ্যা করেছেন যে এএনএন ডিফল্ট হিসাবে অ-রৈখিকতা বিবেচনা করে তবে রিগ্রেশন কেবল তাই করে যখন বিশেষত অতিরিক্ত কৌশলগুলির মাধ্যমে মডেলিং করা হয়) আমি নকলের জন্য পতাকা বোধ করি না । আপনি জিজ্ঞাসা করেছেন কোন কোন মডেলের ধরণটি আরও ভাল ফলাফল দিতে পারে, যখন এই প্রশ্নটি তাদের ফলাফল এবং তাদের সাধারণকরণের ক্ষেত্রে দুটি পদ্ধতি সমান কিনা বা না তা ব্যাখ্যা করতে বলে ask
আইডাব্লুএস

উত্তর:


7

চুক্তিটি এখানে:

প্রযুক্তিগতভাবে আপনি সত্য বাক্যটি লিখেছিলেন (উভয় মডেলই যথেষ্ট পরিমাণে প্যারামিটার দেওয়া কোনও 'খুব বেশি পাগল নয়' ফাংশনটি আনুমানিক করতে পারে), তবে এই বাক্যগুলি আপনাকে কোথাও পাবেন না!

কেন এমন? ঠিক আছে, সার্বজনীন আনুমানিক তত্ত্বটি বা অন্য কোনও আনুষ্ঠানিক প্রমাণটি ঘনিষ্ঠভাবে দেখুন, যদি নিউরোন থাকে তবে নিউরাল নেটওয়ার্ক যে কোনও f (x) গণনা করতে পারে।

আমি যে ধরণের প্রমাণগুলি দেখেছি তার সবগুলিই কেবল একটি লুকানো স্তর ব্যবহার করে।

কিছুটা স্বজ্ঞাততার জন্য এখানে http://neuranetworksandDPlearning.com/chap5.html একবার দেখুন । কাজগুলি দেখানো হচ্ছে যে আপনি যদি কেবল একটি স্তর ব্যবহার করেন তবে এক অর্থে প্রয়োজনীয় নিউরনের সংখ্যা দ্রুত বৃদ্ধি পেতে পারে।

সুতরাং, তত্ত্বের ক্ষেত্রে আপনি সঠিক, অনুশীলনে, আপনার কাছে অসীম পরিমাণের স্মৃতি নেই, তাই আপনি সত্যিই 2 ^ 1000 নিউরন নেটকে প্রশিক্ষণ দিতে চান না, তাই না? এমনকি যদি আপনার কাছে অসীম পরিমাণের মেমরি না থাকে তবে অবশ্যই এই নেটটি নিশ্চিত হয়ে যাবে।

আমার মনে, এমএল এর সবচেয়ে গুরুত্বপূর্ণ পয়েন্টটি ব্যবহারিক বিষয়! এর উপর কিছুটা প্রসারিত করা যাক। এখানে আসল বড় সমস্যাটি কীভাবে প্রশিক্ষণের সেটের বাইরে খুব দ্রুত বহুত্ববৃত্তিগুলি বাড়ায় / হ্রাস করে তা নয়। একদমই না. দ্রুত উদাহরণ হিসাবে, যে কোনও ছবির পিক্সেলটি প্রতিটি আরজিবি রঙের জন্য খুব নির্দিষ্ট পরিসরের ([0,255]) এর মধ্যে থাকে যাতে আপনি নিশ্চিত হয়ে বলতে পারেন যে কোনও নতুন নমুনা আপনার প্রশিক্ষণের মানগুলির সীমার মধ্যে থাকবে। না, বড় কথা হ'ল (!) দিয়ে এই তুলনাটি কার্যকর নয়।

আমি প্রস্তাব দিচ্ছি যে আপনি এমএনআইএসটি নিয়ে কিছুটা পরীক্ষা-নিরীক্ষা করবেন, এবং চেষ্টা করুন এবং দেখুন মাত্র একটি একক স্তর ব্যবহার করে আপনি যে আসল ফলাফলটি সামনে আসতে পারেন।

ব্যবহারিক জাল একাধিক লুকানো স্তর ব্যবহার করে, কখনও কখনও কয়েক ডজন স্তর (ভাল, রেসনেট আরও বেশি ...) থাকে। কোন কারণের জন্য. সেই কারণটি প্রমাণিত নয় এবং সাধারণভাবে, নিউরাল নেট এর জন্য একটি আর্কিটেকচার নির্বাচন করা গবেষণার একটি উত্তপ্ত ক্ষেত্র। অন্য কথায়, যদিও আমাদের এখনও আরও জানতে হবে, উভয় মডেল যা আপনি তুলনা করেছেন (লিনিয়ার রিগ্রেশন এবং কেবলমাত্র একটি লুকানো স্তর সহ এনএন), অনেকগুলি ডেটাসেটের জন্য, যা কার্যকর নয়!

যাইহোক, আপনি এমএল এ প্রবেশ করার ক্ষেত্রে, আরও একটি অকেজো উপপাদ্য যা প্রকৃতপক্ষে বর্তমানের গবেষণার ক্ষেত্র-প্যাক (সম্ভবত প্রায় সঠিক) / ভিসি মাত্রা। আমি এটি বোনাস হিসাবে প্রসারিত করব:

যদি সর্বজনীন আনুমানিকতাটি মূলত যদি বলে থাকে যে সীমাহীন পরিমাণে নিউরন দেওয়া হয়েছে তবে আমরা কোনও ফাংশন অনুমান করতে পারি (আপনাকে অনেক ধন্যবাদ?), পিএসি ব্যবহারিক দিক দিয়ে যা বলে, তা হল (ব্যবহারিকভাবে!) অসীম পরিমাণে লেবেলযুক্ত উদাহরণগুলি আমরা যতই কাছাকাছি পেতে পারি আমাদের মডেল মধ্যে সেরা অনুমান করতে চান। এটি একেবারে হাসিখুশি ছিল যখন আমি ব্যবহারিক জালটির জন্য প্রয়োজনীয় কিছু প্রকৃত ত্রুটি হারের মধ্যে কিছু হালকা সম্ভাবনার সাথে যুক্ত হওয়ার জন্য প্রকৃত পরিমাণের উদাহরণ গণনা করি :) এটি মহাবিশ্বে ইলেকট্রনের সংখ্যার চেয়ে বেশি ছিল। পিএস এটি উত্সাহিত করার জন্যও ধরে নেয় যে নমুনাগুলি আইআইডি (এটি কখনও সত্য নয়!)।


সুতরাং, কৃত্রিম নিউরাল নেটওয়ার্কগুলি বহুপদী বৈশিষ্ট্যগুলির সাথে লিনিয়ার রিগ্রেশন সমতুল্য বা না? আপনার উত্তরটি স্তর এবং প্রয়োজনীয় নিউরনের পরিমাণের দিকে মনোনিবেশ করে বলে মনে হচ্ছে তবে কেন এই দুটি বিশ্লেষণ সমান হতে পারে / তা ব্যাখ্যা করে না। আরও (লুকানো) স্তর যুক্ত করা কি কোনও নিউরাল নেটওয়ার্ককে বহুপদীগুলির সাথে রিগ্রেশনের চেয়ে আরও বেশি ফাংশন পরিচালনা করতে সক্ষম করে? এবং, যেমন ওপি তাকে / নিজেই উত্তরে বিস্মিত হয়েছেন, কীভাবে এই মডেলগুলির বহিরাগত বৈধতা / নমুনা ছাড়াই (এবং আরও জটিল জটিল মডেল অপশন এবং পারফরম্যান্স ব্যবহারের মধ্যে ট্রেড-অফগুলি) কেমন?
আইডাব্লুএস

আমি আপনাকে আমার প্রথম বাক্যটি উল্লেখ করছি: "প্রযুক্তিগতভাবে আপনি সত্য বাক্য লিখেছিলেন"।
ইনি কেরেন

ঠিক আছে, আমি জিজ্ঞাসা করেছি কারণ আপনার উত্তরটির ভিত্তিতে 'ওপি সত্য বাক্য লিখেছিল' আপনার বক্তব্যের যুক্তি আমার কাছে পরিষ্কার ছিল না। আপনি কি এ সম্পর্কে বিস্তারিত বলতে দয়াবান হতে পারেন?
আইডব্লিউএস

অবশ্যই। এটি কি আরও ভাল, বা আপনি এখনও কিছু অস্পষ্ট দেখতে পান?
ইয়োনি কেরেন

8

এটি সত্য যে কোনও ফাংশন স্বেচ্ছাসেবীভাবে নিউরাল নেটওয়ার্ক হিসাবে গণ্য হওয়া এবং এমন একটি বিষয় যা উভয়কে বহুপদী হিসাবে গণনা করা যায় উভয় দ্বারা নির্বিঘ্নে বন্ধ করা যায়।

প্রথমত, মনে রাখবেন যে এটি অনেকগুলি নির্মাণের ক্ষেত্রে সত্য। আপনি সাইনস এবং কোসাইন (ফুরিয়ার ট্রান্সফর্ম) সংযুক্ত করে বা কোনও "আয়তক্ষেত্র" প্রচুর সংখ্যক (সত্যিকারের সংক্ষিপ্ত সংজ্ঞা নয়, তবে আশা করি আপনি পয়েন্টটি পেয়ে যাবেন) যোগ করে কোনও ফাংশন আনুমানিক করতে পারেন।

দ্বিতীয়ত, যোনির উত্তরের মতো, যখনই আপনি কোনও নেটওয়ার্ক প্রশিক্ষণ দিচ্ছেন, বা প্রচুর শক্তি দিয়ে রিগ্রেশন ফিটিং করছেন, নিউরনের সংখ্যা বা শক্তির সংখ্যা নির্ধারণ করা হয়েছে। তারপরে আপনি কিছু অ্যালগরিদম প্রয়োগ করতে পারেন, সম্ভবত গ্রেডিয়েন্ট বংশোদ্ভূত বা অন্য কিছু, এবং সেই সাথে সেরা পরামিতিগুলি সন্ধান করুন। প্যারামিটারগুলি কোনও নেটওয়ার্কের ওজন এবং একটি বৃহত্তর বহুভুজের জন্য সহগ হয়। আপনি বহুবর্ষে সর্বাধিক শক্তি গ্রহণ করেন বা ব্যবহৃত নিউরনের সংখ্যাকে হাইপারপ্রেমিটার বলে। অনুশীলনে, আপনি তাদের কয়েকটি চেষ্টা করবেন। আপনি একটি কেস করতে পারেন যে একটি পরামিতি একটি প্যারামিটার, নিশ্চিত, তবে এটি বাস্তবে এটি করা হয় না।

যদিও মেশিন লার্নিংয়ের সাথে, আপনি আসলে এমন কোনও ফাংশন চান না যা আপনার ডেটা দিয়ে পুরোপুরি ফিট করে। আসলে এটি অর্জন করা খুব কঠিন হবে না। আপনি এমন কিছু চান যা ভাল মানায় তবে এটি সম্ভবত আপনি পয়েন্টগুলির জন্য কাজ করেন না। উদাহরণস্বরূপ এই চিত্রটি দেখুন, এর জন্য ডকুমেন্টেশন থেকে নেওয়া scikit-learn

একটি লাইন খুব সহজ, তবে সেরা অনুমানটি ডানদিকে নয়, এটি মাঝখানে রয়েছে, যদিও ডানদিকে ফাংশনটি সবচেয়ে উপযুক্ত। ডানদিকে ফাংশনটি নতুন ডেটা পয়েন্টগুলির জন্য কিছু চমত্কার (এবং সম্ভবত সাবঅপটিমাল) পূর্বাভাস তৈরি করবে, বিশেষত যদি তারা বামদিকে উইগলি বিটের কাছে পড়ে।

বেশ কয়েকটি পরামিতি এত ভালভাবে কাজ করার সাথে নিউরাল নেটওয়ার্কগুলির চূড়ান্ত কারণটি হ'ল তারা কিছু ফিট করতে পারে তবে এটি সত্যই ফিট করে না। এগুলি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত কিছু ফর্মের সাথে প্রশিক্ষিত হওয়ার সাথে তার অনেক কিছুই রয়েছে।


2

যেহেতু এখনও কোন উত্তর সরবরাহ করা হয়নি (যদিও আমি ব্যবহারকারী হিসাবে মন্তব্য করা উচিত 1952009 এটি উত্তর হিসাবে পোস্ট করা হয়েছিল), এর মধ্যে আমি যা শিখেছি তা আমাকে ভাগ করে দিন:

(1) আমার কাছে মনে হয়েছে যে আমার বোঝাপড়াটি সাধারণত সঠিক, তবে শয়তান বিশদে রয়েছে।

(২) "আমার বোঝাপড়া" থেকে একটি জিনিস মিস হয়েছে: প্যারাম্যাট্রাইজড হাইপোথিসিস প্রশিক্ষণ সংস্থার বাইরের ডেটাগুলিতে কতটা সাধারণীকরণ করবে? নিউরাল নেটওয়ার্ক পূর্বাভাসগুলির অ বহু-বহিরাগত প্রকৃতি সেখানে সাধারণ লিনিয়ার / বহুভুজ প্রতিরোধের চেয়ে ভাল হতে পারে (মনে রাখবেন যে প্রশিক্ষণের সেটের বাইরে বহুত্বগুলি কীভাবে খুব দ্রুত বৃদ্ধি / হ্রাস পায়)।

(3) একটি লিঙ্ক যা আরও দ্রুত প্যারামিটারগুলি গণনা করতে সক্ষম হবার গুরুত্বটি ব্যাখ্যা করে: http://www.heatonresearch.com/2017/06/01/hided-layers.html


2

সম্ভবত এই কাগজ আপনাকে সাহায্য করতে পারে:

স্নায়ুর জালের বিকল্প হিসাবে বহুবর্ষীয় রিগ্রেশন

বিমূর্ততা বলেছেন:

নিউরাল নেটওয়ার্কগুলির (এনএন) সাফল্য সত্ত্বেও তাদের "ব্ল্যাক বক্স" প্রকৃতি নিয়ে এখনও অনেকের মধ্যেই উদ্বেগ রয়েছে। তারা কেন কাজ করে? এখানে আমরা একটি সাধারণ বিশ্লেষণাত্মক যুক্তি উপস্থাপন করি যে এনএনগুলি আসলে মূলত বহুপদী রিগ্রেশন মডেল। এই দৃষ্টিভঙ্গির এনএনগুলির জন্য বিভিন্ন রকমের প্রভাব থাকবে, যেমন এনএনগুলিতে কেন রূপান্তর সমস্যা দেখা দেয় তার একটি ব্যাখ্যা সরবরাহ করে এবং এটি অতিরিক্ত মান এড়াতে মোটামুটি গাইডেন্স দেয়। তদ্ব্যতীত, আমরা সাহিত্যে পূর্বে উল্লিখিত নয় এমন এনএনগুলির বহুবিধ লাইন সম্পত্তি অনুমান এবং নিশ্চিত করতে এই ঘটনাটি ব্যবহার করি। সর্বাধিক গুরুত্বপূর্ণ, এই আলগা চিঠিপত্রের কারণে, কেউ নিয়মিতভাবে NN এর পরিবর্তে বহুপদী মডেলগুলি ব্যবহার করতে বেছে নিতে পারেন, ফলে আধুনিকতার কিছু বড় সমস্যা যেমন এড়ানো যায় যেমন অনেকগুলি টিউনিং প্যারামিটার সেট করা এবং রূপান্তর সংক্রান্ত সমস্যাগুলি মোকাবেলা করা। আমরা প্রচুর অভিজ্ঞতামূলক ফলাফল উপস্থাপন করি; প্রতিটি ক্ষেত্রে, বহুপদী পদ্ধতির যথার্থতা এনএন পদ্ধতির সাথে মেলে বা অতিক্রম করে। বহু বৈশিষ্ট্যযুক্ত, ওপেন সোর্স সফ্টওয়্যার প্যাকেজ, পলিগ উপলব্ধ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.