একটি কৃত্রিম নিউরাল নেটওয়ার্ক * কি?


15

নিউরাল নেটওয়ার্ক সাহিত্যের প্রতিচ্ছবি হিসাবে আমরা নিউরোমর্ফিক টোপোলজিস ("নিউরাল-নেটওয়ার্ক" -র মতো আর্কিটেকচার) সহ অন্যান্য পদ্ধতিগুলি সনাক্ত করতে পারি। এবং আমি ইউনিভার্সাল আনুমানিক উপপাদ্য সম্পর্কে কথা বলছি না । উদাহরণ নীচে দেওয়া হল।

তারপরে, এটি আমাকে অবাক করে তোলে: একটি কৃত্রিম নিউরাল নেটওয়ার্কের সংজ্ঞা কী? এর টপোলজি থেকে সমস্ত কিছু coverেকে যায়।


উদাহরণ:

আমরা যে প্রথম সনাক্তকরণ করি তা হ'ল পিসিএ এবং এনকোডার এবং ডিকোডার এবং বাঁধা স্তরের থ্রোসোল্ড্ড অ্যাক্টিভেশনগুলির সাথে বাঁধা ওজনযুক্ত একটি লিনিয়ার অটেনকোডার between

এছাড়াও, লিনিয়ার মডেলগুলির (একটি বিশেষে লজিস্টিক রিগ্রেশন) এবং কোনও নিউরাল নেটওয়ার্কের মধ্যে কোনও গোপন স্তর এবং একটি একক আউটপুট স্তর না করে একটি সাধারণ সনাক্তকরণ করা হয়। এই সনাক্তকরণটি বেশ কয়েকটি দরজা খোলে।

ফুরিয়ার এবং টেলর সিরিজ? Annsএসভিএম ? ANN। গাউসিয়ান প্রক্রিয়া? এএনএন (অসীম লুকানো ইউনিট সহ একক লুকানো স্তর সহ)।

এবং তাই, ঠিক তত সহজেই, আমরা এই অ্যালগোরিদমের বিশেষত ক্ষতির সাথে একটি নিউরাল নেটওয়ার্ক কাঠামোর মধ্যে স্বেচ্ছাসেবী নিয়মিত সংস্করণগুলিকে অন্তর্ভুক্ত করতে পারি।

তবে আমরা যত বেশি খনন করি তত বেশি মিল দেখা যায়। আমি কেবল ডিপ নিউরাল ডিসিশন ট্রিগুলিতে হোঁচট খেয়েছি , যা সিদ্ধান্ত গাছ সহ একটি নির্দিষ্ট এএনএন আর্কিটেকচারের সনাক্তকরণ করে, এএনএন পদ্ধতিগুলি (যেমন গ্রেডিয়েন্ট বংশোদ্ভূত বর্ধমান) দ্বারা শিখতে দেয়। এটি থেকে আমরা কেবলমাত্র নিউরাল নেটওয়ার্ক টোপোলজি থেকে র্যান্ডম বন এবং গ্রেডিয়েন্ট বুস্টড ডিসিশন ট্রিগুলি তৈরি করতে পারি।

সবকিছু যদি একটি কৃত্রিম নিউরাল নেটওয়ার্ক হিসাবে প্রকাশ করা যায়, একটি কৃত্রিম নিউরাল নেটওয়ার্ক সংজ্ঞা দেয়?


ডিপ নিউরাল ডিসিশন ট্রি সম্পর্কিত সেই কাগজটি বেশ বাইরে is সাধারণত অ্যাক্টিভেশন ফাংশনগুলি হ'ল আসল মূল্যবান ফাংশন, বাইরের পণ্য নয়। সুতরাং তারা সাধারণত এএনএনগুলি নিয়ে আলোচনা করছি না কারণ আমরা সাধারণত তাদের সম্পর্কে ভাবি, তবে একটি গাণিতিক জেনারালাইজেশন যা বহুল ব্যবহৃত হয় না বা স্বীকৃত হয় না। কোনও এএনএনকে সিদ্ধান্তের গাছের চেয়ে আলাদা দেখানোর জন্য, আমি কেবল উল্লেখ করতে পারি যে সমস্ত এএনএন প্যারামিমেট্রিক (একটি সীমাবদ্ধ প্যারামিটার স্পেস থাকে) যখন গাছগুলি নন-প্যারামিটারিক হয় (সম্ভাব্য অসীম প্যারামিটার স্থান থাকে))
অলোনি

@ এলোনি ক্রোনেকার পণ্য কোনও অ্যাক্টিভেশন ফাংশন নয়, এটি কেবল পূর্ববর্তী স্তরের আউটপুটগুলিতে একটি ক্রিয়াকলাপ (যেমন কোনও ক্রিয়া বা অন্য কোনও ক্রিয়াকলাপ যা আমরা অ্যাক্টিভেশনগুলির উপরে সংজ্ঞায়িত করি)। ডিএনডিটি যে কোনও সিদ্ধান্ত গাছকে উপস্থাপন করতে পারে এবং প্রতিটি ডিএনডিটি একটি সিদ্ধান্ত গাছ দ্বারা প্রতিনিধিত্ব করতে পারে।
ফায়ারব্যাগ

1
আপনার অ্যাক্টিভেশন ফাংশনটির সংজ্ঞাটি অনুসরণ করুন, সফটম্যাক্স কোনও অ্যাক্টিভেশন ফাংশন নয়।
ফায়ারব্যাগ

2
আমি পুরোপুরি নিশ্চিত নই যে আমি এই প্রশ্নের অনুপ্রেরণা বুঝতে পেরেছি। কোনও এএনএন-এর একটি সম্ভাব্য, শিথিল সংজ্ঞাটি হ'ল এটি একটি নির্দেশিত গ্রাফিক্যাল মডেল, যা ইনপুট / আউটপুটগুলি প্রক্রিয়া করতে নিউরনগুলি (অর্থাত্ অ্যাক্টিভেশন ফাংশন) ব্যবহার করে এবং বেশিরভাগ সময় আপনি এটি প্রশিক্ষণের জন্য গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করেন। আপনি যখন বলেন যে "সমস্ত কিছু এএনএন হিসাবে প্রকাশ করা যেতে পারে", আপনি কি বিশেষভাবে জিজ্ঞাসা করছেন যে উল্লিখিত অন্যান্য মডেল এবং এএনএনগুলির মধ্যে একটি সঠিক ম্যাপিং রয়েছে? সমস্যাটি হ'ল অপটিমাইজেশনের সাথে মেলে তুলতে আপনাকে অত্যন্ত পরিবর্তিত প্রশিক্ষণের রুটিন নিয়ে আসতে হবে।
অ্যালেক্স আর।

1
@ সাইকোরাক্স আমিও করি, তিনি এবং হিন্টন দু'জনেই এতে ইঙ্গিত করেছিলেন। আমি অন্যান্য শিবিরে উত্তরদাতাদের বিশ্বাসযোগ্য উত্স সরবরাহ করার জন্য একটি সুযোগ দিতে চাই :)
ফায়ারব্যাগ

উত্তর:


6

জুর্গেন শ্মিধুবার, " নিউরাল নেটওয়ার্কে ডিপ লার্নিং: একটি ওভারভিউ " নিউরাল নেটওয়ার্ক এবং গভীর শিক্ষার মূল ধারণাগুলির ইতিহাস সনাক্ত করে। তাঁর দৃষ্টিতে, নিউরাল নেটওয়ার্কগুলি মূলত এমন কোনও মডেলকে অন্তর্ভুক্ত করবে যা নির্দেশিত গ্রাফ হিসাবে চিহ্নিত করা যেতে পারে যেখানে প্রতিটি নোড কিছু গণ্য ইউনিট উপস্থাপন করে। শ্মিধুবার একজন বিশিষ্ট নিউরাল নেটওয়ার্ক গবেষক, এবং সেপ হোচরিটারের সাথে এলএসটিএম নেটওয়ার্কগুলিতে মূল কাগজটি লিখেছিলেন।

কোন লার্নিং সিস্টেমের পরিবর্তনযোগ্য উপাদানগুলি এর সাফল্য বা ব্যর্থতার জন্য দায়ী? পারফরম্যান্সের উন্নতি করতে তাদের কী পরিবর্তন হয়? এটিকে বলা হয় মৌলিক creditণ অ্যাসাইনমেন্ট সমস্যা (মিনস্কি, 1963)। সর্বজনীন সমস্যা সমাধানকারীদের জন্য সাধারণ ক্রেডিট অ্যাসাইনমেন্ট পদ্ধতি রয়েছে যা বিভিন্ন তাত্ত্বিক সংবেদনে সময়-অনুকূল (সেকশন 6.8)। বর্তমান জরিপটি অবশ্য সংকীর্ণের দিকে মনোনিবেশ করবে, তবে এখন বাণিজ্যিকভাবে গুরুত্বপূর্ণ, কৃত্রিম নিউরাল নেটওয়ার্কের (এনএন) ডিপ লার্নিংয়ের (ডিএল) সাবফিল্ড।

একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্ক (এনএন) অনেকগুলি সাধারণ, সংযুক্ত প্রসেসর নিয়ে থাকে যা নিউরন নামে পরিচিত, প্রত্যেকটি বাস্তব-মূল্যবান ক্রিয়াকলাপের ক্রম উত্পাদন করে। ইনপুট নিউরনগুলি পরিবেশটি অনুধাবন করে সেন্সরগুলির মাধ্যমে সক্রিয় হয়ে যায়, অন্যান্য স্নায়বিক পূর্ববর্তী সক্রিয় নিউরনগুলির থেকে ভারী সংযোগের মাধ্যমে সক্রিয় হয়ে যায় (সেক। ২ তে বিশদ)। কিছু নিউরন কর্মকে ট্রিগার করে পরিবেশকে প্রভাবিত করতে পারে। শেখা বা creditণের অ্যাসাইনমেন্টটি এমন ওজনগুলি সন্ধান করা যা NN পছন্দসই আচরণ প্রদর্শন করে যেমন গাড়ি চালানো। সমস্যা এবং নিউরনগুলি কীভাবে সংযুক্ত রয়েছে তার উপর নির্ভর করে, এই জাতীয় আচরণের জন্য গণনার পর্যায়ে দীর্ঘ ধারাবাহিক শৃঙ্খলার প্রয়োজন হতে পারে (সেকশন 3), যেখানে প্রতিটি পর্যায় নেটওয়ার্কের সামগ্রিক সক্রিয়করণ (প্রায়শই একটি লিনিয়ার পথে) রূপান্তরিত হয়। ডিপ লার্নিং হ'ল এই জাতীয় বিভিন্ন পর্যায়ে যথাযথভাবে ক্রেডিট প্রদান করা।

এরকম কয়েকটি ধাপের অগভীর এনএন-এর মতো মডেলগুলি শতাব্দী না হলেও বহু দশক ধরে রয়েছে (সেকেন্ড 5.1)। নিউরনের বেশ কয়েকটি ধারাবাহিক অফলাইন স্তরযুক্ত মডেলগুলি কমপক্ষে 1960 এর দশকের (সেকেন্ড 5.3) এবং 1970 এর দশকের (সেকেন্ড 5.5) তারিখের। ব্যাকপ্রপাগেশন (বিপি) নামক নির্বিচারে গভীরভাবে ডিফারেন্ট, ডিফারেন্সড লার্নিং (এসএল) জন্য শিক্ষক ভিত্তিক তদারকি শিক্ষার জন্য একটি দক্ষ গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি 1960 এবং 1970 এর দশকে উন্নত হয়েছিল এবং 1981 সালে (এন। 5.5) এনএনগুলিতে প্রয়োগ হয়েছিল। অনেক স্তর সহ গভীর এনএনগুলির বিপি-ভিত্তিক প্রশিক্ষণ, তবে 1980 এর দশকের শেষভাগে (সেকেন্ড 5.6) দ্বারা অনুশীলন করা কঠিন হয়ে পড়েছিল এবং 1990 এর দশকের গোড়ার দিকে (সেকশন 5.9) স্পষ্টত গবেষণার বিষয় হয়ে উঠেছে। আনস সার্ভিস লার্নিং (ইউএল), যেমন, সেকেন্ডের সাহায্যে ডিএল কিছুটা হলেও ব্যবহারিকভাবে সম্ভবপর হয়েছিল। 5.10 (1991), সেকেন্ড 5.15 (2006) 1990 এবং 2000 এর দশকে খাঁটি তদারক করা ডিএল (সেকশন 5) এর অনেক উন্নতিও দেখা গেছে। নতুন সহস্রাব্দে, গভীর এনএনগুলি অবশেষে বিভিন্ন গুরুত্বপূর্ণ অ্যাপ্লিকেশনগুলিতে কার্নেল মেশিনের মতো বিকল্প মেশিন শেখার পদ্ধতিগুলি (ভ্যাপনিক, 1995; স্কোলকফ এট আল।, 1998) ছাড়িয়ে বিস্তৃত মনোযোগ আকর্ষণ করেছে। প্রকৃতপক্ষে, ২০০৯ সাল থেকে তদারকি করা গভীর এনএনগুলি সীমিত ডোমেনগুলিতে প্রথম অতিমানবিক ভিজ্যুয়াল প্যাটার্ন স্বীকৃতির ফলাফল অর্জন করে (যেমন, সেকশন ৫.১ pattern, ৫.১৯, ৫.২১, ৫.২২) বহু সরকারী আন্তর্জাতিক প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে (সেকশন ৫.১৯, ২০১১)। ডিপ এনএনগুলি আরও শক্তিশালীকরণ শেখার (আরএল) সাধারণ ক্ষেত্রের জন্য প্রাসঙ্গিক হয়ে উঠেছে যেখানে তত্ত্বাবধানকারী শিক্ষক নেই (সেকশন 6)। মূলত অসংখ্য গুরুত্বপূর্ণ অ্যাপ্লিকেশনগুলিতে কার্নেল মেশিনের মতো বিকল্প মেশিন শেখার পদ্ধতিগুলি (ভ্যাপনিক, 1995; স্কলকফফ এট। আল, 1998) ছাড়িয়ে যায়। প্রকৃতপক্ষে, ২০০৯ সাল থেকে তদারকি করা গভীর এনএনগুলি সীমিত ডোমেনগুলিতে প্রথম অতিমানবিক ভিজ্যুয়াল প্যাটার্ন স্বীকৃতির ফলাফল অর্জন করে (যেমন, সেকশন ৫.১ pattern, ৫.১৯, ৫.২১, ৫.২২) বহু সরকারী আন্তর্জাতিক প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে (সেকশন ৫.১৯, ২০১১)। ডিপ এনএনগুলি আরও শক্তিশালীকরণ শেখার (আরএল) সাধারণ ক্ষেত্রের জন্য প্রাসঙ্গিক হয়ে উঠেছে যেখানে তত্ত্বাবধানকারী শিক্ষক নেই (সেকশন 6)। মূলত অসংখ্য গুরুত্বপূর্ণ অ্যাপ্লিকেশনগুলিতে কার্নেল মেশিনের মতো বিকল্প মেশিন শেখার পদ্ধতিগুলি (ভ্যাপনিক, 1995; স্কলকফফ এট। আল, 1998) ছাড়িয়ে যায়। প্রকৃতপক্ষে, ২০০৯ সাল থেকে তদারকি করা গভীর এনএনগুলি সীমিত ডোমেনগুলিতে প্রথম অতিমানবিক ভিজ্যুয়াল প্যাটার্ন স্বীকৃতির ফলাফল অর্জন করে (যেমন, সেকশন ৫.১ pattern, ৫.১৯, ৫.২১, ৫.২২) বহু সরকারী আন্তর্জাতিক প্যাটার্ন স্বীকৃতি প্রতিযোগিতা জিতেছে (সেকশন ৫.১৯, ২০১১)। ডিপ এনএনগুলি আরও শক্তিশালীকরণ শেখার (আরএল) সাধারণ ক্ষেত্রের জন্য প্রাসঙ্গিক হয়ে উঠেছে যেখানে তত্ত্বাবধানকারী শিক্ষক নেই (সেকশন 6)। সীমিত ডোমেনগুলিতে প্রথম অতিমানবিক ভিজ্যুয়াল প্যাটার্ন স্বীকৃতির ফলাফল অর্জন করা (সেকেন্ড 5.19, 2011)। ডিপ এনএনগুলি আরও শক্তিশালীকরণ শেখার (আরএল) সাধারণ ক্ষেত্রের জন্য প্রাসঙ্গিক হয়ে উঠেছে যেখানে তত্ত্বাবধানকারী শিক্ষক নেই (সেকশন 6)। সীমিত ডোমেনগুলিতে প্রথম অতিমানবিক ভিজ্যুয়াল প্যাটার্ন স্বীকৃতির ফলাফল অর্জন করা (সেকেন্ড 5.19, 2011)। ডিপ এনএনগুলি আরও শক্তিশালীকরণ শেখার (আরএল) সাধারণ ক্ষেত্রের জন্য প্রাসঙ্গিক হয়ে উঠেছে যেখানে তত্ত্বাবধানকারী শিক্ষক নেই (সেকশন 6)।

অন্যদিকে, আমি নিশ্চিত নই যে মেশিন লার্নিং কৌশলগুলির জন্য পারস্পরিক-একচেটিয়া বালতিগুলির জন্য একটি শ্রেণিবদ্ধ চেষ্টা করার জন্য এটি প্রয়োজনীয়ভাবে লাভজনক। আমি মনে করি আমরা বলতে পারি যে এমন দৃষ্টিভঙ্গি রয়েছে যা থেকে মডেলগুলিকে নিউরাল নেটওয়ার্ক হিসাবে দেখা যায়। আমি মনে করি না যে দৃষ্টিকোণটি অবশ্যই সমস্ত প্রসঙ্গে উপযুক্ত বা কার্যকর or উদাহরণস্বরূপ, আমি এখনও এলোমেলো বন এবং গ্রেডিয়েন্ট বুস্টেড গাছগুলিকে তাদের পার্থক্যগুলি দূরে সরিয়ে "নিউরাল নেটওয়ার্ক ট্রি" বলার পরিবর্তে "ট্রি এনসেমবলস" হিসাবে উল্লেখ করার পরিকল্পনা করছি। তবুও, শ্মিধুবার NNs কে কার্নেল মেশিন থেকে পৃথক করে - যদিও কার্নেল মেশিনগুলির NN- এর কিছু সংযোগ রয়েছে - যখন তিনি লিখেছেন "নতুন সহস্রাব্দে, গভীর এনএনগুলি অবশেষে বিস্তৃত মনোযোগ আকর্ষণ করেছে, মূলত কার্নেল মেশিনের মতো বিকল্প মেশিন লার্নিং পদ্ধতিগুলিকে ছাড়িয়ে ... অনেকগুলি গুরুত্বপূর্ণ অ্যাপ্লিকেশন। "


সুতরাং মূলত মেশিন লার্নিং এবং স্ট্যাটিস্টিকসে পরিচিত প্রতিটি মডেল এবং হিউরিস্টিককে আজ শ্মিধুবার একটি এএনএন হিসাবে বিবেচনা করবেন, স্বতন্ত্র নামটি কেবলমাত্র অপ্টিমাইজেশান কৌশল দ্বারা দেওয়া হয়েছে (এখানে কোনও অপ্টিমাইজেশন নেই এমন মডেলগুলি সহ)?
ফায়ারব্যাগ

1
আমি এটি ব্যবহারিক দৃষ্টিকোণ থেকে পেয়েছি, তবে এটি সত্য যে প্রতিটি মডেল, কড়া কথায় বলতে গেলে, একটি এএনএন (সত্যিকার অর্থে এমন কোনও একক মডেল যা আমি নেই তা ভাবতে পারি না) পরিবর্তিত হয় না।
ফায়ারব্যাগ

2
@ ফায়ারব্যাগ আপনি কীভাবে রিগ্রেশন বা (সাধারণ কে-মানে এবং অন্যান্য) ক্লাস্টারিং সমস্যাগুলি পুনরায় ফর্ম্ট করবেন, যেগুলি প্রশিক্ষণপ্রাপ্ত বা একটি 'শিক্ষার পরিবেশে' স্থাপন করা হয়েছে, যেমন এএনএন-এর এই সংজ্ঞার সমান?
সেক্সটাস এম্পেরিকাস

1
@ ফায়ারব্যাগ আমি দেখতে পাই না যে পিসিএকে একটি নির্দিষ্ট অটোরকোডার হিসাবে সমান দেখানো যেতে পারে তা কীভাবে পিসিএকে "একটি নিউরাল নেটওয়ার্ক" করে তোলে। স্ট্যান্ডার্ড পিসিএতে আমরা গ্রেডিয়েন্ট ডেসেন্টও ব্যবহার করি না।
অ্যামিবা বলছে মনিকাকে

1
@ ফায়ারব্যাগ আপনি যদি "এনএন" কে "সংযুক্ত গণনা নোড" হিসাবে সংজ্ঞায়িত করেন তবে আমি অনুমান করি যে কোনও এনএন হয় তার কোনও গণনা করা যায়। নিশ্চিত যে এটি কোনও ব্যবহারের তবে ঠিক আছে।
অ্যামিবা বলেছেন মনিকাকে

7

আপনি যদি কোনও এএনএন-এর বেসিক সংজ্ঞা চান, আপনি বলতে পারেন যে এটি একটি নির্দেশিক-গ্রাফিক্যাল-মডেল, যেখানে প্রতিটি নোডে একটি অ্যাক্টিভেশন ফাংশনের মাধ্যমে ইনপুট এবং আউটপুটগুলি প্রক্রিয়াজাত করা হয় এবং বেশিরভাগ সময় গ্রেডিয়েন্ট বংশোদ্ভূতিকে প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত হয়। সুতরাং প্রশ্নটি সত্যিই হয়ে ওঠে: কোন মডেলগুলি গ্রাফিক্যাল মডেল হিসাবে প্রকাশ করতে পারে?

আমি কোনও বিশেষজ্ঞ নই তবে, আমি বিশ্বাস করি তাত্ত্বিকভাবে কিছু এএনএনকে ট্যুরিং সম্পূর্ণ হিসাবে দেখানো যেতে পারে, যার অর্থ তারা গণনার কোনও সম্ভাব্য সেট করতে সক্ষম হওয়া উচিত (সম্ভাব্য অসীম সহ) সংস্থান সহ, মনে রাখবেন)।

আমি আপনার প্রশ্নটি নিম্নলিখিত উপায়ে ব্যাখ্যা করতে যাচ্ছি:

যে কোনও মডেলটির জন্য, আমি কীভাবে একটি মডেলটিকে যথাসম্ভব নিকটে এবং যুক্তিসঙ্গত সময়ে অনুকরণ করতে কোনও এএনএন মডেলকে চড় মারতে পারি?

একটি ভ্যানিলা নিউরাল নেটওয়ার্ক হেভিসাইড স্টেপ-অ্যাক্টিভেশনগুলি ব্যবহার করে একটি সিদ্ধান্ত গাছ অনুকরণ করতে পারে। সমস্যাটি হ'ল এই জাতীয় ইউনিট অ্যাক্টিভেশনগুলির শূন্য গ্রেডিয়েন্ট রয়েছে, তাই সাধারণ গ্রেডিয়েন্ট বংশোদ্ভূত কাজ করবে না। আপনি বলতে পারেন, "কোনও সমস্যা নেই, কেবল গ্রেডিয়েন্ট বংশোদ্ভূত একটি পরিবর্তিত ফর্ম ব্যবহার করুন।" তবে, এটি এখনও পর্যাপ্ত নয়। আরও ভাল উদাহরণের জন্য, XGBOOST এর মতো কিছু নিন, যা কেবলমাত্র গ্রেডিয়েন্ট-বস্টেড বন নয়। আরও অনেক অতিরিক্ত কাজ রয়েছে যা বিভক্ত পয়েন্ট বাছাই, ছাঁটাই, গতির জন্য অনুকূলকরণ ইত্যাদির মধ্যে চলে যায় enough ভাল, না যদি এটি কাজটি করতে অনুকূলিত হয়।

f(x)=eএক্স


2
উত্তরের জন্য ধন্যবাদ! প্রশ্নটি সম্পর্কে - "For any given model, can I slap together an ANN model to emulate that model, as close as possible, and in a reasonable amount of time?"- আমি বলতে ভয় পাচ্ছি যে এটি বিন্দু নয়। মুল বক্তব্যটি হ'ল, এএনএন টপোলজিটি এত সাধারণ যে এটি সমস্ত কিছু coverেকে রাখে বলে মনে হয় এবং অপ্টিমাইজেশান কৌশলটি কী এবং কোনটি এএনএন নয় তা নির্ধারণ করতে সক্ষম বলে মনে হয় না। সুতরাং প্রশ্ন, একটি এএনএন সংজ্ঞা দেয় কি? কারণ অন্যথায় সবকিছুই একরকম, একটি এএনএন অন্যভাবে প্রকাশ করেছে।
ফায়ারব্যাগ

1
"A vanilla neural network can emulate a decision tree, by using heaviside step-activations. The problem is that such unit activations have zero gradient, so normal gradient descent won't work. You might say, "no problem, just use a modified form of gradient descent." However, that's still not enough. [...]"- যেমনটি আমরা দৃ could়ভাবে বলতে পারি, অপ্টিমাইজেশন কোনও এএনএন গঠন করে তার সংজ্ঞা নির্ধারণকারী কারণ নয়। যদি আপনি প্রতিটি সিদ্ধান্ত গাছটিকে নিউরাল নেটওয়ার্ক হিসাবে লিখতে পারেন (এবং আমরা এটি করতে পারি) তবে আমরা নিরাপদে বলতে পারি ডিটি হ'ল (এক ধরণের) এনএন, তবে কনভার্সটি সত্য নয়।
ফায়ারব্যাগ

"If you want a basic definition of an ANN, you might say that it's a directed-graphical-model, where inputs and outputs are processed at each node via an activation function, and most of the time gradient descent is used to train it. So the question really becomes: what models out there can be expressed as graphical models?"- আমি এটার সাথে একমত. তারপরে, "নিউরাল নেটওয়ার্ক" মডেলগুলির সর্বাধিক সাধারণ শ্রেণি হিসাবে ব্যাখ্যা করা যেতে পারে, সম্ভবত "গ্রাফ মডেলগুলি" এর চেয়ে কম সাধারণ, এটি উভয়ই অনির্দেশিত এবং নির্দেশিত গ্রাফ মডেলগুলির একটি সুপারসেট et সম্ভবত আপনি এ সম্পর্কে আরও বিস্তারিত বলতে পারেন;)
ফায়ারব্যাগ

2

সম্ভবত, এএনএনগুলির একটি আরও সঠিক নাম হ'ল "ডিফেরেন্টেবল নেটওয়ার্ক", অর্থাৎ জটিল প্যারামেট্রাইজড ফাংশন যা গ্রেডিয়েন্ট বংশোদ্ভূত বা তার বৈকল্পিক ব্যবহার করে অনুকূলিত করা যেতে পারে। এটি একটি খুব সাধারণ সংজ্ঞা যা পৃথকীকরণের উপর জোর দেয়, তবে মূল ধারণাগুলি, এটির জন্য উপযুক্ত কাজগুলি, অন্তর্নিহিত গাণিতিক কাঠামো ইত্যাদি সম্পর্কে কিছুই বলে না

নোট করুন যে ডিফারেন্সিবিলিটি হ'ল একটি বৈশিষ্ট্য, এটি মূল নয়। উদাহরণস্বরূপ, এসভিএম গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে প্রশিক্ষণ দেওয়া যেতে পারে এবং এইভাবে একটি নিউরাল / ডিফারেনটেবল নেটওয়ার্কের বৈশিষ্ট্য প্রদর্শন করে তবে মূল ধারণাটি হাইপারপ্লেন ব্যবহার করে ডেটা পৃথকীকরণ। ভেরিয়েন্টাল অটোরকোডারটি এনকোডার এবং ডিকোডারের জন্য এমএলপি ব্যবহার করে তবে আপনি যে ফাংশনটি অনুকূল করেন তা বায়েশিয়ান পরিসংখ্যান থেকে শুরু করে।

এমন কয়েকটি মডেল রয়েছে যা প্রায়শই নিউরাল নেটওয়ার্ক হিসাবে উল্লেখ করা হয় তবে শেখার জন্য জিডি ব্যবহার করে না। এর একটি ভাল উদাহরণ হ'ল আরবিএম। আমার অনুমান যে "নিউরাল নেটওয়ার্ক" লেবেলটি বেশিরভাগ historicalতিহাসিক কারণে এটিতে সংযুক্ত ছিল - শেষ পর্যন্ত, আরবিএমের নির্মাতা হলেন জিওফ্রে হিন্টন, এবং হিন্টন একজন নিউরাল নেটওয়ার্ক লোক, তাই না? তবে, আপনি যদি মডেলটি বিশ্লেষণ করেন তবে আপনি দেখতে পাবেন যে আরবিএমের কাঠামোটি একটি মার্কভ নেট, শক্তি-ভিত্তিক ব্যয়ের কাজটি বিশ শতবর্ষের শুরুর পরিসংখ্যান পদার্থবিজ্ঞানের থেকে আসে এবং এমসিএমসি / গীবস নমুনাটি নিউরাল নেটওয়ার্কগুলি থেকে সমান্তরালভাবে এবং সম্পূর্ণ স্বাধীনভাবে বিকাশ লাভ করে ।


2
গ্রেডিয়েন্ট-ভিত্তিক শিক্ষাগুলি অবশ্যই এএনএনগুলির সাফল্যে ভূমিকা রেখেছে। তবে আমি সংজ্ঞাটির অপরিহার্য হিসাবে পার্থক্যকে দেখছি না, কারণ কিছু এএনএন পৃথক নয় not উদাহরণস্বরূপ, খুব প্রথম এএনএন (ম্যাককুলোক-পিটস মডেল) বাইনারি থ্রেশহোল্ড ইউনিট ব্যবহার করেছিল। একটি বর্তমান গবেষণার বিষয় হ'ল স্পাইকিং জালের মতো অ-ডিফরেনটেবল এএনএনগুলিতে কীভাবে শেখা যায়। অথবা, ধরুন আমরা একটি সাধারণ, পার্থক্যযোগ্য এএনএন দিয়ে শুরু করি, তবে তারপরে ঘোষণা করুন যে আমরা অ-বিভেদযোগ্য ক্ষতির ফাংশনটি হ্রাস করতে চাই। এটি এখন আর এএনএন না?
ব্যবহারকারী20160

ঠিক এই কারণেই আমি একটি বিকল্প সংজ্ঞা প্রস্তাব করলাম যাতে ফিড-ফওয়ার্ড, বারবার, পুনরাবৃত্তিমূলক, সংশোধনযোগ্য নেটওয়ার্ক, অটোরকোডারস, ভিএই, জিএন, মনোযোগ এবং অন্যান্য অনেক মডেল যা আমরা সাধারণত "নিউরাল নেটওয়ার্ক" বলি, তবে বাদ দেয় না যেমন মানুষের মস্তিষ্কের অনুকরণের উপর ভিত্তি করে দৃষ্টিভঙ্গি বা পিজিএমের উপর বিস্তৃত নমুনা 2018 হিসাবে, এই পদ্ধতিগুলি সত্যই পৃথক, তারা বিভিন্ন অপ্টিমাইজেশন পদ্ধতি, বিভিন্ন গ্রন্থাগার ইত্যাদি ব্যবহার করে (যদিও আমি সিএনএন বা আরএনএন এর বিপরীতে জাল স্পাই করার জন্য "নিউরাল নেটওয়ার্ক" এর চেয়ে ভাল নামটি ভাবতে পারি না, আসলে মানুষের অনুকরণ করে) মস্তিষ্ক)।
বন্ধু

1

আমি কিছু জিনিস পোস্ট করার চেষ্টা করতে পারি যা নিউরাল নেটওয়ার্ক সংজ্ঞায়িত করতে সহায়তা করে।

  • সামঞ্জস্যযোগ্য পরামিতি সহ একটি গণনার গ্রাফ।
  • বলেছে প্যারামিটারগুলি ডেটা (বাস্তব বা সিমুলেটেড) সাথে সামঞ্জস্য করার জন্য সামঞ্জস্য করা যেতে পারে।
  • অপ্টিমাইজড হওয়ার জন্য একটি উদ্দেশ্যমূলক ফাংশন স্পষ্টভাবে বা স্পষ্টভাবে জড়িত। এটি প্যারামিটারগুলিতে বৈশ্বিক বা স্থানীয় হতে পারে।

আমি নিশ্চিত যে এটি আজ সাধারণ ব্যবহারে সমস্ত স্নায়বিক নেটওয়ার্ক এবং কিছু কিছু রহস্যজনক নেটওয়ার্ককেও কভার করে।

এটি অপ্টিমাইজেশনের অজ্ঞাতসাহিক (যদি আমরা গ্রেডিয়েন্ট-ভিত্তিক অপ্টিমাইজেশন চাপিয়ে দিই, তবে বিবর্তিত নেটওয়ার্কগুলি নিউরাল নেটওয়ার্ক হবে না)।

এটিতে নিউরন / নোড বা স্তরগুলি উল্লেখ করা হয়নি (কিছু স্নায়বিক নেটওয়ার্ক আজ এই শব্দগুলির দ্বারা খুব কমই বর্ণনা করা হয়েছে), তবে আমি অনুমান করি যে আমরা এটিকে সংহত করতে পারি এবং আরও কিছুটা বাধা হতে পারি।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.