উত্তর:
এটি পিছনে যাচ্ছে, তবে এটি একরকম যুক্তিগুলির যুক্তি অনুসরণ করে।
দক্ষতার ক্ষেত্রে, আমি ক্লাসিকাল নিউরাল নেটওয়ার্কগুলির সাথে কয়েকটি বড় সমস্যা দেখতে পাচ্ছি।
বড় নিউরাল নেটওয়ার্কগুলিকে প্রশিক্ষণের জন্য প্রচুর ডেটা প্রয়োজন require নেটওয়ার্কের আকার এবং টাস্কের জটিলতার উপর নির্ভর করে পরিমাণটি পৃথক হতে পারে তবে থাম্বের নিয়ম হিসাবে এটি সাধারণত ওজনের সংখ্যার সাথে সমানুপাতিক। কিছু তদারকি করা শেখার কাজের জন্য, কেবলমাত্র পর্যাপ্ত উচ্চমানের লেবেলযুক্ত ডেটা নেই। প্রচুর পরিমাণে বিশেষ প্রশিক্ষণ ডেটা সংগ্রহ করতে কয়েক মাস এমনকি কয়েক বছর সময় লাগতে পারে এবং লেবেল করা জটিল এবং অবিশ্বস্ত হতে পারে। এটি ডেটা বৃদ্ধির মাধ্যমে আংশিকভাবে প্রশমিত করা যেতে পারে, যার অর্থ আপনার ইতিমধ্যে থাকা উদাহরণগুলির থেকে আরও উদাহরণগুলি "সংশ্লেষিত করা", তবে এটি কোনও চঞ্চলতা নয়।
শিক্ষার হারটি সাধারণত খুব ছোট, তাই প্রশিক্ষণের অগ্রগতি ধীর হয়। একটি বৃহত মডেল যা ডেস্কটপ সিপিইউতে প্রশিক্ষণ নিতে কয়েক সপ্তাহ সময় নিতে পারে তা প্রশিক্ষণে বলা যেতে পারে, জিপিইউ ক্লাস্টার ব্যবহার করে বেশ কয়েক ঘন্টা বিদ্যুৎ ব্যয় করে দুই ঘন্টা hours প্রশিক্ষণ পদ্ধতির প্রকৃতির কারণে এটি একটি মৌলিক বাণিজ্য। এটি বলেছিল, জিপিইউগুলি ক্রমশ দক্ষ হয়ে উঠছে - উদাহরণস্বরূপ, নতুন এনভিডিয়া ভোল্টা জিপিইউ আর্কিটেকচার 300 ডাব্লু এর চেয়ে কম ব্যবহারের সময় 15.7 টিএফএলওপি অনুমতি দেয়
এই মুহুর্তে, কার্যত প্রতিটি বিভিন্ন সমস্যার জন্য একটি কাস্টম নিউরাল নেটওয়ার্ক ডিজাইন করা, প্রশিক্ষিত এবং মোতায়েনের প্রয়োজন। যদিও সমাধান প্রায়ই কাজ করে, এটি ধরনের লক যে সমস্যার মধ্যে। উদাহরণস্বরূপ, আলফাগো গো- তে উজ্জ্বল, তবে গাড়ি চালানো বা সঙ্গীত প্রস্তাবনা সরবরাহ করা হতাশ হবে - এটি কেবল এই জাতীয় কাজের জন্যই তৈরি করা হয়নি। এই অপ্রতিরোধ্য অপ্রয়োজনীয়তা আমার দৃষ্টিতে নিউরাল নেটওয়ার্কগুলির একটি বড় অসুবিধা এবং এটি সাধারণভাবে নিউরাল নেটওয়ার্ক গবেষণার অগ্রগতিতেও একটি প্রধান প্রতিবন্ধক। ট্রান্সফার লার্নিং নামে একটি সম্পূর্ণ গবেষণা ক্ষেত্র রয়েছেযা একটি কার্যকে প্রশিক্ষিত করে একটি অন্য কোনও কার্যে প্রশিক্ষিত নেটওয়ার্ক প্রয়োগের উপায়গুলি সন্ধানের সাথে সম্পর্কিত। প্রায়শই এটি এই সত্যের সাথে সম্পর্কিত যে দ্বিতীয় কার্যটিতে স্ক্র্যাচ থেকে কোনও নেটওয়ার্ক প্রশিক্ষণের জন্য পর্যাপ্ত তথ্য নাও থাকতে পারে, তাই কিছু অতিরিক্ত সুরের সাথে প্রাক-প্রশিক্ষিত মডেলটি ব্যবহার করতে সক্ষম হওয়া খুব আকর্ষণীয়।
প্রশ্নের প্রথম অংশটি আরও জটিল। বিশুদ্ধরূপে পরিসংখ্যানগত মডেল সরাইয়া গিয়েই দেখি, যে মেশিন লার্নিং কোনো বিশিষ্ট পন্থা দেখিনি আমূল স্নায়ুর নেটওয়ার্ক থেকে আলাদা। যাইহোক, কিছু আকর্ষণীয় উন্নয়ন রয়েছে যা উল্লেখ করার মতো কারণ তারা উপরের কিছু অদক্ষতাগুলিকে সম্বোধন করে।
প্রথমে কিছুটা ব্যাকগ্রাউন্ড।
স্পাইকিং নিউরাল নেটওয়ার্কগুলি গণনার ক্ষমতার ক্ষেত্রে প্রচুর সম্ভাবনা রয়েছে। আসলে, এটি প্রমাণিত হয়েছে যে তারা সিগময়েড অ্যাক্টিভেশন সহ ধ্রুপদী নিউরাল নেটওয়ার্কগুলির চেয়ে কঠোরভাবে আরও শক্তিশালী ।
এ ছাড়া, spiking নিউরাল নেটওয়ার্ক একটি স্বকীয় কাছে আছে সময় এমন কিছু বিষয় যা তাদের শুরু থেকেই শাস্ত্রীয় নেটওয়ার্কগুলির জন্য একটি প্রধান বাধা হয়েছে -। কেবল তা-ই নয়, স্পাইকিং নেটওয়ার্কগুলি ইভেন্ট-চালিত , যার অর্থ হল আগত সংকেত উপস্থিত থাকলে কেবল নিউরনগুলি কাজ করে। এটি শাস্ত্রীয় নেটওয়ার্কগুলির বিপরীতে, যেখানে প্রতিটি নিউরন এর ইনপুট নির্বিশেষে মূল্যায়ন করা হয় (আবার, এটি সাধারণত দুটি ঘন ম্যাট্রিকের গুণক হিসাবে প্রয়োগ করা মূল্যায়ন পদ্ধতির একটি পরিণতি)। সুতরাং স্পাইকিং নেটওয়ার্কগুলি একটি বিচ্ছিন্ন এনকোডিং স্কিম নিয়োগ করে , যার অর্থ হল যে কেবলমাত্র নিউরনগুলির একটি ছোট অংশ কোনও নির্দিষ্ট সময়ে সক্রিয় রয়েছে।
এখন, স্পারস স্পাইক-ভিত্তিক এনকোডিং এবং ইভেন্ট-চালিত ক্রিয়াকলাপ নিউরোমর্ফিক চিপস নামে পরিচিত স্পাইকিং নেটওয়ার্কগুলির হার্ডওয়্যার-ভিত্তিক বাস্তবায়নের জন্য উপযুক্ত । উদাহরণস্বরূপ, আইবিএমের ট্রু নর্থ চিপটি গড়ে প্রায় 100 মেগাওয়াট বিদ্যুৎ আঁকতে 1 মিলিয়ন নিউরন এবং 256 মিলিয়ন সংযোগ সিমুলেট করতে পারে । এটি বর্তমান এনভিডিয়া জিপিইউগুলির চেয়ে আরও দক্ষতার অর্ডার । নিউরোমর্ফিক চিপস আমি উপরে উল্লিখিত প্রশিক্ষণের সময় / শক্তি ট্রেড অফের সমাধান হতে পারে।
এছাড়াও, স্মৃতিবিদগণ তুলনামূলকভাবে নতুন তবে খুব আশাব্যঞ্জক বিকাশ। মূলত, একটি memristor একটি মৌলিক সার্কিট খুব একটি রোধ অনুরূপ কিন্তু উপাদান পরিবর্তনশীল বর্তমান মোট পরিমাণ তার সম্পূর্ণ জীবনকাল ধরে মাধ্যমে গৃহীত হয়েছে যে প্রতিরোধের সমানুপাতিক। মূলত, এর অর্থ হ'ল এটি এর মধ্য দিয়ে প্রবাহিত পরিমাণের একটি "স্মৃতি" বজায় রাখে। স্মৃতিচারণকারীদের একটি উত্তেজনাপূর্ণ সম্ভাব্য অ্যাপ্লিকেশনগুলির মধ্যে একটি হ'ল হার্ডওয়ারে সিন্ডেসগুলি অত্যন্ত দক্ষতার সাথে মডেলিং করা।
আমি মনে করি এগুলি উল্লেখযোগ্য কারণ তারা স্থানান্তর-অযোগ্যতার সমস্যা সমাধানের জন্য প্রার্থীদের প্রতিশ্রুতি দিচ্ছে। এগুলি স্নায়ু নেটওয়ার্কগুলির মধ্যে সীমাবদ্ধ নয় - পুরষ্কার দ্বারা চালিত হয়ে, আরএল এবং বিবর্তন তাত্ত্বিকভাবে যে কোনও কার্যেই জেনেরিক সেটিংয়ে প্রযোজ্য যেখানে কোনও এজেন্টের অর্জন বা পুরষ্কারের লক্ষ্য নির্ধারণ করা সম্ভব। এটি করা অপ্রয়োজনীয় নয়, তবে এটি সাধারণ ত্রুটি-চালিত পদ্ধতির চেয়ে অনেক বেশি সাধারণ, যেখানে শিখন এজেন্ট তার আউটপুট এবং স্থল সত্যের মধ্যে পার্থক্য হ্রাস করার চেষ্টা করে। এখানে মূল বিষয়টি স্থানান্তর শেখার বিষয়ে: আদর্শভাবে, প্রশিক্ষিত এজেন্টকে অন্য কোনও কাজে প্রয়োগ করা লক্ষ্য বা পুরষ্কারের পরিবর্তনের মতো সহজ হওয়া উচিত (যদিও তারা এখনও এ পর্যায়ে যথেষ্ট নয়, যদিও ...)।
In particular it is shown that networks of spiking neurons are, with regard to the number of neurons that are needed, computationally more powerful than these other neural network models.
max(0, x)) বিপদের মধ্যে খুব বেশী হয় আটকে থাকার জন্য x < 0, মৃত নিউরনগুলির ফলে। যে কোনও হারে, বিষয়টি হ'ল স্পাইকিং নেটগুলির গণনা শক্তি এবং বিদ্যুৎ ব্যবহারের ক্ষেত্রে তাদের অতি-দক্ষ হার্ডওয়্যার বাস্তবায়ন সম্পর্কে।
নিউরাল জাল প্রতিস্থাপন
নিউরাল জাল প্রতিস্থাপনের সম্ভাবনা রয়েছে এমন নতুন অ্যালগরিদম থাকতে পারে। তবে স্নায়বিক জালগুলির একটি বৈশিষ্ট্য হ'ল তারা সরল উপাদান নিয়োগ করে, প্রতিটি জ্যামিতিক নিদর্শনগুলিতে কম্পিউটিং সংস্থার উপর কম চাহিদা নিয়ে।
কৃত্রিম নিউরনগুলি ডিএসপি ডিভাইসগুলি বা অন্যান্য সমান্তরাল কম্পিউটিং হার্ডওয়্যারগুলিতে ম্যাপিংয়ের মাধ্যমে সমান্তরালভাবে (সিপিইউ সময় ভাগ করে নেওয়া বা লুপিং ছাড়াই) চালানো যেতে পারে। যে অনেক নিউরন মূলত একরকম তাই শক্তিশালী সুবিধা।
আমরা কি প্রতিস্থাপন করা হবে?
আমরা যখন নিউরাল নেটগুলিতে অ্যালগরিদমিক প্রতিস্থাপন বিবেচনা করি তখন আমরা বোঝাচ্ছি যে একটি নিউরাল নেট ডিজাইন একটি অ্যালগরিদম। এইটা না.
একটি নিউরাল নেট হ'ল রিয়েল টাইম সার্কিটকে রূপান্তর করার একটি পদ্ধতিকে যা সর্বোত্তম কিছু গঠনের উপর ভিত্তি করে আউটপুটে ইনপুটটির একটি নৈরৈখিক রূপান্তর সম্পাদন করে। এই ধরনের সূত্রটি হতে পারে কোনও সংজ্ঞায়িত আদর্শ থেকে ত্রুটি বা বৈষম্যের পরিমাপের ক্ষুদ্রতরকরণ। এটি সুস্থতার একটি পরিমাপ হতে পারে যা সর্বাধিক করা উচিত।
কোনও প্রদত্ত নেটওয়ার্ক আচরণের জন্য ফিটনেস নির্ধারণের উত্স অভ্যন্তরীণ হতে পারে। আমরা সেই অপ্রচলিত শিক্ষাকে বলি। এটি বাহ্যিক হতে পারে, আমরা বাহ্যিক ফিটনেস তথ্যের সাথে ইনপুট ভেক্টরগুলির সাথে কাঙ্ক্ষিত আউটপুট মানগুলির আকার তৈরি হয়, যা আমরা লেবেল বলি।
ফিটনেস বাহ্যিকভাবে স্কেলার বা ভেক্টর হিসাবেও ইনপুট ডেটার সাথে মিলিত না হয়ে বরং বাস্তব সময় হিসাবে উদ্ভূত হতে পারে, যাকে আমরা বলি বল প্রয়োগ করি। এগুলির জন্য পুনরায় প্রবেশকারী শেখার অ্যালগরিদম প্রয়োজন। স্ট্যাকড নেট বা ল্যাপল্যাসিয়ান হায়ারারচির মতো অন্যান্য কনফিগারেশনের ক্ষেত্রে সিস্টেমের অভ্যন্তরে অন্যান্য নেট দ্বারা নেট আচরণগত ফিটনেসটি বিকল্পভাবে মূল্যায়ন করা যেতে পারে।
গাণিতিক এবং প্রক্রিয়া ডিজাইন নির্বাচন করা হলে অ্যালগরিদমগুলির তুলনামূলক বুদ্ধিমত্তার সাথে খুব সামান্য সম্পর্ক রয়েছে। অ্যালগরিদম নকশা কম্পিউটারের সংস্থানগুলির চাহিদা কমিয়ে আনার এবং সময়ের প্রয়োজনীয়তা হ্রাস করার সাথে আরও সরাসরি সম্পর্কিত। এই মিনিমাইজেশনটি হার্ডওয়্যার এবং অপারেটিং সিস্টেম নির্ভরও।
একটি প্রতিস্থাপন নির্দেশিত হয়?
অবশ্যই। নেটওয়ার্কগুলি আরও স্তন্যপায়ী নিউরনের মতো হলে এটি আরও ভাল।
আঞ্চলিক সিগন্যালিং বলতে সিন্যাপেসে সিগন্যাল সংক্রমণ পেরিয়ে অনেকগুলি রাসায়নিক সংকেত বোঝায়।
এমনকি আমরা স্তন্যপায়ী স্নায়ুবিজ্ঞানের বাইরে যাওয়ার কথা বিবেচনা করতে পারি।
নিউরাল নেট দক্ষতা
দক্ষতা কিছু সার্বজনীন স্কেলে মাপ দেওয়া যায় না কারণ তাপমাত্রা ডিগ্রি কেলভিনে মাপানো যেতে পারে। দক্ষতা কেবলমাত্র কিছু তাত্ত্বিক আদর্শের চেয়ে কিছু পরিমাপ করা মানের ভাগ হিসাবে মাপানো যেতে পারে। নোট করুন এটি ডোনামিনেটরে কোনও আদর্শ নয়, সর্বোচ্চ নয়। থার্মোডায়নামিক ইঞ্জিনগুলিতে, সেই আদর্শ হ'ল শক্তি ইনপুটের হার, যা কখনই আউটপুটে পুরোপুরি স্থানান্তরিত হতে পারে না।
একইভাবে, নিউরাল জাল কখনই শূন্য সময়ে শিখতে পারে না। একটি নিউরাল নেট উত্পাদনে যথেচ্ছ দীর্ঘ সময় ধরে শূন্য ত্রুটি অর্জন করতে পারে না। সুতরাং তথ্য কিছু উপায়ে শক্তির মতো, ডিজিটাল অটোমেশনের প্রভাতে বেল ল্যাবসের ক্লড শ্যানন দ্বারা অনুসন্ধান করা একটি ধারণা এবং তথ্য এনট্রপি এবং থার্মোডায়নামিক এন্ট্রপির মধ্যে সম্পর্ক এখন তাত্ত্বিক পদার্থবিদ্যার একটি গুরুত্বপূর্ণ অঙ্গ is
কোনও খারাপ শেখার দক্ষতা বা ভাল শেখার দক্ষতা থাকতে পারে না। খারাপ পারফরম্যান্স বা ভাল পারফরম্যান্স নাও হতে পারে, যদি আমরা যৌক্তিক ও বৈজ্ঞানিক দিক থেকে ভাবতে চাই - পারফরম্যান্সের দৃশ্যের একটি নির্দিষ্ট সেটের জন্য কিছু অন্যান্য সিস্টেম কনফিগারেশনের ক্ষেত্রে কেবলমাত্র কিছু সিস্টেম কনফিগারেশনের তুলনামূলক উন্নতি।
সুতরাং, দুটি হার্ডওয়্যার, অপারেটিং সিস্টেম, এবং সফ্টওয়্যার কনফিগারেশন এবং আপেক্ষিক মূল্যায়নের জন্য ব্যবহৃত একটি সম্পূর্ণ সংজ্ঞায়িত টেস্ট স্যুইটের স্পষ্ট বিবরণ ছাড়াই দক্ষতা অর্থহীন।
আমাদের সামনে কিছু আশা লুকিয়ে আছে। বর্তমানে আমাদের কাছে জে.হিন্টনের ক্যাপসুল নেটওয়ার্ক রয়েছে যা 'স্কোয়াশ' ফাংশন নামে পরিচিত একটি ভিন্ন অ-লিনিয়ার অ্যাক্টিভেশন ব্যবহার করে।
ক্যাপসুল নেটওয়ার্কগুলির নিজের কিছু ত্রুটি রয়েছে। তাই স্নায়বিক জাল পেরিয়ে দেখার দিক থেকে কাজ হয়েছে work জে.হিন্টনের কাগজটি পড়ার আগে আপনি এই ব্লগটি ভাল বোঝার জন্য পড়তে পারেন ।
নিউরাল নেটওয়ার্কগুলির প্রচুর ডেটা এবং প্রশিক্ষণের প্রয়োজন। বেশিরভাগ সারণী বিন্যাসের ডেটাসেটের জন্য সিদ্ধান্ত গাছ ভিত্তিক মডেলগুলি ব্যবহার করা আরও ভাল। বেশিরভাগ সময়, সাধারণ মডেলগুলি ভাল নির্ভুলতা দিতে যথেষ্ট। তবে নিউরাল নেটওয়ার্কগুলির তাদের সময়ের পরীক্ষা ছিল। গভীর শিক্ষার বিপ্লব শুরু হওয়ার মাত্র পাঁচ থেকে ছয় বছর হয়েছে, সুতরাং আমরা এখনও গভীর শিক্ষার আসল শক্তি জানি না।