মানব মস্তিস্ক বনাম নিউরাল নেটওয়ার্কের দক্ষতা efficiency

Question

গণনার জন্য আমাদের মোট শক্তি বাজেট যদি মানুষের মস্তিষ্কের শক্তি বাজেটের ( 12.6 ওয়াট ) সমতুল্য হয় তবে আমরা এখন কত বড় কৃত্রিম নিউরাল নেটওয়ার্ক (পুরো ট্রেন-ব্যাকপ্রপ চক্রের সাথে বা কেবল নেটওয়ার্ক আউটপুটগুলির মূল্যায়ন করে) চালাতে পারি ?

আসুন প্রতি সেকেন্ডে একটি চক্র ধরে নেওয়া যাক যা জৈবিক নিউরনের ফায়ারিং হারের সাথে মোটামুটি মিলছে ।

Comments

আমি এই প্রশ্ন জিজ্ঞাসা করতে যাচ্ছি। আমি অন্য সুখী কেউ ইতিমধ্যেই করেনি করছি :)

— Eka থেকে

Answer 1

আইবিএম এর ট্রু নর্থ সহ 12.6 মিলিয়ন কৃত্রিম নিউরন

২০১৪ সালে ফিরে আইবিএমের ট্রু নর্থ চিপ ১০০ মিলিয়ন ডাব্লু এরও কম সময়ে ১ মিলিয়ন নিউরনকে ধাক্কা দিচ্ছিল।

সুতরাং এটি 12.6 ওয়াটের প্রায় 126 মিলিয়ন কৃত্রিম নিউরন।

একটি মাউস 70 মিলিয়ন নিউরন আছে।

আইবিএম বিশ্বাস করে যে তারা একটি "মাত্র" 4 কেডব্লুতে মানব-মস্তিষ্কের স্কেল ট্রু নর্থ মেইনফ্রেম তৈরি করতে পারে।

একবার 3D ট্রানজিস্টর বাজারে আসার পরে আমি মনে করি আমরা খুব দ্রুত প্রাণীর মস্তিষ্কের দক্ষতা অর্জন করব।

Comments

> সুতরাং এটি 12.6 ওয়াটের প্রায় 126 মিলিয়ন কৃত্রিম নিউরন। > একটি মাউসের 70 মিলিয়ন নিউরন থাকে। সমস্যাটি হ'ল, আমরা জানি না যে কোনও একক কৃত্রিম "নিউরন" সত্যিকারের জৈবিক নিউরনের জন্য একটির সমতুল্য কিনা।

— মাইন্ডক্রিম

মাইন্ডক্রাইম ছাড়াও, মনে রাখবেন যে প্রায় 60 বছর ধরে নিউরোসায়েন্টস / এআই গবেষকরা ধারাবাহিকভাবে খারাপভাবে মানুষের মস্তিষ্কের প্রক্রিয়াকরণ শক্তিটিকে অবমূল্যায়ন করেছেন। আমি বড় নামগুলির প্রথম দিকের অনুমানগুলি দেখেছি যে আমাদের মন কেবল কয়েক 100 এমবি সঞ্চয় করতে পারে! আমরা এখনও বিট গভীরতা, সঠিক আর্কিটেকচার, মস্তিষ্কের কোষগুলিতে কোয়ান্টামের সম্ভাব্য রাজ্যগুলির মতো বিষয়গুলির মধ্যে ফ্যাক্টর করতে পারি না I । এআই গবেষকরা historতিহাসিকভাবে সর্বদা তাদের নিজস্ব ক্ষমতাকে খারাপভাবে বিবেচনা করেছেন।

— এসকিউএল সার্ভারস্টেভ

আসলে, আইবিএম চিপস সম্পর্কে ভুলে গেছি। প্রশ্ন লেখার সময় আমি তাদের বিবেচনায়ও নিইনি, কারণ তাদের দক্ষতা সম্পর্কে যেমন সমালোচনা রয়েছে (উদাহরণস্বরূপ facebook.com/yann.lecun/posts/10152184295832143 )। যদিও প্রযুক্তিগতভাবে তারা এখনও নিউরাল নেটওয়ার্কগুলি প্রয়োগ করে, তাই আমার কাছ থেকে +1 1

— লাইওরি

@ মাইন্ডক্রাইম এবং এসকিউএল সার্ভারস্টিভ ওয়েল, প্রশ্নটি বিশেষত ভ্যানিলা ফিড ফরোয়ার্ড এএনএন স্টক হার্ডওয়্যারে চলমান সম্পর্কে হতে পারে। যদিও আমি প্রশ্নটি থেকে এই ধারণাটি পেয়েছি তা নয়।

— ডক্সোসোফোই

এমনকি এটি কৃত্রিম নিউরাল নেটওয়ার্কগুলির সম্পর্কে বলে মনে হয় নি যা এখনও কল্পনা করা যায়নি।

— ডক্সোসোফোই

Answer 2

আপনি যদি নিজেকে 12.6 ওয়াটের মধ্যে সীমাবদ্ধ রাখেন তবে আপনি খুব বেশি কিছু করতে পারবেন না। একটি আধুনিক জিপিইউর জন্য বিদ্যুতের খরচটি কেবল অনুসন্ধান করুন, লোকেরা সেগুলির জন্য যে আকারের নেটওয়ার্কগুলি প্রশিক্ষণ দিচ্ছে তা দেখুন এবং তারপরে স্কেল ডাউন করুন। রেফারেন্সের জন্য, আধুনিক জিপিইউ ভারী ব্যবহারের মধ্যে 52-309 ওয়াটের মধ্যে গ্রাস করে ।

স্পষ্টতই শক্তির দক্ষতা এমন একটি ক্ষেত্র যেখানে মানুষের মস্তিষ্ক এখনও এএনএন-র প্রধান।