অ্যাক্টিভেশন ফাংশন সম্পর্কিত নিউরাল নেটওয়ার্কগুলির গণনা শক্তি


10

এটি প্রমাণিত যে যুক্তিযুক্ত ওজনযুক্ত নিউরাল নেটওয়ার্কগুলিতে নিউরাল নেটগুলির সাথে ইউনিভার্সাল ট্যুরিং মেশিন টিউরিং কম্পিউটিংয়ের কম্পিউটারের শক্তি রয়েছে । আমি যা পাই তা থেকে মনে হয় সত্যিকারের মূল্যবান ওজন ব্যবহার করা আরও বেশি গণনার শক্তি লাভ করে, যদিও আমি এই সম্পর্কে নিশ্চিত নই।

তবে, নিউরাল নেট এর গণনা শক্তি এবং এর অ্যাক্টিভেশন ফাংশন এর মধ্যে কোন সম্পর্ক আছে? উদাহরণস্বরূপ, যদি অ্যাক্টিভেশন ফাংশন কোনও স্পেককার ক্রমের সীমাবদ্ধতার সাথে ইনপুটটির তুলনা করে (আপনি নিয়মিত টিউরিং মেশিনের সাথে কিছু করতে পারেন না, তাই না?), এটি কি নিউরাল নেটকে কম্পিউটারের "শক্ত" করে তোলে? কেউ কি আমাকে এই দিকটিতে একটি রেফারেন্সে নির্দেশ করতে পারে?


গণনা শক্তি বলতে কী বোঝ?
এডিএ-কিএ মার্ট-ওরা-ই

@ edA-qamort-ora-y প্রশ্নটি পরিষ্কার করার জন্য আমি কিছু সম্পাদনা করেছি। আপনার যদি অন্য কোনও সম্পাদনা পরামর্শ থাকে তবে আমি
সেগুলিও সংযুক্ত

উত্তর:


12

শুধু একটি নোট:

  • বুলিয়ান অ্যাক্টিভেশন ফাংশন (সাধারণ প্রান্তিকতা) যুক্তিযুক্ত ওজনযুক্ত পুনরাবৃত্তি এর সীমাবদ্ধ রাষ্ট্র অটোমাতার সমতুল্য (মিনস্কি, "গণনা: সসীম এবং অসীম মেশিন", 1967);NN

  • যুক্তিযুক্ত ওজনযুক্ত পুনরাবৃত্ত এর রৈখিক সিগময়েড অ্যাক্টিভেশন ফাংশনগুলি ট্যুরিং মেশিনের সমতুল্য (সিগেলম্যান এবং সোনট্যাগ, " নিউরাল নেটগুলির গণনামূলক শক্তি ", 1995);NN

  • রিয়েল-ওয়েট রিটার্নেন্ট এর লিনিয়ার সিগময়েড অ্যাক্টিভেশন ফাংশন টিউরিং মেশিনের চেয়ে বেশি শক্তিশালী (সিগেলম্যান এবং সোনট্যাগ, " নিউরাল নেটওয়ার্কগুলির মাধ্যমে অ্যানালগ গণনা ", 1993);NN

কিন্তু ...


5

আমি সহজ সমাধান নিচ্ছি এবং "হ্যাঁ" বলব। একটি অ্যাক্টিভেশন ফাংশন বিবেচনা করুন যা কোনও ইনপুট গ্রহণ করে এবং কেবল একটি ধ্রুবক মান দেয় (যা এটি ইনপুটগুলিকে উপেক্ষা করে)। এই নেটওয়ার্কটি সর্বদা একটি ধ্রুবক আউটপুট দেয় এবং এইভাবে এই নেটওয়ার্কের গণ্য শক্তি (সম্ভবত কোনও সংজ্ঞা দ্বারা) শূন্য হয়। এটি কোনও কিছু গণনা করতে সক্ষম নয়।

নেটওয়ার্কের শক্তিতে অ্যাক্টিভেশন ফাংশনটির মধ্যে একটি সম্পর্ক দেখানোর জন্য এটি যথেষ্ট । এটি অবশ্যই দেখাতে পারে না বা অস্বীকারও করে না যে কোনও নেটওয়ার্কের সর্বজনীন টুরিং মেশিনের চেয়ে বেশি শক্তি থাকতে পারে ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.