"আরএনএন এর অর্থ (এবং প্রমাণ) যে কোনও অ্যালগোরিদম আনুমানিক করতে পারে"


28

সম্প্রতি আমি পড়েছি যে একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক যে কোনও অ্যালগরিদম আনুমানিক করতে পারে।

সুতরাং আমার প্রশ্নটি: এর সঠিক অর্থ কী এবং আপনি যেখানে আমাকে এটি প্রমাণিত করতে পারেন একটি রেফারেন্স দিতে পারেন?


হালবার্ট হোয়াইটের কাজগুলি পরীক্ষা করুন। আমি মনে করি যে তিনিই একজন নিউরাল নেটওয়ার্ক প্রমাণ করেছেন যে সর্বজনীন আনুমানিক। (যদিও পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি সম্পর্কে নিশ্চিত নয়))
রিচার্ড হার্ডি

উত্তর:


42

পটভূমি

আমাদের প্রথমে গণনা তত্ত্ব থেকে কিছু ধারণাগুলি অতিক্রম করতে হবে। একটি অ্যালগোরিদম একটি ফাংশন গণনা করার পদ্ধতি is ইনপুট দেওয়া হয়েছে, অ্যালগরিদম একটি সীমাবদ্ধ পদক্ষেপের একটি নির্দিষ্ট সংখ্যায় সঠিক আউটপুট উত্পাদন করতে হবে এবং তারপরে সমাপ্ত হবে। কোনও ফাংশনটি গণনাযোগ্য এটির অর্থ এটি গণনা করার জন্য একটি অ্যালগরিদম বিদ্যমান। সমস্ত ফাংশনের অসীম সেটগুলির মধ্যে, বেশিরভাগটি গণনাযোগ্য নয়। ট্যুরিং মেশিনগুলি একটি গাণিতিক মডেল যা গণনার ধারণাটি আনুষ্ঠানিক করে। অন্যান্য সমতুল্য মডেল উপস্থিত রয়েছে তবে ট্যুরিং মেশিনগুলি হ'ল স্ট্যান্ডার্ড 'রেফারেন্স মডেল'। মতে চার্চ-টুরিং থিসিসকোনও ট্যুরিং মেশিন দ্বারা যে কোনও অ্যালগরিদম প্রয়োগ করা যায় এবং সমস্ত গণনীয় ফাংশনগুলি এইভাবে গণনা করা যায়। টুরিং মেশিনের যে কোনও বিশেষ উদাহরণ কেবল একটি নির্দিষ্ট ফাংশন গণনা করে। তবে, সেখানে ইউনিভার্সাল ট্যুরিং মেশিন নামে একটি বিশেষ শ্রেণীর টুরিং মেশিন রয়েছে যা কোনও ইনপুটের জন্য অন্য কোনও ট্যুরিং মেশিনকে অনুকরণ করতে পারে। তারা নিজের ইনপুট অংশ হিসাবে সিমুলেটেড করা মেশিনের বিবরণ গ্রহণ করে এবং এটি করে। ইউনিভার্সাল ট্যুরিং মেশিনের যে কোনও বিশেষ উদাহরণ যেকোন গণনীয় ফাংশন গণনা করতে পারে (অর্থাত্ কোনও অ্যালগোরিদম প্রয়োগ করতে পারে)। যে কোনও সিস্টেম যা এই ক্ষমতা ভাগ করে নেয় তাকে ট্যুরিং সম্পূর্ণ বলে। কোনও সিস্টেম টুরিং সম্পূর্ণরূপে প্রমাণ করার একটি উপায় হ'ল এটি সর্বজনীন টুরিং মেশিনকে অনুকরণ করতে পারে তা দেখানো। অনেকগুলি সিস্টেমকে ট্যুরিং সম্পূর্ণ বলে দেখানো হয়েছে (যেমন বেশিরভাগ প্রোগ্রামিং ভাষা, নির্দিষ্ট সেলুলার অটোমেটা এবং কোয়ান্টাম মেকানিক্স )।

পুনরাবৃত্তি নিউরাল নেটওয়ার্কগুলি

নিম্নলিখিত কাগজটি দেখায় যে কোনও গণনাযোগ্য ফাংশনের জন্য একটি সীমাবদ্ধ পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন) রয়েছে যা এটি গুণতে পারে। তদ্ব্যতীত, এখানে সীমাবদ্ধ আরএনএন রয়েছে যা সম্পূর্ণ টিউরিং, এবং তাই কোনও অ্যালগরিদম বাস্তবায়ন করতে পারে।

সিগেলম্যান এবং সন্টাগ (1992) । নিউরাল নেট এর গণনা শক্তি উপর

তারা ঘন ঘন সংযুক্ত ইউনিটগুলির সীমাবদ্ধ সংখ্যক নেটওয়ার্কগুলি ব্যবহার করে যা প্রতিটি সময় পয়েন্টে বাহ্যিক ইনপুট গ্রহণ করে। প্রতিটি ইউনিটের অবস্থা তার ইনপুটগুলির একটি ভারিত যোগ দ্বারা দেওয়া হয় (প্লাস একটি পক্ষপাত), একটি ননলাইনার অ্যাক্টিভেশন ফাংশন দিয়ে চালিত হয়। অ্যাক্টিভেশন ফাংশনটি একটি স্যাচুরেটেড লিনিয়ার ফাংশন, যা সিগময়েডের টুকরোচক লিনিয়ার আনুমানিক। ওজন এবং বায়াসগুলি স্থির থাকে, তাই কোনও শিখন ঘটে না।

বাইনারি ইনপুট ক্রম থেকে বাইনারি আউটপুট অনুক্রমের জন্য নেটওয়ার্ক ম্যাপিং করে। নেটওয়ার্কে দুটি বাহ্যিক ইনপুট রয়েছে, যা সমস্ত ইউনিটকে খাওয়ানো হয়: একটি 'ডেটা লাইন' এবং একটি 'বৈধতা রেখা'। ডেটা লাইনে শূন্য এবং এরগুলির ইনপুট ক্রম থাকে তবে ইনপুট ক্রম শেষ হওয়ার পরে শূন্য হয়। বৈধতা লাইনটি কখন ইনপুট ক্রমটি ঘটছে তা নেটওয়ার্ককে জানতে দেয়। এতে ইনপুট ক্রমের সময়কালের জন্য একটি রয়েছে, তারপরে এটি শেষ হওয়ার পরে শূন্য। একটি ইউনিটকে 'আউটপুট ইউনিট' হিসাবে বিবেচনা করা হয়। এটি কিছু স্বেচ্ছাসেবী বিলম্বের জন্য জিরোকে আউটপুট দেয়, তারপরে শূন্য এবং এরগুলির আউটপুট অনুক্রম, তারপরে আউটপুট ক্রম সমাপ্ত হওয়ার পরে শূন্য। অন্য ইউনিটকে 'বৈধকরণ ইউনিট' হিসাবে বিবেচনা করা হয়, যা আসুন কখন আমাদের আউটপুট ক্রম ঘটবে তা জানতে দিন।

যদিও এই আরএনএনগুলি বাইনারি আউটপুট সিকোয়েন্সগুলিতে বাইনারি ইনপুট সিকোয়েন্সগুলি মানচিত্র করে তবে আমরা অন্যান্য বিভিন্ন গাণিতিক অবজেক্টগুলিতে (অন্যান্য ধরণের সংখ্যা, ভেক্টর, চিত্র, গ্রাফ ইত্যাদি) উপর সংজ্ঞায়িত ফাংশনগুলিতে আগ্রহী হতে পারি। তবে, কোনও গণনীয় ক্রিয়াকলাপের জন্য, এই অন্যান্য ধরণের অবজেক্টগুলিকে বাইনারি সিকোয়েন্স হিসাবে এনকোড করা যায় (উদাহরণস্বরূপ , প্রাকৃতিক সংখ্যাগুলি ব্যবহার করে অন্যান্য বস্তুগুলিকে এনকোডিংয়ের বিবরণের জন্য এখানে দেখুন , যা ঘুরেফিরে বাইনারিতে প্রতিনিধিত্ব করা যেতে পারে)।

ফল

তারা দেখায় যে প্রতিটি গণনীয় কার্যের জন্য একটি সীমাবদ্ধ আরএনএন থাকে (উপরে বর্ণিত ফর্মটির) যা এটি গুণতে পারে। তারা এটি দেখিয়ে এই কাজ করে যা স্পষ্টভাবে দুটি স্ট্যাকের সাথে একটি পুশডাউন অটোমেটনের অনুকরণে কোনও আরএনএন ব্যবহার করা সম্ভব। এটি এমন আরও একটি মডেল যা গণনাগতভাবে একটি ট্যুরিং মেশিনের সমতুল্য। যে কোনও গণনীয় ফাংশন একটি টুরিং মেশিন দ্বারা গণনা করা যেতে পারে। যে কোনও টুরিং মেশিনটি দুটি স্ট্যাকের সাথে পুশডাউন অটোমেটনের মাধ্যমে সিমুলেটেড করা যায়। দুটি স্ট্যাক সহ যে কোনও পুশডাউন অটোমেটন একটি আরএনএন দ্বারা অনুকরণ করা যায়। অতএব, কোনও গণনীয় ফাংশন একটি আরএনএন দ্বারা গণনা করা যেতে পারে। তদ্ব্যতীত, কিছু ট্যুরিং মেশিন সর্বজনীন, তাই তাদের অনুকরণকারী আরএনএনগুলি টুরিং সম্পূর্ণ, এবং তাই কোনও অ্যালগরিদম বাস্তবায়ন করতে পারে। বিশেষত, তারা দেখায় যে 1058 বা তারও কম ইউনিট সহ টুরিংয়ের সম্পূর্ণ আরএনএন রয়েছে।

অন্যান্য পরিণতি

সিমুলেশন ফলাফলের একটি আকর্ষণীয় পরিণতি হ'ল আরএনএনগুলির আচরণ সম্পর্কে নির্দিষ্ট প্রশ্নগুলি অনস্বীকার্য। এর অর্থ হ'ল এমন কোনও অ্যালগরিদম নেই যা তাদেরকে সালিশী আরএনএনগুলির জন্য জবাব দিতে পারে (যদিও তারা নির্দিষ্ট আরএনএনগুলির ক্ষেত্রে জবাবদিহি করতে পারে )। উদাহরণস্বরূপ, প্রদত্ত ইউনিট কখনই 0 মান নেয় কিনা এই প্রশ্নটি অনস্বীকার্য; যদি কেউ সাধারণভাবে এই প্রশ্নের উত্তর দিতে পারে, তবে ট্যুরিং মেশিনগুলির জন্য থামানো সমস্যার সমাধান সম্ভব হবে, এটি অনস্বীকার্য।

গণনার শক্তি

উপরের কাগজটিতে, সমস্ত নেটওয়ার্ক পরামিতি এবং রাজ্যগুলি মূলদ সংখ্যা। এটি গুরুত্বপূর্ণ কারণ এটি আরএনএনগুলির শক্তিকে সীমাবদ্ধ করে এবং ফলস্বরূপ নেটওয়ার্কগুলিকে আরও বাস্তববাদী করে তোলে। কারণটি হ'ল যুক্তিগুলি গণনাযোগ্য সংখ্যা , যার অর্থ এটি নির্বিচারে নির্ভুলতার গণনা করার জন্য একটি অ্যালগরিদম রয়েছে। বেশিরভাগ আসল সংখ্যার দ্বন্দ্বহীন, এবং তাই অ্যাক্সেসযোগ্য even এমনকি সর্বাধিক শক্তিশালী টুরিং মেশিন তাদের প্রতিনিধিত্ব করতে পারে না, এবং অনেক লোক সন্দেহ করে যে তাদের দৈহিক বিশ্বেও প্রতিনিধিত্ব করা যেতে পারে। ডিজিটাল কম্পিউটারগুলিতে যখন আমরা 'আসল সংখ্যাগুলি' ব্যবহার করি তখন আমরা একটি আরও ছোট সাবসেট (যেমন 64৪ বিট ভাসমান পয়েন্ট সংখ্যা) অ্যাক্সেস করি । যথেচ্ছ আসল সংখ্যা উপস্থাপনের জন্য অসীম তথ্য প্রয়োজন হবে।

কাগজটি বলেছে যে নেটওয়ার্ককে আসল সংখ্যায় অ্যাক্সেস দেওয়া টিউরিং মেশিনের বাইরেও আরও বেশি করে গণ্য শক্তি বাড়িয়ে তুলবে। সিগেলম্যান এই 'সুপার-টুরিং' সক্ষমতা অন্বেষণ করে আরও বেশ কয়েকটি কাগজ লিখেছিলেন। তবে, এটি লক্ষণীয় যে এগুলি গাণিতিক মডেল, এবং ফলাফলগুলির অর্থ এই নয় যে এই জাতীয় কোনও যন্ত্র প্রকৃতপক্ষে শারীরিক বিশ্বে থাকতে পারে। এটি খোলার প্রশ্ন হলেও এটি করতে পারে না এমন ভাবার পক্ষে যুক্তিসঙ্গত কারণ রয়েছে।


1
আরে, আমি এই দুর্দান্ত আকর্ষণীয় মনে করি, আমি ভাবছিলাম যে এই গণনার তত্ত্ব এবং মেশিন লার্নিং অ্যালগরিদম বা কোয়ান্টাম কম্পিউটিংয়ের সাথে এর সম্পর্ক সম্পর্কে আরও জানার জন্য আপনার কোনও রেফারেন্স আছে কিনা। ধন্যবাদ!
ব্যবহারকারী110320

0

আমি মনে করি এটিই আপনি খুঁজছেন। এই লোকটি প্রমাণ করেছে যে একটি মাল্টিলেয়ার, এমনকি একটি একক স্তর ফিডফরওয়ার্ড নেটওয়ার্ক কোনও ফাংশন আনুমানিক করতে পারে তবে শর্ত থাকে যে জালের যথেষ্ট গোপন ইউনিট রয়েছে।

হর্নিক, কে। (1991)। মাল্টিলেয়ার ফিডফোরওয়ার্ড নেটওয়ার্কগুলির আনুমানিক সক্ষমতা। নিউরাল নেটওয়ার্কগুলি, 4 (2), 251-257।


1
এই আমি বোঝাতে চাইনি। আমি এর জন্য প্রমাণটি ইতিমধ্যে পড়েছি। আমি আমার প্রশ্ন সম্পাদনা করেছি।
user3726947
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.