যে কার্যগুলি দক্ষতার সাথে গণ্যযোগ্য নয় তবে শেখার যোগ্য

Question

আমরা জানি যে (দেখুন, উদাহরণস্বরূপ, [1] এর 1 এবং 3 এর উপপাদ্য), মোটামুটিভাবে উপযুক্ত অবস্থার অধীনে, বহু কার্যকালে টুরিং মেশিন দ্বারা দক্ষতার সাথে গণনা করা যেতে পারে এমন ফাংশনগুলি ("দক্ষতার সাথে গণনাযোগ্য") বহুবর্ষীয় নিউরাল নেটওয়ার্ক দ্বারা প্রকাশ করা যেতে পারে যুক্তিসঙ্গত আকারের সাথে, এবং সুতরাং কোনও ইনপুট বিতরণের অধীনে বহুপদী নমুনা জটিলতা ("শেখার") দিয়ে শিখতে পারবেন।

এখানে "শেখার যোগ্য" কেবলমাত্র গণনার জটিলতা নির্বিশেষে নমুনা জটিলতায় উদ্বেগ প্রকাশ করে।

আমি খুব ঘনিষ্ঠভাবে সম্পর্কিত সমস্যাটি নিয়ে ভাবছি: এমন কোনও ফাংশন রয়েছে যা টুরিং মেশিন দ্বারা বহুপক্ষীয় সময়ে দক্ষতার সাথে গণনা করা যায় না ("দক্ষভাবে গণনাযোগ্য নয়"), তবে ইতিমধ্যে, বহুবর্ষীয় নমুনা জটিলতার সাথে শিখতে পারবেন ("শেখার") কোন ইনপুট বিতরণ অধীনে?

• [1] রুই লিভনি, শাই শ্যালেভ-শোয়ার্টজ, ওহাদ শামির, " প্রশিক্ষণ নিউরাল নেটওয়ার্কগুলির গণ্য দক্ষতার বিষয়ে ", ২০১৪

Comments

আমি "এর সাথে ইস্যু করি এবং এটি শিখে নেওয়া যায়"। এখানে খুব দক্ষতার সাথে গণনাযোগ্য ফাংশন রয়েছে (যেমন, ডিএফএ) যা প্রায় শিখতে খুব কঠিন।

— আরেহ

এটি সম্ভবত পয়েন্টটি অনুপস্থিত, তবে (বলুন) 2 - the এর শ্রেণীর কী হবে √ বেসড বুলিয়ান ফাংশন? (অর্থাত্ কম-বেশি,সম্ভাব্যতা2-withসহ প্রতিটি মান স্বাধীনভাবে1 এরসাথেএকটি এলোমেলো ক্রিয়াকলাপ$2^{-\sqrt{n}}$$1$ )। কোনε>2-$2^{-\sqrt{n}}$ , অভিন্ন বিতরণের অধীনে পিএসি-লার্নিং তুচ্ছ (0 টি নমুনা প্রয়োজন, ধ্রুবক ক্রিয়া0একটি ভাল অনুমান) তবে এটি মনে হয় যে কোনও মূল্যায়ন অ্যালগরিদমকে অতিমানবিক সময় ব্যয় করতে হবে (কারণ কার্যটির কোনও কাঠামো নেই)। যদিও আমি সম্ভবত ভুল বোঝাবুঝি করছি। $\varepsilon > 2^{-\sqrt{n}}$$0$

— ক্লিমেন্ট সি

আপনার পরিভাষাটি কিছুটা বিভ্রান্তিকর। যখন আমরা "দক্ষভাবে শেখার যোগ্য" বলি আমরা সাধারণত গণনা দক্ষতার কথা উল্লেখ করি। নমুনার দক্ষতা বোঝাতে কেবল "শেখার যোগ্য" বলা যথেষ্ট।

— লেভ রেইজিন

@ মিনকভ পিএসি শিখতে, আপনার যে কোনও বিতরণের ক্ষেত্রে শ্রদ্ধার সাথে শেখা উচিত। অন্যথায় প্রশ্ন আকর্ষণীয় নয় (যেমন ক্লিমেন্ট দেখায়)।

— লেভ রেইজিন

লোকেরা কেন ভোট বন্ধ করছে? আমি মনে করি এটি একটি গভীর এবং সূক্ষ্ম প্রশ্ন!

— আরেহ

Answer 1

আমি এই প্রশ্নের একটি বৈকল্পিক আনুষ্ঠানিকভাবে করব যেখানে "দক্ষতা" "গণনাযোগ্যতা" দ্বারা প্রতিস্থাপিত হয়।

যাক $C_n$ সব ভাষার ধারণা বর্গ হতে $L\subseteq\Sigma^*$ উপর টুরিং মেশিন দ্বারা স্বীকৃত $n$ রাজ্যের বা তার চেয়ে কম। সাধারণভাবে, $x\in\Sigma^*$ এবং $f\in C_n$ , $f(x)$ মূল্যায়নের সমস্যাটি অনস্বীকার্য।

তবে, ধরুন আমাদের সি এন এর জন্য একটি (যথাযথ, উপলব্ধিযোগ্য) পিএসি-লার্নিং ওরাকল $A$ অ্যাক্সেস রয়েছে । অর্থাৎ কোন ε , δ > 0 , ওরাকল আকারের একটি লেবেল নমুনা অনুরোধ মি 0 ( এন , ε , δ ) যেমন যে অভিমানী যেমন একটি নমুনা একটি অজানা বন্টন থেকে IID ড্র হয়েছিল ডি , ওরাকল একটি একটি হাইপোথিসিস আউটপুট চ ∈ সি এন যা সম্ভাব্যতা সঙ্গে অন্তত 1 - δ রয়েছে ডি$C_n$$\epsilon,\delta>0$$m_0(n,\epsilon,\delta)$$D$$A$$\hat f\in C_n$$1-\delta$$D$-generalization ত্রুটি নয় চেয়ে বেশি $\epsilon$ । আমরা দেখাব যে এই ওরাকল টিউরিং-গণনাযোগ্য নয়।

প্রকৃতপক্ষে, আমরা দেখাব যে একটি সহজ সমস্যা অনস্বীকার্য: একটি নির্ধারণ, একটি লেবেলযুক্ত নমুনা $S$ , এস এর সাথে সামঞ্জস্য রেখে কোনও $f\in C_n$ আছে কিনা । ধরুন (একটি বৈপরীত্য পেতে) কে একটি টিউরিং মেশিন যা ধারাবাহিকতার সমস্যাটি স্থির করে।$S$$K$

আমরা নিম্নলিখিত নোটেশনাল সম্মেলন করি। সনাক্ত করা $\Sigma^*$ সঙ্গে $\mathbb{N}=\{0,1,2,\ldots\}$ স্বাভাবিক lexicographic ক্রম মাধ্যমে। জন্য $x\in\{0,1\}^*$ , আমরা বলতে যে একটি টি এম $M$ "s-প্রিন্ট" $x$ যদি এটা স্ট্রিং সমস্ত গ্রহণ $\Sigma^*$ সূচকের সংশ্লিষ্ট $i$ St $x_i=1$ এবং দ্বারা সম্ভবত গ্রহণ করে না ( থামানো) সূচকগুলির সাথে সম্পর্কিত যে কোনও স্ট্রিং $x_i=0$ । যেহেতু (অনুমানের দ্বারা)$K$ গ্রহণযোগ্য, তাই এটি অনুসরণ করে যে$\tilde K:x\mapsto k$ , সবচেয়ে ছোট$k$ হিসাবে সংজ্ঞায়িত করা হয়েছেযে$C_k$ এস-প্রিন্টস$x$ কিছু টিএম, টুরিং-কম্পিউটেবল। এটি আরও অনুসরণ করে যে ফাংশন $g:k\mapsto x$ , যা কমপক্ষে (অভিধানে) স্ট্রিং x ∈ { 0 , 1 } ∗ যেমনএকটি$k\in\mathbb{N}$ মানচিত্রকরে ˜ কে ( এক্স)$x\in\{0,1\}^*$$\tilde K(x)>k$ , গণনাযোগ্যও।

এখন টি এম সংজ্ঞায়িত $M$ নিম্নরূপ: $M$ এস-প্রিন্ট $g(|\langle M\rangle|)$ , যেখানে $\langle M\rangle$ এনকোডিং হয় $M$ , $|x|$স্ট্রিংয়ের দৈর্ঘ্য নির্দেশ করে এবং পুনরাবৃত্তির উপপাদ্যকে এই জাতীয় $M$ এর অস্তিত্ব প্রমাণ করতে অনুরোধ করা হচ্ছে । তারপরে $M$ এর কিছু এনকোডিং দৈর্ঘ্য রয়েছে, $\ell=|\langle M\rangle|$, এবং এটি কিছু স্ট্রিং এস-মুদ্রণ করে, $x_M\in\{0,1\}^*$$\tilde K(x_M)>\ell$$x_M$ cannot be S-printed by any TM with description length $\ell$ or shorter. And yet it is defined as the S-print output of a TM with description length $\ell$ --- a contradiction.

Comments

চ্যালেঞ্জ: দক্ষতার মাধ্যমে আমার "ইনফিনেটরি" যুক্তিটি কম্পিউটারের মাধ্যমে একটি চূড়ান্তভাবে রূপান্তর করুন। আমি মনে করি @ মিঙ্কভের প্রশ্নের উত্তর নেতিবাচক: আপনি দক্ষতার সাথে মূল্যায়ন করতে পারবেন না এমন কোনও ফাংশন শ্রেণি দক্ষতার সাথে শিখতে পারবেন না। আমি মনে করি যদি আপনি যথাযথ বা উপলব্ধিযোগ্য পিএসি ছাড়িয়ে যান তবে এটি সত্য হতে থাকবে।

— আরেহ