ইউনিফর্ম বিতরণে 2-ডিএনএফের যথাযথ পিএসি লার্নিং

Question

নমুনা প্রশ্নাবলী এবং অভিন্ন বিতরণের অধীনে যথাযথ পিএসি লার্নিং 2-ডিএনএফ সূত্রগুলির ক্যোয়ারী জটিলতা সম্পর্কে শিল্পের ফলাফল কী ? নাকি এর উপর আবদ্ধ কোন তুচ্ছ?

যেহেতু আমি শেখার তত্ত্বের সাথে মোটেই পরিচিত নই এবং এই প্রশ্নটি একটি ভিন্ন ক্ষেত্র দ্বারা অনুপ্রাণিত, উত্তর সম্ভবত সুস্পষ্ট হতে পারে। আমি কেয়ার্নস এবং ভিজিরানির বইটি চেক করেছি, তবে তারা এই সেটিংটি স্পষ্টভাবে বিবেচনা করে বলে মনে হয় না।

upd। যদিও আগ্রহের মূল প্যারামিটারটি কোয়েরি জটিলতা, চলমান সময়টিও গুরুত্বপূর্ণ। যদি সম্ভব হয় তবে চলমান সময়টি প্রায় জিজ্ঞাসা জটিলতা বা সর্বাধিক বহুবর্ষের মতোই হওয়া উচিত।

upd। বালকান এবং হার্ভির "লার্নিং সাবমোডুলার ফাংশনগুলি" পত্রিকার পরিশিষ্ট বি (18 পৃষ্ঠার শীর্ষে) উল্লেখ করেছে যে "2-DNFs ইফ-সায়েন্সালি পিএসি-লার্নিংযোগ্য" এটি সুবিদিত। তবে, তারা উল্লেখ করেন না, এই ফলাফলটি সঠিক শেখার জন্য কিনা বা কোনও রেফারেন্স দেয় কিনা ।

Comments

এ কেমন প্রশ্ন?

— টিমোথি সান

মাত্র নমুনা। এছাড়াও আমি অনুমান করি যে আমার স্পষ্ট হওয়া উচিত যে প্রশ্নটি ক্যোয়ারী জটিলতা সম্পর্কিত, চলমান সময় নয় (সম্পাদিত)।

— গ্রেগরি ইয়ারোস্লাভটসেভ

আমি আপনার প্রশ্নের উত্তর দিয়েছি, ধরে নিলাম নমুনা প্রশ্নগুলি কেবল এলোমেলো উদাহরণ (এবং সদস্যপদ অনুসন্ধানগুলি নয়)।

— লেভ Reyzin

হ্যাঁ, অনুসন্ধানগুলি অভিন্ন বিতরণ থেকে কেবল এলোমেলো উদাহরণ।

— গ্রেগরি ইয়ারোস্লাভটসেভ

Answer 1

আপনি নিম্নলিখিতটি একটি অপ্রয়োজনীয় বাউন্ডে বিবেচনা করবেন কিনা তা আমি জানি না, তবে আমি এখানে যাই।

প্রথমত, পরিষ্কার হওয়া যাতে আমরা বিভ্রান্ত না হই $c$-ডিএনএফ সহ $k$-মেয়াদী ডিএনএফ (যা আমি প্রায়শই করি), এ $c$ভেরিয়েবলের উপর -DNF সূত্র $x_1, \ldots, x_n$ ফর্ম হয় $\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$ কোথায় $\forall 1 \le i \le k$ এবং $1 \le j \le c$, $\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$।

আমরা প্রথমে জিজ্ঞাসা করতে পারি যে একটিতে কতগুলি স্বতন্ত্র পদ বিদ্যমান $c$-DNF। প্রতিটি পদ থাকবে$c$ এর $n$ভেরিয়েবল, প্রতিটি হয় উপেক্ষিত বা না - বিভিন্ন সম্ভাব্য শর্তাদি তৈরি করে। ২-ডিএনএফ দৃষ্টান্তে, প্রতিটি শব্দটি হয় or জন্য তৈরি হয় না হয় প্রদর্শিত হয় সম্ভাব্য "লক্ষ্যমাত্রা", যেখানে the অনুমানের স্থান।$2^c\binom{n}{c}$$|\mathcal{H}| = 2^{2^c\binom{n}{c}}$$\mathcal{H}$

একটি অ্যালগরিদম কল্পনা করুন যা নমুনা নেয় এবং তারপরে সমস্তঅনুমানগুলি যতক্ষণ না এটি এমন কোনও সন্ধান করে যা নমুনাগুলির উপর পুরোপুরি পূর্বাভাস দেয়। ওকামের রেজার উপপাদ্যটি বলে যে এই অ্যালগরিদমের জন্য আপনাকে কেবলমাত্র samples নমুনাগুলি গ্রহণ করতে হবে সম্ভাব্যতার সাথে ত্রুটিযুক্ত ।$m$$|\mathcal{H}|$$m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$$\le \epsilon$$\ge 1-\delta$

আমাদের ক্ষেত্রে, , , যার অর্থ আপনার (যথাযথ) শেখার জন্য প্রায় নমুনার প্রয়োজন ।$c=2$$\lg|\mathcal{H}| = O(n^2)$$n^2$

তবে শেখার পুরো গেমটি আসলে নমুনা জটিলতা নয় (যদিও এটি সেই গেমের অংশ, বিশেষত বৈশিষ্ট্য-দক্ষ দক্ষতায়), বরং বহু-কালীন অ্যালগরিদমগুলি ডিজাইনের চেষ্টা করার ক্ষেত্রে trying আপনি যদি দক্ষতার বিষয়ে চিন্তা করেন না, তবে পিএসি নমুনা জটিলতার জন্য হ'ল সহজ উত্তর।$n^2$

আপডেট (পরিবর্তিত প্রশ্ন দেওয়া) :

আপনি স্পষ্ট করে বলেছিলেন যে আপনি কেবল নমুনা জটিলতার প্রতি যত্নবান ছিলেন, তাই আমি ব্রুট-ফোর্স ওকাম অ্যালগোরিদমকে উপস্থাপন করেছি, এটি সম্ভবত সবচেয়ে সহজ যুক্তি। যাইহোক, আমার উত্তরটি কিছুটা চতুর ছিল। -DNF আসলে বহুপক্ষীয় সময়ে শেখা যায়! এটি ভ্যালিয়েন্টের মূল কাগজ, " এ থিওরি অফ দ্য লার্নেবল " এর ফলাফল। আসলে ডিএনএফ যে কোনও জন্য শেখা যায় ।$2$$c$$c = O(1)$

যুক্তিটি নিম্নরূপ যায়। আপনি ডিএনএফটিকে "মেটা-ভেরিয়েবলগুলি" এর বিভাজন হিসাবে দেখতে পারেন এবং উদাহরণগুলির সাথে মেলে -ভেরিয়েবলগুলিকে অসম্পূর্ণ করে মুছে ফেলা শিখতে চেষ্টা করতে পারেন। এই জাতীয় সমাধান সহজেই কোনও "যথাযথ" সমাধানে অনুবাদ করা যেতে পারে এবং এটি সময় নেয়। পার্শ্ব-নোট হিসাবে, জন্য বহু-কালীন অ্যালগরিদম আছে কিনা তা এখনও উন্মুক্ত ।$c$$\approx n^c$$O(n^c)$$c = \omega(1)$

নমুনা জটিলতাটিও একটি নিম্ন সীমাবদ্ধ কিনা , উত্তরটি বেশ হ্যাঁ। এহরনফুচ্ট এট আল-র এই কাগজটি । ওকেম বাউন্ডটি প্রায় শক্ত বলে দেখায়।$n^2$

Comments

ধন্যবাদ! এটি একটি অ-তুচ্ছ ফলাফল - আমি বুঝতে পারিনি যে ক্ষণস্থায়ী চলমান সময় সহায়ক হবে। যাইহোক, আমি যে অ্যাপ্লিকেশনটি মনে রেখেছি তার জন্য আসলে বহুপদী সময়টি অনেক বেশি কাঙ্ক্ষিত (প্রশ্নটি আপডেট করা)। আপনি যে পদ্ধতির বর্ণনা করেছেন সেটি কি এই সমস্যার জন্য সর্বাধিক পরিচিত? ক্যোয়ারী জটিলতায় (এমনকি আনবাউন্ডেড চলমান সময়ের জন্য) কি কোনও নিম্ন সীমানা রয়েছে?

— গ্রেগরি ইয়ারোস্লাভটসেভ

প্রশ্নটি উত্সাহিত করে এমন একটি রেফারেন্স সহ প্রশ্ন আপডেট করেছেন।

— গ্রেগরি ইয়ারোস্লাভটসেভ

আপডেট উত্তর আপনার আপডেট প্রশ্ন দেওয়া

— লেভ Reyzin

এছাড়াও - এই ক্ষেত্রে, আমি মনে করি না যে ক্ষণস্থায়ী চলমান সময় সহায়ক। তবে সাধারণভাবে, এটি বলে মনে হয়। আপনার ঘনিষ্ঠ সময় থাকলে সাধারণত শেখা (অনুকূল নমুনা জটিলতার সাথে) easy

— লেভ Reyzin

অনেক ধন্যবাদ! উল্লেখগুলি যাচাই করার জন্য আমার কিছুটা সময় প্রয়োজন হবে তবে এখন পর্যন্ত এটি সম্পূর্ণ উত্তর বলে মনে হচ্ছে।

— গ্রেগরি ইয়ারোস্লাভটসেভ