যথাযথ পিএসি শেখার ভিসি মাত্রা সীমানা bound

Question

এটি সর্বজনবিদিত যে ভিসি ডাইমেনশন ডি সহ একটি ধারণা শ্রেণীর জন্য ও ( ডি।) পাওয়ার পক্ষে যথেষ্ট$\mathcal{C}$$d$পিএসি শেখার জন্য লেবেলযুক্ত উদাহরণগুলিসি। পিএসি শেখার অ্যালগরিদম (যা এই অনেক নমুনা ব্যবহার করে) সঠিক বা অনুচিত হয় তা আমার কাছে স্পষ্ট নয়? কেয়ার্নস এবং বাজিরানির পাশাপাশি অ্যান্টনি এবং বিগস এর পাঠ্যপুস্তকে মনে হয় পিএসি শেখার অ্যালগরিদমটি অনুচিত (যেমন, আউটপুট হাইপোথিসিসটিসি-তেথাকে না)$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$\mathcal{C}$$\mathcal{C}$

1. কেউ যদি একইভাবে উপরের দিকের সীমানা যথাযথ পিএসি লার্নিং সেটিংয়ের জন্য ধরে রাখে তবে স্পষ্ট করে বলতে পারেন? যদি তা হয় তবে আপনি কি আমাকে এমন একটি রেফারেন্স দিতে পারেন যেখানে এটি স্পষ্টভাবে উল্লেখ করা হয়েছে এবং এতে স্ব-অন্তর্ভুক্ত প্রমাণ রয়েছে?

2. সম্প্রতি Hanneke ফ্যাক্টরটি থেকে মুক্তি পেয়ে এই সীমাটি উন্নত করেছে । লগ ( 1 / ε ) যথাযথ পিএসি লার্নিং সেটিংয়ের জন্য অপসারণযোগ্য হিসাবে পরিচিত কিনা তা যদি কেউ স্পষ্ট করতে পারে? নাকি এটি এখনও একটি মুক্ত প্রশ্ন?$\log(1/\varepsilon)$$\log(1/\varepsilon)$

Comments

এই হান্নেকের কোন কাগজটি আপনি উল্লেখ করছেন?

— গ্রেডস্টুডেন্ট

@gradstudent arxiv.org/abs/1507.00473

— ক্লিমেন্ট সি

Answer 1

এই প্রশ্নটি আমার নজরে আনার জন্য আর্য্যকে ধন্যবাদ জানাই।

অন্যদের হিসাবে উল্লেখ করেছি, (1) উত্তর হ্যাঁ , এবং গবেষণামূলক ঝুঁকি যথাসম্ভব সহজ পদ্ধতি $\mathcal{C}$ অর্জন করা $O((d/\varepsilon)\log(1/\varepsilon))$ নমুনা জটিলতা (Vapnik এবং Chervonenkis, 1974 দেখ; ব্লুমার, এহরনফুফ্ট, হসেলার এবং ওয়ারমুথ, 1989)।

(2) হিসাবে, জানা আসলে স্পেস বিদ্যমান আছে যে $\mathcal{C}$ যেখানে কোন সঠিক লার্নিং আলগোরিদিম জাতিসংঘের বেশী ভালো $\Omega((d/\varepsilon)\log(1/\varepsilon))$ নমুনা জটিলতা, তাই সঠিক শিক্ষা অনুকূল অর্জন করতে পারে না $O(d/\varepsilon)$ নমুনা জটিলতা। আমার জানা মতে, এই ঘটনাটি আসলে কখনই প্রকাশিত হয় নি, তবে ড্যানিয়েলি এবং শ্যালেভ-শোয়ার্টজ (সিওএলটি 2014) সম্পর্কিত মূল যুক্তিযুক্ত (মূলত মাল্টিক্লাস লার্নিংয়ের ক্ষেত্রে আলাদা, তবে সম্পর্কিত, প্রশ্নের জন্য প্রস্তুত করা হয়েছে)।

সহজ ক্ষেত্রে বিবেচনা করুন $d=1$ , এবং স্থান করা $\mathcal{X}$ যেমন $\{1,2,...,1/\varepsilon\}$ , এবং $\mathcal{C}$ সিঙ্গেলনস $f_z(x) := \mathbb{I}[x = z], z \in \mathcal{X}$ : অর্থাৎ, $\mathcal{C}$ প্রতিটি শ্রেণিবদ্ধ $\mathcal{X}$ থেকে এক পয়েন্টকে $1$ এবং অন্যটি 0 হিসাবে শ্রেণিবদ্ধ করে$0$। আবদ্ধ নিম্ন, একটি র্যান্ডম Singleton যেমন লক্ষ্য ফাংশন নিতে $f_{x^*}$ , যেখানে $x^{*} \sim {\rm Uniform}(\mathcal{X})$ , এবং $P$ , এর প্রান্তিক বন্টন $X$ , উপর অভিন্ন হয় $\mathcal{X}\setminus\{x^*\}$ । এখন শিক্ষার্থী লেবেল কোনো উদাহরণ কখনো দেখেনি $1$ , কিন্তু এটা একটি বিন্দু নির্বাচন করা আবশ্যক $z$ জন্য অনুমান লেবেল করা $1$ (গুরুত্বপূর্ণভাবে, `সব শূন্য '' ফাংশন না এ $\mathcal{C}$কোন সঠিক শিক্ষার্থী যাতে আবশ্যক কিছু অনুমান $z$ ), এবং না হওয়া পর্যন্ত প্রতিটি বিন্দু দেখেনি $\mathcal{X}\setminus\{x^*\}$ এটা অন্তত হয়েছে $1/2$ ভুল মনন (অর্থাত, তার এর অবর সম্ভাবনা সুযোগ $f_z$ থাকার $z \neq x^*$ কমপক্ষে হয় $1/2$ )। কুপন সংগ্রাহক যুক্তি বোঝা তা করতে হবে $\Omega((1/\varepsilon)\log(1/\varepsilon))$নমুনা প্রতিটি বিন্দু দেখতে $\mathcal{X} \setminus \{x^*\}$ । সুতরাং এটি যথাযথ সকল $\Omega((1/\varepsilon)\log(1/\varepsilon))$ জন্য Ω ( ( 1 / ε ) লগ ( 1 / ε ) ) এর নিম্ন সীমানা প্রমাণ করে ।

সাধারণ $d>1$ , আমরা $\mathcal{X}$$\{1,2,...,d/(4\varepsilon)\}$ হিসাবে গ্রহণ করি । । । , ঘ / ( 4 ε ) } গ্রহণ $\mathcal{C}$ যেমন ক্লাসিফায়ার $\mathbb{I}_{A}$ সেটের জন্য $A \subset \mathcal{X}$ আকারের ঠিক $d$ থেকে এলোমেলোভাবে লক্ষ্য ফাংশন চয়ন $\mathcal{C}$ আর লাগবে $P$ মাত্র পয়েন্ট আবার অভিন্ন যেমন লক্ষ্য ফাংশন শ্রেণী $0$ ( সুতরাং শিক্ষার্থী কখনই 1 লেবেলযুক্ত পয়েন্টটি দেখতে পায় না$1$)। তারপর কুপন-সংগ্রাহক আর্গুমেন্টের একটি সাধারণীকরণ বোঝা দরকার $\Omega((d/\varepsilon)\log(1/\varepsilon))$ নমুনা অন্তত দেখতে $|\mathcal{X}| - 2d$ থেকে স্বতন্ত্র পয়েন্ট $\mathcal{X}$ , এবং এই অনেক স্বতন্ত্র পয়েন্ট কোন সঠিক শিক্ষার্থী কমপক্ষে হয়েছে দেখে $1/3$ তার চেয়ে অনেক বেশী হওয়ার সম্ভাবনা $d/4$ তার অনুমান এর $A$ এর $d$ তার মনোনীত হাইপোথিসিস পয়েন্ট ভুল $h_{A}$তার ত্রুটি হার মানে চেয়ে বেশী $\varepsilon$ । তাই এই ক্ষেত্রে, সেখানে চেয়ে ছোট নমুনা জটিলতা সঙ্গে কোন সঠিক শিক্ষার্থী হয় $\Omega((d/\varepsilon)\log(1/\varepsilon))$ , যা কোন সঠিক শিক্ষার্থী মানে অর্জন অনুকূল নমুনা জটিলতা $O(d/\varepsilon)$ ।

মনে রাখবেন যে ফলাফলটি $\mathcal{C}$ নির্মিত স্পেসের সাথে বেশ সুনির্দিষ্ট । $\mathcal{C}$ এমন জায়গাগুলি রয়েছে যেখানে যথাযথ শিখররা $O(d/\varepsilon)$ অনুকূল নমুনা জটিলতা অর্জন করতে পারে এবং সত্যিকার অর্থেও সম্পূর্ণ পূর্ণ অভিব্যক্তি $O((d/\varepsilon)+(1/\varepsilon)\log(1/\delta))$ থেকে ( হ্যানেকে, ২০১a এ)। জেনারেল ইআরএম শিখার জন্য কিছু উপরের এবং নিম্ন সীমাগুলি (হান্নেক, ২০১b বি) এ তৈরি করা হয়েছে, স্পেস সি এর বৈশিষ্ট্যগুলির পরিমাণ অনুসারে পরিমিত$\mathcal{C}$পাশাপাশি আরও কয়েকটি বিশেষায়িত কেস নিয়ে আলোচনা করার ক্ষেত্রে যেখানে নির্দিষ্ট যথাযথ শিখররা মাঝে মাঝে অনুকূল নমুনা জটিলতা অর্জন করতে পারে।

তথ্যসূত্র:

ভ্যাপনিক এবং চেরভোনেনকিস (1974)। প্যাটার্ন স্বীকৃতি তত্ত্ব। নওকা, মস্কো, 1974।

ব্লুমার, এহরনফুফ্ট, হসেলার এবং ওয়ারমুথ (1989)। শিক্ষণীয়তা এবং ভ্যাপনিক-চেরভোনেনকিসের মাত্রা। সংস্থার কম্পিউটিং মেশিনারি জার্নাল, 36 (4): 929 )965।

ড্যানেলি এবং শ্যালেভ-শোয়ার্টজ (2014)। মাল্টিক্লাস সমস্যার জন্য সর্বোত্তম শিক্ষানবিস। শেখার তত্ত্বের 27 তম সম্মেলনের কার্যক্রমে।

হানকে (২০১a এ)। পিএসি শেখার অনুকূল নমুনা জটিলতা। মেশিন লার্নিং রিসার্চ জার্নাল, খণ্ড। 17 (38), পৃষ্ঠা 1-15।

হ্যানেকে (2016 বি)। বেশ কয়েকটি শিক্ষাগত অ্যালগরিদমের জন্য পরিশোধিত ত্রুটি সীমাবদ্ধ। মেশিন লার্নিং রিসার্চ জার্নাল, খণ্ড। 17 (135), পৃষ্ঠা 1-55।

Comments

$\mathcal{C}$

@ClementC। সাধারণ শ্রেণিতে যথাযথ শিখার দ্বারা কোন শ্রেণীর অনুকূল হারগুলি অর্জনের উপযুক্ত তা এখনও জানা যায়নি। রেফারেন্সড পেপার "রিফাইন্ড ত্রুটি সীমাবদ্ধ ..." একটি সংহত বৈশিষ্ট্য দেয় যা ক্লাসগুলি সমস্ত ERM শিখার জন্য অনুকূল হারকে স্বীকৃতি দেয় (করোলারি 14)। প্রাসঙ্গিক পরিমাণটি হ'ল "তারা নম্বর": পয়েন্টগুলির সর্বাধিক সংখ্যক এটি যে অন্যগুলি পরিবর্তন না করে যে কোনও একক পয়েন্টের লেবেল উল্টাতে পারে (সংজ্ঞা 9)। ছেদ-বন্ধ ক্লাসগুলির একটি যথাযথ যথাযথ শিক্ষানবিশ রয়েছে: "ক্লোজার" আলগ (কাগজে থিয়েরেম 5, এবং ডার্নস্টাড্ট, 2015 দ্বারা প্রমাণিত)।

— এস হান্নেক

ধন্যবাদ! ${}{}$

— ক্লিমেন্ট সি

Answer 2

আপনার প্রশ্ন (1) এবং (2) সম্পর্কিত। প্রথমে যথাযথ পিএসি লার্নিংয়ের কথা বলি। এটি জানা যায় যে যথাযথ পিএসি প্রশিক্ষণকারী রয়েছে যারা শূন্য নমুনা ত্রুটি অর্জন করে, এবং এখনও প্রয়োজন require$\Omega(\frac{d}{\epsilon}\log\frac1\epsilon)$$\epsilon$$[a,b]\subseteq[0,1]$$O(1/\epsilon)$$[0,0]$। তারপরে একটি সাধারণ কুপন-সংগ্রাহক যুক্তি দেখায় যে আমরা মোটামুটি না পাওয়া পর্যন্ত$\frac{1}{\epsilon}\log\frac1\epsilon$$1/$

পি। আউর, আর্টনার চৌরাস্তা-বদ্ধ ধারণার ক্লাসগুলির জন্য আবদ্ধ একটি নতুন পিএসি। মেশিন লার্নিং 66 (2-3): 151-163 (2007) http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

যথাযথ পিএসি সম্পর্কিত বিষয়টি হ'ল বিমূর্ত ক্ষেত্রে ইতিবাচক ফলাফলের জন্য, কেউ ইআরএম ছাড়িয়ে একটি অ্যালগরিদম নির্দিষ্ট করতে পারে না, যা বলে "লেবেলযুক্ত নমুনার সাথে সামঞ্জস্যপূর্ণ একটি ধারণা সন্ধান করুন" says যখন আপনার অতিরিক্ত কাঠামো যেমন অন্তরগুলি থাকে তখন আপনি দুটি ভিন্ন ইআরএম অ্যালগরিদমগুলি উপরের মতো পরীক্ষা করতে পারেন: একটি ন্যূনতম বনাম সর্বাধিক সামঞ্জস্যপূর্ণ বিভাগ। এবং এগুলির বিভিন্ন নমুনা জটিলতা রয়েছে!

অনুপযুক্ত পিএসি এর শক্তি হ'ল আপনি বিভিন্ন ভোটিং স্কিমগুলি ডিজাইন করতে পান (হান্নেকের এমন একটি ফলাফল) - এবং এই অতিরিক্ত কাঠামো আপনাকে উন্নত হার প্রমাণ করতে দেয়। (অজগনিক পিএসি এর জন্য গল্পটি সহজ, যেখানে ইআরএম আপনাকে সবচেয়ে খারাপের ক্ষেত্রে সবচেয়ে খারাপের হার দেয়, ধ্রুবক পর্যন্ত))

$O(d/\epsilon)$

Comments

$\Theta(d/\epsilon)$$\Theta(d/\epsilon\log (1/\epsilon))$

হ্যাঁ, সামান্য সংরক্ষণের সাথে যে অনুচিত পিএসি জন্য আপনার একটি নির্দিষ্ট অ্যালগরিদম (হান্নেকের) ব্যবহার করতে হবে - কেবল কোনও পুরানো ইআরএম নয়। উত্তরটি নির্দ্বিধায় স্বীকার করুন :)

— আরেহ

$NP\neq RP$

পিএসি শেখার স্বাভাবিক সংজ্ঞাটি পলি টাইম অ্যালগরিদমের জন্য জিজ্ঞাসা করে। আমার বক্তব্যগুলি হ'ল (i) স্বাচ্ছন্দ্য দেওয়া, সঠিক এবং অনুপযুক্তদের একই নমুনা জটিলতা রয়েছে; (ii) এই প্রয়োজনীয়তার সাথে আমরা যথাযথ এবং অনুপযুক্তের মধ্যে নিঃশর্ত বিচ্ছেদ প্রমাণ করতে পারি না (কারণ এটি মূলত আরপি এর সমান নয় NP এর মতো কিছু প্রমাণ করবে)। ( নির্দিষ্ট সুনির্দিষ্ট শেখার অ্যালগরিদমের নমুনা জটিলতার উপর আমরা নিম্নতর সীমাবদ্ধতা প্রমাণ করতে পারি , যদিও, যতদূর আমি বুঝতে পেরেছি আর্যর উল্লেখটি কি করে।)

— ক্লিমেন্ট সি

@ClementC। আপনার পূর্বের একটি মন্তব্যে, আপনি একটি অনুচিত পিএসি অ্যালগরিদম চালানোর পরে উল্লেখ করেছেন, একজন শিক্ষানবিস সম্ভবত অনুপযুক্ত হাইপোথিসিস গ্রহণ করেন এবং শিখর তারপরে ধারণা শ্রেণি থেকে নিকটতম যথাযথ অনুমান (আরও কোনও নমুনা ছাড়াই) খুঁজে পেতে পারেন। কিন্তু শিক্ষার্থীরা কীভাবে বন্টন না করে এটি নমুনা দেওয়া হচ্ছে তা না জেনে এটি করতে পারে? কোনও অজানা বিতরণ অনুসারে নিকটতম কী পরিমাপ করা হচ্ছে না?

— বেনামে

Answer 3

বর্তমানে গৃহীত উত্তর যুক্ত করতে:

1. $$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$ $\mathsf{NP}=\mathsf{RP}$$L$$\mathcal{H}=\mathcal{C}$

2. $\log(1/\varepsilon)$

   $\log(1/\varepsilon)$$(\varepsilon, \delta)$

   (একই কাগজের পাদটীকা 1ও প্রাসঙ্গিক)

---

[১] এ। ব্লুমার, এ। এহরনফুচ্ট, ডি। হসুলার এবং এমকে ওয়ার্মুথ। শিক্ষণীয়তা এবং ভ্যাপনিক-চেরভোনেনকিসের মাত্রা। এসিএমের জার্নাল, 36 (4): 929–965, 1989।

[2] এস হানেক। পিএসি শেখার অনুকূল নমুনা জটিলতা। জে মাচ। উপায় সম্পর্কে জানুন। রেস। 17, 1, 1319-1333, 2016।

[3] এস অরুণাচালাম এবং আর ডি ওল্ফ। অ্যালগরিদম শেখার অনুকূল কোয়ান্টাম নমুনা জটিলতা। 32 তম গণসংযোগ জটিলতা সম্মেলন (সিসিসি) এর কার্যক্রমে, 2017।

Comments

এটি কি অনুমান করা হয়েছে যে হসলার এট-এর 1-অন্তর্ভুক্ত গ্রাফ? যেমন একটি অনুকূল পিএসি লার্নার?

— আরেহ

অ্যারিঃ আমি নিশ্চিত নই আমি যেটা খুঁজে পেলাম তা থেকে ওয়ার্মুথ ২০০৪ সালে এমনটাই অনুমান করেছিলেন I আমি এর চেয়ে বেশি কিছু জানি না।

— ক্লিমেন্ট সি