একটি সমতা শেখার প্রশ্ন

Question

আসুন n বিটগুলির একটি সেটের উপর একটি শ্রেণির ক্রিয়া সংজ্ঞায়িত করি । দুটি বিতরণ পি , কিউ ঠিক করুন যা একে অপরের থেকে "যুক্তিসঙ্গতভাবে" পৃথক (যদি আপনি চান তবে তাদের বৈকল্পিক দূরত্ব কমপক্ষে ϵ , বা অনুরূপ কিছু)।$n$$p, q$$\epsilon$

এখন প্রতিটি ফাংশন চ এই ক্লাসে একটি সংগ্রহ দ্বারা সংজ্ঞায়িত করা হয় ট সূচকের এস , আর নিম্নরূপ মূল্যায়ন করা হয়: নির্বাচিত বিট সমতা 0 হয়, তাহলে থেকে একটি র্যান্ডম নমুনা আসতে পি , অন্য থেকে একটি র্যান্ডম নমুনা আসতে কুই ।$f$$k$$S$$p$$q$

সমস্যা : ধরুন আমি এই শ্রেণি থেকে কিছু চ এর কাছে ওরাকল অ্যাক্সেস দিয়েছি, এবং যখন আমি ϵ (বা দূরত্বের অন্য কোনও পরিমাপ) জানি, আমি পি এবং কিউ জানি না ।$f$$\epsilon$$p$$q$

পিএসি-লার্নিং এফ করার জন্য আমার কল করা সংখ্যার কোনও সীমা আছে ? সম্ভবত আমার উত্তর পরিপ্রেক্ষিতে হতে হবে এন , ট এবং ε ।$f$$n, k$$\epsilon$

দ্রষ্টব্য : আমি আউটপুট ডোমেনটি নির্দিষ্ট করেছিলাম না। আবার, আমি নমনীয়, তবে আপাতত বলে রাখি যে পি এবং কিউ সীমাবদ্ধ ডোমেনের উপরে সংজ্ঞায়িত [ 1 .. এম ] । সাধারণভাবে, আমিও যদি আগ্রহী হতে চাই যখন তারা ওভার সংজ্ঞায়িত করা হয় আর (উদাহরণস্বরূপ, যদি তারা Gaussians)$p$$q$$[1..M]$${\mathbb R}$

Comments

আমি নিশ্চিত না যে আমি মডেলটি বুঝতে পেরেছি। ওরাকল কলটিতে আপনি কী নির্দিষ্ট করবেন? উদাহরণগুলি সর্বদা লক্ষ্য দ্বারা নির্দিষ্ট বন্টন থেকে আঁকা?

— লেভ রেইজিন

ওরাকল কলটিতে আপনি চ () কে আহ্বান জানান এবং এটি একটি মান দেয়।

— সুরেশ ভেঙ্কট

সুতরাং লক্ষ্য ফাংশন f ∈ F উপর নির্ভর করে , হয় p বা q সবসময় উদাহরণ উত্পন্ন করতে ব্যবহৃত হয়? (আমি ধরে নিচ্ছি আপনি কিছুটা ক্লাস এফ শিখছেন ))$f \in F$$p$$q$$F$

— লেভ রেইজিন

হা ঐটা ঠিক. সমস্যাটি হ'ল কোনটি শিখতে হবে (বা সাম্য বিটটি ব্যবহার হচ্ছে তা শিখুন)

— সুরেশ ভেঙ্কট

আপনি কীভাবে এই প্যাকটি মডেলটির সাথে মানিয়ে নেবেন তা নিশ্চিত নই। কিন্তু মনে হচ্ছে যে আলাদা পাবে যথেষ্ট পি থেকে কুই সম্ভাব্যতা সঙ্গে 1 - 1 / ( 2 ট ) এবং তারপর আপনি পেতে পারেন চ ( এক্স ) মান ট সুসংগত স্বাধীন এক্স এবং গসিয়ান বর্জন ব্যবহার এটি চ (যেহেতু চ রৈখিক হয়)। দুটি স্বতন্ত্রিত গাউসিয়ানদের পার্থক্য করা উদাহরণ হিসাবে সহজ। $p$$q$$1 - 1/(2k)$$f(x)$$k$$x$$f$$f$

— সাশো নিকোলভ

Answer 1

নীচের মন্তব্যে আলোচনাটি ইঙ্গিত দেয় যে আমি প্রশ্নটি ভুল বুঝেছি। আমার উত্তরটি ওরাকলের উপর ভিত্তি করে তৈরি করা হয়েছে কোনও ইনপুট না নিয়ে এবং ফিরে আসা ( x , f ( x ) ) যেখানে x ∼ p বা x ∼ q , f ∈ F এর উপর নির্ভর করে । এটি দৃশ্যত যা চাওয়া হচ্ছে তা নয়।$(x, f(x))$$x \sim p$$x \sim q$$f \in F$

---

লক্ষ্য বন্টন যে লক্ষ্য জন্য সংশোধন করা হয়েছে কারণ চ * ∈ এফ , পিএসি-নমুনা উপরের আবদ্ধ প্রযোজ্য (এই সত্য যে এই জন্য লক্ষ্য বন্টন আবদ্ধ এমনকি সম্পূর্ণভাবে উপর নির্ভর করতে পারেন থেকে অনুসরণ করে চ * )। সুতরাং, মি ≤ $f^* \in F$$f^*$ হে (1ε (ভীসি(এফ)+ +লগ(1/δ))) উদাহরণ ত্রুটির একটি হাইপোথিসিস এটি চলা উচিত≤εWP≥1-δ। দ্রষ্টব্য - এই উদাহরণগুলি দেখার পরে একটিএফথেকে একটি সামঞ্জস্যপূর্ণ অনুমানের সন্ধান করা উচিতএবং এটি ট্র্যাকটেবল হতে পারে না।

$$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$$ $\le \epsilon$$\ge 1-\delta$$F$

অন্যদিকে, পি = কিউ = ইউ , ইউনিফর্ম বিতরণ, এমনকি এম ≥ Ω ( ভি সি ( এফ ) ) উদাহরণগুলি এখনও প্রয়োজনীয় (এটি কিছুটা উন্নত করা যেতে পারে) এমনকি এমনকি প্রায় একই তুলনায় নিম্নতর আবদ্ধতা পেতে পারে one ।$p=q=U$$m \ge \Omega(\mathrm{VC}(F))$

পি এবং কিউ এবং তেমনি k এর মধ্যে পরিবর্তিত দূরত্ব এই সীমাগুলির মধ্যে ছোট ব্যবধানে ভূমিকা রাখতে পারে তবে আমি সন্দেহ করি।$p$$q$$k$

Comments

টিপিক্যাল পিএসি-লার্নিং সেটিংটিতে একটি ওরাকল ( এফ , ডি ) রয়েছে যা ডিস্ট্রিবিউশন ডি থেকে একটি নমুনা এক্স আঁকবে এবং রিটার্ন ( x , f ( x ) ) । সুরেশের প্রশ্নে বা ব্লগ পোস্টে এটি বর্ণিত সেটিংস নয় যা এটি অনুপ্রাণিত করেছে: bit.ly/YtwdST । এই দুটি ইন, ওরাকল হয় ফাংশন চ , এবং শিক্ষার্থী (দৈর্ঘ্য এর bitstrings উদাহরণস্বরূপ সেট থেকে কোনো উপাদান জমা দিতে হয় বিনামূল্যে $(f,D)$$x$$D$$(x, f(x))$$f$$n$ )। লেভ, আপনার উত্তরটি কি প্রথম ধরণের বা একটি দ্বিতীয় ধরণের একটি বাণী অনুমান করে? যদি দ্বিতীয় ধরণের, আমরা এখনও প্যাক-শেখার বিষয়ে কথা বলছি?

— কেকি বুরজোরজি

আমি দেখি. পিএসি মধ্যে "ওরাকল" সাধারণত একটি বাটন যা আয় হিসেবে মনে করা হয় ( এক্স , চ ( এক্স ) ) যেখানে এক্স ~ ডি । আপনি যে ওরাকলটি বর্ণনা করেছেন তাকে এফ থেকে "সদস্যতা ক্যোয়ারী" বলা হয় । আমার উত্তরটি কেবল প্রাক্তনের ক্ষেত্রে প্রযোজ্য। আপনি যদি কেবল সদস্যতা অনুসন্ধান করেন তবে সুরেশের কাঠামো ব্যবহার করে আপনি কীভাবে পি বা কিউ সম্পর্কে কোনও তথ্য খুঁজে পাবেন ? সরলতার জন্য পি = কিউ বলি । $(x, f(x))$$x \sim D$$f$$p$$q$$p=q$

— লেভ রেইজিন

এই স্পষ্টির জন্য ধন্যবাদ। সুরেশ বর্ণিত ক্ষেত্রে, "সদস্যপদ ক্যোয়ারী" ওরাকল নিম্নলিখিত হিসাবে কাজ করে (আমার ধারণা আপনি এই সত্তাকে উদ্ধৃতিতে রেখেছেন কারণ ওরাকল একটি আসল মান ফিরে পেতে পারে, কেবল একটি বুলিয়ান নয়-সদস্য-না-নয়- সদস্যের উত্তর): কার্যকর গুণাবলীর সমতা যদি 1 হয়, তবে প্রত্যাবর্তিত ফলাফল বিতরণ পি থেকে আঁকা হয় । অন্যথায়, ফলাফল বিতরণ q থেকে আঁকা । একটি অতিরিক্ত শিঙা আছে। ওরাকল তার সমস্ত পূর্ববর্তী উত্তরগুলি মনে রাখে এবং একই ইনপুট দিয়ে জিজ্ঞাসা করা হলে সেগুলি প্রদান করে। অন্য কথায়, এটি নির্বিচারবাদী। $p$$q$

— কেকি বুরজোরজী

আমি বুঝতে পারছি না। ওরাকল কেবল একটি ফাংশন যদি চ এবং আপনি দান এটি দ্বারা এটি শুধুমাত্র অনুসন্ধান x , এটা ঠিক ফেরত দেয় না চ ( এক্স ) ? পি বা কিউ খেলতে কীভাবে আসে যদি শিক্ষার্থী নিজে এক্স তৈরি করে? আমি মনে করি আমি এই বুনিয়াদি বিষয়টি $f$$x$$f(x)$$p$$q$$x$

— পুরোপুরি

জন্য পি = এন ( + + 0.25 , 1 ) এবং কুই = এন ( - 0.25 , 1 ) : "বলি" এই ক্রেতা মন্তব্য নীচে দেওয়া হয় সঙ্গে সমস্যার জন্য ওরাকল এর pseudocode হয় bit.ly/XvVMC4 ( )। আমি কোডটি ইনলাইন করতে পারছি না কারণ এসই মন্তব্যগুলিতে নতুন লাইনের অনুমতি দেয় না। সমস্যার "অ-সঙ্কুচিত" সংস্করণ পেতে, কেবল লাইনটি সরিয়ে ফেলুন । $p=\mathcal N(+0.25, 1)$$q = \mathcal N(-0.25, 1)$def fitness() ...random_number_generator.set_seed(x)

— কেকি বুরজোরজি