সদস্যতা প্রশ্নের সাথে সঠিক শিক্ষার সম্মিলিত বৈশিষ্ট্য

Question

সম্পাদনা: যেহেতু আমি এক সপ্তাহে কোনও প্রতিক্রিয়া / মন্তব্য পাইনি, তাই আমি যুক্ত করতে চাই যে আমি সমস্যা সম্পর্কে কিছু শুনে খুশি। আমি এলাকায় কাজ করি না, তাই এটি যদি একটি সাধারণ পর্যবেক্ষণ হয় তবে আমি এটি জানি না। এমনকি "আমি এই অঞ্চলে কাজ করি, তবে এর মতো চরিত্রায়ন আমি দেখিনি" এর মত মন্তব্যও সহায়ক হবে!

পটভূমি:

শেখার তত্ত্বে শিক্ষার বেশ কয়েকটি সু-অধ্যয়নিত মডেল রয়েছে (যেমন, পিএসি লার্নিং, অনলাইন লার্নিং, সদস্যপদ / সমতুল্য প্রশ্নগুলির সাথে সঠিক শিখন)।

উদাহরণস্বরূপ, পিএসি লার্নিংয়ে, একটি ধারণা শ্রেণীর নমুনা জটিলতার শ্রেণীর ভিসি মাত্রার ক্ষেত্রে একটি দুর্দান্ত সংমিশ্রণীয় বৈশিষ্ট্য রয়েছে। সুতরাং আমরা যদি ধ্রুবক নির্ভুলতা এবং আত্মবিশ্বাসের সাথে কোনও শ্রেণি শিখতে চাই তবে এটি নমুনাগুলির সাহায্যে করা যেতে পারে , যেখানে ভিসি মাত্রা। (নোট করুন যে আমরা নমুনা জটিলতার কথা বলছি, সময়ের জটিলতা নয়।) যথার্থতা এবং আত্মবিশ্বাসের ক্ষেত্রে আরও একটি পরিশোধিত বৈশিষ্ট্য রয়েছে। একইভাবে, অনলাইন লার্নিংয়ের ভুল সীমাবদ্ধ মডেলের একটি দুর্দান্ত সমন্বয়মূলক বৈশিষ্ট্য রয়েছে।$\Theta(d)$$d$

প্রশ্ন:

সদস্যতা প্রশ্নের সাথে সঠিক শিক্ষার মডেলটির জন্য যদি একই রকমের ফলাফল জানা যায় তবে আমি জানতে চাই। মডেলটি নিম্নলিখিত হিসাবে সংজ্ঞায়িত করা হয়েছে: আমাদের একটি কালো বাক্সে অ্যাক্সেস রয়েছে যা ইনপুট আপনাকে । আমরা জানি কিছু ধারণা বর্গ থেকে আসে । আমরা যতটা সম্ভব কম প্রশ্নের সাথে নির্ধারণ করতে চাই ।$x$$f(x)$$f$$C$$f$

সদস্যপদ প্রশ্নগুলির সাথে সঠিক শেখার মডেলটিতে ধারণা শেখার জন্য প্রয়োজনীয় প্রশ্নের সংখ্যাগুলির বৈশিষ্ট্যযুক্ত কোন ধারণা শ্রেণীর সমন্বিত প্যারামিটার রয়েছে ?$C$

আমি যা জানি:

এইরকম সেরা চরিত্রটি আমি খুঁজে পেয়েছি সার্ভেদিও এবং গোর্টারের এই কাগজে , তারা প্যারামিতি ব্যবহার করে তারা ব্লাউটি, ক্লিভ, গ্যাভালডি, কান্নান এবং ত্যামনকে বলে । তারা comb নামক একটি সংযুক্ত প্যারামিটার সংজ্ঞায়িত করে , যেখানে ধারণা শ্রেণি, যেখানে নিম্নলিখিত বৈশিষ্ট্য রয়েছে। ( এই মডেলটিতে শিখতে প্রয়োজনীয় প্রশ্নগুলির সর্বোত্তম সংখ্যার হতে দিন ))$\gamma^C$$C$$Q_C$$C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

এই বৈশিষ্ট্যটি প্রায় শক্ত। তবে উপরের এবং নিম্ন সীমানার মধ্যে চতুর্ভুজ ব্যবধান থাকতে পারে। উদাহরণস্বরূপ যদি , তারপরে নীচের গণ্ডিটি , তবে উপরের চৌম্বকটি । (আমি আরও মনে করি যে এই ফাঁকটি অর্জনযোগ্য, অর্থাত্ একটি ধারণা শ্রেণি বিদ্যমান যার জন্য নিম্ন সীমানা উভয় are , তবে উপরের প্রান্তটি হ'ল ))$1/\gamma^C = \log |C| = k$$\Omega(k)$$O(k^2)$$\Omega(k)$$O(k^2)$

Comments

"হেইস্ট্যাক ডাইমেনশন" কোনও ফাংশনটি অনুকূল করার ক্যোয়ারী জটিলতার বৈশিষ্ট্য চিহ্নিত করে: cis.upenn.edu/~mkearns/papers/haystack.pdf , এটি আপনি যা চান তার চেয়ে আলাদা তবে আপনি সম্ভবত সম্পর্কিত কাজটি উপভোগ করতে পারেন যা বৈশিষ্ট্য সম্পর্কে যা জানা তা নিয়ে আলোচনা করে সঠিক শেখার ক্যোয়ারী জটিলতা।

— অ্যারন রথ

Answer 1

বেনাম মুজ উদাহরণস্বরূপ পয়েন্ট বাড়ীতে চালনা করতে, ধারণা শ্রেণিটি বিবেচনা করুন যা ফাংশনগুলি নিয়ে গঠিত 1 0,1} ^ n এ কেবল একটি পয়েন্টে 1 আউটপুট দেয়। শ্রেণিটি 2 size n আকারের এবং সবচেয়ে খারাপ ক্ষেত্রে 2 qu n প্রশ্নের প্রয়োজন। সবচেয়ে খারাপ ক্ষেত্রে টিচিং ডাইমেনশন (গোল্ডম্যান এবং স্ক্যাপায়ার) দেখুন যা আপনি যা খুঁজছেন তার অনুরূপ কিছু সরবরাহ করে।

Comments

ধন্যবাদ! টিচিং ডাইমেনশন অনুসন্ধান করে আমাকে বর্ধিত শিক্ষণ মাত্রা নিয়ে যায়, যা আমি প্রশ্নে উল্লিখিত সংযুক্তি প্যারামিটারের অনুরূপ, যা আমাকে এই বিষয়টিতে আরও অনেক আকর্ষণীয় কাগজপত্রের দিকে নিয়ে যায়।

— রবিন কোঠারি

Answer 2

আমি এরকম একটি চরিত্রায়ন জানি না। যাইহোক, এটি লক্ষ্য করা সার্থক যে প্রায় কোনও ধারণা শ্রেণীর জন্য, সমস্ত পয়েন্টকে জিজ্ঞাসা করা দরকার। এটি দেখতে, হ্যামিং ওজন 1 সহ সমস্ত এন-ডাইমেনশনাল বুলিয়ান ভেক্টর সমন্বিত ধারণার শ্রেণিটি বিবেচনা করুন This এই ধারণা শ্রেণিতে স্পষ্টতই শিখার জন্য এন কোয়েরি প্রয়োজন, যা এর কার্ডিনালটির সমান। আপনি সম্ভবত এই পর্যবেক্ষণটি সাধারণীকরণ করতে পারেন যে প্রায় কোনও ধারণা শ্রেণীর জন্যও সমস্ত প্রশ্নের সম্পাদন করা দরকার।

আমি সন্দেহ করব যে ইনপুট হিসাবে একটি ধারণা শ্রেণি সি দেওয়া হয়েছে, সদস্যপদ প্রশ্নগুলির সাথে ধারণা শ্রেণিটি সঠিকভাবে শেখার জটিলতা নির্ধারণ করা, এমনকি ধ্রুবকটি বলার জন্য এটি প্রায় অনুমান করাও এনপি-হার্ড। এটি কিছুটা ইঙ্গিত দেয় যে একটি "ভাল" সংযুক্তিযুক্ত বৈশিষ্ট্য বিদ্যমান নেই। আপনি যদি এ জাতীয় কোনও এনপি-কঠোরতা ফলাফল প্রমাণ করতে চান তবে চেষ্টা করুন এবং ব্যর্থ হন এখানে নির্দ্বিধায় পোস্ট করুন এবং আমি এটি বের করতে পারি কিনা তা আমি দেখতে পাচ্ছি (আমার কিছু ধারণা আছে)।

Comments

উত্তরের জন্য ধন্যবাদ. এমনকি যদি এটি সত্য হয় যে প্রায় সমস্ত ধারণার ক্লাসগুলি (ক্লাসগুলির মধ্যে কিছু যুক্তিসঙ্গত বন্টনের অধীনে) শেখা কঠিন, কিছু ক্লাস শেখা সহজ এবং এটির বৈশিষ্ট্যযুক্ত একটি সংমিশ্রণ পরামিতি রাখা আকর্ষণীয় হবে। প্যারামিটারটি গণনা করা শক্ত কিনা তাতে আমার আপত্তি নেই। এমনকি উপাচার্য মাত্রাও দক্ষতার সাথে গণ্যযোগ্য হিসাবে পরিচিত নয়।

— রবিন কোঠারি

Answer 3

যদিও অন্যরা উত্তরটি নির্দেশ করেছেন। আমি ভেবেছিলাম আমি এটিকে স্ব-অন্তর্নিহিত করে তুলতে পারি এবং কেন শিখার মাত্রা উত্তর।

এক্সপুট স্পেস এক্স-এর উপর একটি ধারণা শ্রেণি বিবেচনা করুন । উপাদানের একটি সেট এস ⊆ এক্স একটি ধারণা জন্য একটি শিক্ষণ সেট বলা হয় চ যদি চ একমাত্র ধারণা সি সঙ্গে সামঞ্জস্যপূর্ণ এস ।$C$$X$$S\subseteq X$$f$$f$$C$$S$

যাক জন্য সব শিক্ষার সেট সেট হতে চ এবং সংজ্ঞায়িত: TD ( চ , সি ) = মি আমি এন { | এস | | S ∈ T ( f ) } হতে চ এর শিক্ষার মাত্রা । অর্থাত, ক্ষুদ্রতম শিক্ষার সেট টিএস-এর cardinality আছি আমি এন ( চ ) মধ্যে টি ( চ ) । একইভাবে, টিডি ( সি ) = সর্বাধিক বিবেচনা করুন$\mathcal{T}(f)$$f$$(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$$f$$_{min}(f)$$\mathcal{T}(f)$$(C)=$ : TD(চ,সি)শিক্ষা মাত্রা হতেসি।$_{f\in C}$$(f,C)$$C$

চিহ্নিত করার জন্য প্রয়োজনীয় ন্যূনতম সংখ্যার নাম টিডি ( চ , সি ) । এটি যখন ঘটে তখন ক্যোয়ারী কৌশলটি সিকোয়েন্স টিএস এম আমি এন ( এফ ) ব্যবহার করে । যে কোনও কম প্রশ্নের জন্য আমাদের কমপক্ষে দুটি ধারণাগুলি এটির সাথে সামঞ্জস্যপূর্ণ। এবং টিডি ( সি ) যে কোনও চ এর জন্য সর্বনিম্ন ।$f$$(f,C)$$_{min}(f)$$(C)$$f$

Comments

$f$$f$$f$

@ রবিনকোথারি টিডি কম পরিমাণে প্রশ্নের উত্তর নির্ধারণ করতে পারে - কোন এমকিউ-অ্যালগরিদমে। অনুশীলনে, এমন কোনও অ্যালগরিদম নাও থাকতে পারে যা প্রতারণা বা কোড কৌশল ছাড়াই অন্ধভাবে এই সীমাটি অর্জন করে। অ্যাংলুইনের "ক্যুইরিস রিভিসিটেড" পেপারে তিনি এমইউ নামে একটি প্যারামিটার নিয়ে আলোচনা করেছিলেন যা সবচেয়ে খারাপ ক্ষেত্রে সেরা এমকিউ-অ্যালগরিদম দ্বারা প্রয়োজনীয় প্রশ্নের সংখ্যা উপস্থাপন করে। আমি এর বিশদটি মনে করি না তবে অবশ্যই টিডি <= এমকিউ।

— seteropere

আমি যা সম্পর্কে আগ্রহী ছিলাম (যখন আমি এই প্রশ্নটি জিজ্ঞাসা করেছি) তা এমন একটি পরামিতি যা সদস্যপদ অনুসন্ধানগুলির সাথে সঠিক শেখার বৈশিষ্ট্যকে চিহ্নিত করে। এটি উভয় একটি উপরের এবং নীচে আবদ্ধ হওয়া উচিত। আমি এমন একটি প্যারামিটারের উদাহরণ সরবরাহ করেছি যা প্রশ্নের (লগ | সি | ফ্যাক্টর অবধি) অর্জন করে। আমার প্রশ্নটি ছিল আরও ভাল কিছু জানা আছে কিনা।

— রবিন কোঠারি