ভিসি ডাইমেনশন কেন গুরুত্বপূর্ণ?

Question

উইকিপিডিয়া বলেছে যে:

ভিসি ডাইমেনশন হ'ল একটি অ্যালগরিদমকে ভেঙে দিতে পারে এমন সবচেয়ে বড় পয়েন্টের কার্ডিনালিটি।

উদাহরণস্বরূপ, লিনিয়ার শ্রেণিবদ্ধের একটি কার্ডিনালিটি এন + 1 থাকে। আমার প্রশ্ন আমরা যত্ন কেন? আপনি লিনিয়ার শ্রেণিবিন্যাসের উপর সর্বাধিক ডেটাসেটগুলি খুব বড় হয়ে থাকে এবং এতে প্রচুর পয়েন্ট থাকে।

Answer 1

ভিসি মাত্রা কি

@CPerkins দ্বারা উল্লিখিত হিসাবে ভিসি মাত্রা একটি মডেলের জটিলতার একটি পরিমাপ। এটি যেমন উইকিপিডিয়াতে যেমন উল্লিখিত হয়েছে, যেমন ডেটাপয়েন্টগুলিকে ছড়িয়ে দেওয়ার ক্ষমতা সম্পর্কেও সংজ্ঞায়িত করা যায়।

মূল সমস্যা

• আমরা এমন একটি মডেল চাই (উদাহরণস্বরূপ কিছু শ্রেণিবদ্ধ) যা অদেখা তথ্যের উপর ভাল জেনারেলাইজ করে।
• আমরা নির্দিষ্ট পরিমাণে নমুনা ডেটার মধ্যে সীমাবদ্ধ।

নিম্নলিখিত চিত্রটি ( এখান থেকে তোলা হয়েছে ) কিছু মডেল ( পর্যন্ত ) বিভিন্ন জটিলতা (ভিসি মাত্রা) দেখায়, এখানে এক্স-অক্ষের উপরে দেখানো হয়েছে এবং ।$\mathcal{S_1}$$\mathcal{S_k}$$h$

চিত্রগুলি দেখায় যে একটি উচ্চতর ভিসি মাত্রা একটি কম অভিজ্ঞতামূলক ঝুঁকির জন্য অনুমতি দেয় (কোনও নমুনা নমুনার ডেটার উপর ত্রুটি ঘটায়), তবে এটি একটি উচ্চ আত্মবিশ্বাসের অন্তর অন্তর্ভুক্ত করে। এই ব্যবধানটি মডেলটির সাধারণীকরণের ক্ষমতার আস্থা হিসাবে দেখা যেতে পারে।

ভিসির কম মাত্রা (উচ্চ পক্ষপাত)

আমরা যদি কম জটিলতার একটি মডেল ব্যবহার করি, আমরা ডেটাসেট সম্পর্কিত কিছু ধরণের অনুমান (পক্ষপাত) প্রবর্তন করি যেমন লিনিয়ার শ্রেণিবদ্ধ ব্যবহার করার সময় আমরা ধরে নিই যে লিনিয়ার মডেল দিয়ে ডেটা বর্ণিত হতে পারে। যদি এটি না হয় তবে আমাদের প্রদত্ত সমস্যাটি একটি রৈখিক মডেল দ্বারা সমাধান করা যায় না, উদাহরণস্বরূপ, কারণ সমস্যাটি অনৈখিক প্রকৃতির। আমরা একটি খারাপ পারফরম্যান্স মডেলটি শেষ করব যা ডেটার কাঠামোটি শিখতে সক্ষম হবে না। সুতরাং আমাদের উচিত একটি শক্ত পক্ষপাতিত্ব প্রবর্তন এড়ানোর চেষ্টা করা উচিত।

উচ্চ ভিসি মাত্রা (বৃহত্তর আত্মবিশ্বাসের ব্যবধান)

এক্স-অক্ষের অপর প্রান্তে আমরা উচ্চতর জটিলতার মডেলগুলি দেখতে পাই যা এটি এত বেশি ক্ষমতা সম্পন্ন হতে পারে যে এটি সাধারণ অন্তর্নিহিত কাঠামো অর্থাৎ মডেলের ওভারফিটগুলি শেখার পরিবর্তে ডেটা মুখস্থ করবে। এই সমস্যাটি উপলব্ধি করার পরে মনে হচ্ছে আমাদের জটিল মডেলগুলি এড়ানো উচিত।

এটি বিতর্কিত বলে মনে হতে পারে কারণ আমরা কোনও পক্ষপাত পরিচয় করিয়ে দেব না যার অর্থ কম ভিসি মাত্রা থাকতে পারে তবে উচ্চ ভিসি মাত্রাও না থাকা উচিত। এই সমস্যাটির পরিসংখ্যান শেখার তত্ত্বের গভীর শিকড় রয়েছে এবং এটি বায়াস-ভেরিয়েন্স-ট্রেড অফ হিসাবে পরিচিত । এই পরিস্থিতিতে আমাদের যা করা উচিত তা যতটা সম্ভব জটিল এবং যতটা সম্ভব সহজসাধ্য হওয়া উচিত, সুতরাং একই পরীক্ষামূলক ত্রুটির সাথে শেষ হওয়া দুটি মডেলের তুলনা করার সময় আমাদের কম জটিলটি ব্যবহার করা উচিত।

আমি আশা করি আমি আপনাকে দেখাতে পারলাম ভিসি ডাইমেনশনের ধারণার পিছনে আরও অনেক কিছু রয়েছে।

Answer 2

ভিসি ডাইমেনশন হ'ল অবজেক্টস (ফাংশন) এর মধ্যে একটি নির্দিষ্ট বস্তু (ফাংশন) সন্ধানের জন্য প্রয়োজনীয় তথ্যের বিট (নমুনা) সংখ্যা$N$ ।

$VC$ ডাইমেনশন তথ্য তত্ত্বের অনুরূপ ধারণা থেকে আসে। শ্যাননের নিচের পর্যবেক্ষণ থেকে তথ্য তত্ত্বটি শুরু হয়েছিল:

আপনার যদি অবজেক্ট থাকে এবং এই অবজেক্টগুলির মধ্যে আপনি একটি নির্দিষ্ট একটি সন্ধান করছেন। এই অবজেক্টটি খুঁজতে আপনার কতগুলি বিটের তথ্য দরকার ? আপনি আপনার সামগ্রীর সেটটিকে দুটি অর্ধে ভাগ করতে পারেন এবং জিজ্ঞাসা করতে পারেন "আমি যে অর্ধের জন্য সন্ধান করছি সেটি কোন অর্ধে অবস্থিত?" । এটি প্রথমার্ধে থাকলে "হ্যাঁ" বা দ্বিতীয়ার্ধে "না" পাবেন if অন্য কথায়, আপনি 1 বিট তথ্য পাবেন । এর পরে, আপনি একই প্রশ্ন জিজ্ঞাসা করুন এবং আপনার সেটটি বারবার বিভক্ত করুন, যতক্ষণ না আপনি অবশেষে আপনার পছন্দসই অবজেক্টটি সন্ধান করেন। আপনার কত বিট তথ্য প্রয়োজন ( হ্যাঁ / কোন উত্তর নেই)? এটি স্পষ্টভাবে$N$$N$$log_2(N)$ তথ্যের বিট - একইভাবে সাজানো অ্যারের সাথে বাইনারি অনুসন্ধানের সমস্যা।

ভ্যাপনিক এবং চেরোভেনকিস প্যাটার্ন স্বীকৃতি সমস্যাটিতে একই রকম প্রশ্ন করেছিলেন। ধরুন আপনার কাছে ফাংশনগুলির সেট সেট ইনপুট , প্রতিটি ফাংশন হ্যাঁ বা না (তদারকি করা বাইনারি শ্রেণিবদ্ধকরণ সমস্যা) আউটপুট করে এবং এই ফাংশনগুলির মধ্যে আপনি একটি নির্দিষ্ট ফাংশন সন্ধান করছেন, যা আপনাকে প্রদত্ত ডেটাসেটের জন্য হ্যাঁ / না সঠিক ফলাফল দেয় । আপনি এই প্রশ্নটি জিজ্ঞাসা করতে পারেন: "কোন ফাংশনগুলি কোনও প্রদত্ত জন্য কোনটি প্রদান করবে না এবং কোন ফাংশন হ্যাঁ প্রত্যাবর্তন করবে$N$$x$$N$$D=\{(x_1,y_1), (x_2, y_2), ..., (x_l, y_l)\}$$x_i$আপনার ডেটাসেট থেকে যেহেতু আপনি জানেন যে আপনার কাছে থাকা প্রশিক্ষণের ডেটা থেকে আসল উত্তরটি কী তা আপনি কিছু জন্য আপনাকে ভুল উত্তর দেয় এমন সমস্ত ফাংশন ফেলে দিতে পারেন । আপনার কত বিট তথ্য প্রয়োজন? বা অন্য কথায়: এই সমস্ত ভুল কার্যাবলী অপসারণ করার জন্য আপনার কতটি প্রশিক্ষণের উদাহরণ প্রয়োজন? । এখানে তথ্য তত্ত্বে শ্যাননের পর্যবেক্ষণ থেকে এটি একটি সামান্য পার্থক্য। আপনি আপনার ফাংশনগুলির সেটটি ঠিক অর্ধেকে বিভক্ত করছেন না ( বাইরে কেবলমাত্র একটি ফাংশন আপনাকে কিছু জন্য ভুল উত্তর দেয় ), এবং হতে পারে আপনার ফাংশনগুলির সেটটি খুব বড় এবং এটি একটি ফাংশন খুঁজে পেতে আপনার পক্ষে যথেষ্ট is এপসিলন-আপনার পছন্দসই ফাংশনটি বন্ধ করুন এবং আপনি নিশ্চিত হতে চান যে এই ফাংশনটি$x_i$$N$$x_i$$\epsilon$$\epsilon$ এপসিলন-সম্ভাবনার সাথে ক্লোজ ( - পিএসি ফ্রেমওয়ার্ক), আপনার প্রয়োজনীয় তথ্যের বিটের সংখ্যা (নমুনাগুলির সংখ্যা) হবে ।$1-\delta$$(\epsilon, \delta)$$\frac{log_2N/\delta}{\epsilon}$

মনে করুন এখন ফাংশনগুলির সেটগুলির মধ্যে এমন কোনও ফাংশন নেই যা ত্রুটি করে না। আগের মতো, আপনার পক্ষে এমন কোনও ফাংশন সন্ধান করা যথেষ্ট that সম্ভাব্যতা । নমুনা আপনার যা দরকার হবে সংখ্যা ।$N$$\epsilon$$1-\delta$$\frac{log_2N/\delta}{\epsilon^2}$

নোট করুন যে উভয় ক্ষেত্রেই ফলাফল এর সমানুপাতিক - বাইনারি অনুসন্ধান সমস্যার মতো।$log_2N$

এখন অনুমান করা আপনি ফাংশন অসীম সেট আছে এবং যারা ফাংশন মধ্যে ফাংশন যে খুঁজে পেতে চান যে -close সম্ভাব্যতা সঙ্গে সেরা ফাংশনে । ধরুন (চিত্রের সরলতার জন্য) যে ফাংশনগুলি অ্যাফাইন অবিচ্ছিন্ন (এসভিএম) এবং আপনি একটি ফাংশন খুঁজে পেয়েছেন যা সেরা ps ক্লোজ হয়। আপনি যদি আপনার ফাংশনটি খানিকটা সরিয়ে নিয়ে যান তবে শ্রেণিবিন্যাসের ফলাফলগুলিতে কোনও পরিবর্তন হবে না আপনার প্রথম কাজটি একই ফলাফলের সাথে শ্রেণিবদ্ধ করার একটি আলাদা ফাংশন থাকবে। আপনি এ জাতীয় সমস্ত ফাংশন নিতে পারেন যা আপনাকে একই শ্রেণিবিন্যাসের ফলাফল দেয় (শ্রেণিবিন্যাস ত্রুটি) এবং এগুলিকে একটি একক ফাংশন হিসাবে গণ্য করতে পারে কারণ তারা আপনার ডেটাটিকে একই একই ক্ষতির (চিত্রের একটি লাইন) শ্রেণিবদ্ধ করে।$\epsilon$$1-\delta$$\epsilon$

^{___________________ দুটি লাইন (ফাংশন) একই সাফল্যের সাথে পয়েন্টগুলি শ্রেণিবদ্ধ করবে _______________}

এই জাতীয় ফাংশনগুলির সেটগুলির সেট থেকে আপনাকে কতগুলি নমুনার সুনির্দিষ্ট ফাংশন সন্ধান করতে হবে (মনে রাখবেন যে আমরা ফাংশনগুলির সেটে আমাদের ফাংশনগুলি বিভক্ত করেছি যেখানে প্রতিটি ফাংশন নির্দিষ্ট বিন্দুর জন্য একই শ্রেণিবিন্যাসের ফলাফল দেয়)? এই কি মাত্রা বলে - দ্বারা প্রতিস্থাপিত হয় কারণ আপনার ক্রমাগত ফাংশন নির্দিষ্ট পয়েন্টের জন্য একই শ্রেণীবিন্যাস ত্রুটি সহ ফাংশন একটি সেট ভাগ করা হয় অসীম সংখ্যা আছে। আপনার প্রয়োজনীয় নমুনার সংখ্যা হ'ল যদি আপনার এমন কোনও ফাংশন থাকে যা পুরোপুরি স্বীকৃতি দেয় এবং$VC$$log_2N$$VC$$\frac{VC -log(\delta)}{\epsilon}$$\frac{VC - log(\delta)}{\epsilon^2}$ যদি আপনার ফাংশনগুলির মূল সেটটিতে একটি নিখুঁত ফাংশন না থাকে।

এটি হ'ল, ডাইমেনশন আপনাকে সম্ভাব্যতা with সহ ত্রুটি অর্জন করার জন্য প্রয়োজনীয় কয়েকটি নমুনার জন্য একটি উচ্চতর বাউন্ড দেয় (যা বিটিডব্লু উন্নত করা যায় না) ।$VC$$\epsilon$$1-\delta$

Answer 3

ভিসি ডাইমেনশনটি মডেলের জটিলতার একটি পরিমাপ। উদাহরণস্বরূপ, ভিসি ডাইমেনশন ডিভিসি প্রদত্ত, থাম্বের একটি ভাল নিয়ম হ'ল আপনার মডেলের জটিলতা দেওয়া আপনার n = 10xDvc ডেটা পয়েন্ট থাকা উচিত।

আপনি পরীক্ষার ত্রুটির উপরের একটি বাউন্ড তৈরি করতে এটি ব্যবহার করতে পারেন।