বৈশিষ্ট্য সংখ্যা বৃদ্ধি কেন কর্মক্ষমতা হ্রাস করে?

Question

বৈশিষ্ট্যের সংখ্যা বাড়ানো কেন কর্মক্ষমতা হ্রাস করতে পারে সে সম্পর্কে আমি একটি অন্তর্দৃষ্টি লাভ করার চেষ্টা করছি। আমি বর্তমানে একটি এলডিএ শ্রেণিবদ্ধ ব্যবহার করছি যা নির্দিষ্ট বৈশিষ্ট্যগুলির মধ্যে দ্বিচারিতভাবে আরও ভাল পারফর্ম করে তবে আরও বৈশিষ্ট্যগুলি দেখার সময় আরও খারাপ। আমার শ্রেণিবদ্ধকরণ নির্ভুলতা একটি স্তরযুক্ত 10-ভাঁজ এক্সভাল ব্যবহার করে সম্পাদিত হয়।

এই উচ্চ মাত্রায় কী ঘটছে তার কিছুটা শারীরিক বা স্থানিক অন্তর্দৃষ্টি লাভ করার জন্য যখন কোনও শ্রেণিভুক্ত ব্যক্তি দ্বিবিভক্তির চেয়ে অবিচ্ছিন্নভাবে আরও ভালভাবে কাজ করতে পারে তার কোনও সহজ ঘটনা আছে?

Comments

একটি দ্রুত মন্তব্য হিসাবে, অপ্রাসঙ্গিক ভবিষ্যদ্বাণী যুক্ত করা নতুন ডেটাতে পারফরম্যান্সকে আরও খারাপ করতে পারে - ভবিষ্যদ্বাণীটির বৈচিত্র্য (ওজনের ফিটনেস) increased এটি কারণ আপনি শব্দ এবং উপযুক্ত "সত্য সংকেত" পাতলা ফিট।

— বি_মিনার

Answer 1

" মাত্রিকতার একটি সমস্যা: একটি সাধারণ উদাহরণ " দেখুন - জিভি ট্রাঙ্কের একটি খুব সংক্ষিপ্ত এবং খুব পুরানো নিবন্ধ। তিনি একটি দুটি শ্রেণির সমস্যা বিবেচনা করেন, গাউসিয়ান শ্রেণিবদ্ধ শর্তযুক্ত বিতরণগুলির সাথে যেখানে বৈশিষ্ট্যগুলি সমস্ত প্রাসঙ্গিক তবে হ্রাস প্রাসঙ্গিকতার সাথে। তিনি দেখান যে একটি সীমাবদ্ধ নমুনায় প্রশিক্ষণপ্রাপ্ত শ্রেণিবদ্ধের ত্রুটির হার ০.৫ এ রূপান্তরিত হয়, তবে বায়স ত্রুটি 0-এ পৌঁছেছে, কারণ বৈশিষ্ট্যগুলির সংখ্যা বৃদ্ধি পায়।

Comments

(+1) এটি খুব সুন্দর রেফারেন্স।

— কার্ডিনাল

Answer 2

এটির নাম দেওয়া হয়েছে " অভিশাপের অভিশাপ "। আমি জানি না এলডিএর জন্য কোনও নির্দিষ্ট কারণ রয়েছে তবে সাধারণভাবে আরও জটিল সিদ্ধান্তের সীমানার প্রয়োজনে বৈশিষ্ট্য ভেক্টরের ফলাফলগুলিতে অনেক মাত্রা থাকে। জটিল সীমানা থাকাও একটি প্রশ্ন নিয়ে আসে "কোন ডিগ্রীতে?" যেহেতু আমরা ওভার-ফিটিং বিবেচনা করি। অন্য একটি বিষয় হিসাবে, অতিরিক্ত মাত্রা সহ শেখার অ্যালগরিদমের জটিলতাও বাড়ছে। সুতরাং বিশাল বৈশিষ্ট্য ভেক্টরের সাথে তুলনামূলকভাবে ধীরে ধীরে লার্নিং অ্যালগরিদমের সাথে কাজ করা আপনার কাজের ঘটনাটিকে আরও খারাপ করে তোলে। মাত্রাটি ছাড়াও আপনার বর্ধমান সম্ভাবনা থাকতে পারে টিআই এর বৈশিষ্ট্যগুলির সাথে পারস্পরিক সম্পর্ক রয়েছে যার মধ্যে নিউরাল নেট বা কিছু অন্যান্যর মতো প্রচুর শেখার অ্যালগরিদমগুলির পক্ষে ভাল নয়।

আপনি "ডাইমেনশনালিটির অভিশাপ" এর অধীনে থাকা অন্যান্য কারণগুলি গণনা করতে পারেন তবে সংক্ষিপ্ত বৈশিষ্ট্য ভেক্টরের সাথে পর্যাপ্ত সংখ্যক উদাহরণ রয়েছে যা কিছু বৈশিষ্ট্য নির্বাচনের রুটিনগুলি দ্বারা এগিয়ে চলেছে fact