আমি ইদানীং মেশিনে / পরিসংখ্যানগত শিক্ষায় "শ্রেণির ভারসাম্যহীন সমস্যা" সম্পর্কে অনেক চিন্তাভাবনা করেছি এবং এমন অনুভূতিতে আরও গভীরতর হয়ে যাচ্ছি যে আমি কী বুঝতে পারছি তা ঠিক বুঝতে পারছি না।
প্রথমে আমার শর্তাদি সংজ্ঞায়িত করতে (বা চেষ্টা করার চেষ্টা করুন):
বর্গ ভারসাম্যহীনতা সমস্যা মেশিন / পরিসংখ্যানগত লার্নিং পর্যবেক্ষণ যে কিছু বাইনারি শ্রেণীবিন্যাস (*) আলগোরিদিম ভালো না তখন 1 ক্লাস 0 ক্লাস অনুপাত অতিমাত্রায় ঝুঁকে হয়।
সুতরাং, উপরোক্ত ক্ষেত্রে, উদাহরণস্বরূপ, যদি প্রতি একক 1 শ্রেণির জন্য একশত শ্রেণি থাকত তবে আমি বলব যে শ্রেণীর ভারসাম্যহীনতা 1 থেকে 100 বা 1 % ।
আমি যে সমস্যার মুখোমুখি হয়েছি তার বেশিরভাগ বক্তব্যেরই অভাব রয়েছে যে আমি পর্যাপ্ত যোগ্যতা হিসাবে বিবেচনা করব (কোন মডেলগুলি লড়াই করে, কীভাবে ভারসাম্যহীন একটি সমস্যা) এবং এটি আমার বিভ্রান্তির একটি উত্স।
মেশিন / স্ট্যাটিস্টিকাল লার্নিংয়ের স্ট্যান্ডার্ড পাঠ্যগুলির একটি সমীক্ষায় সামান্য পরিমাণে পরিবর্তন ঘটে:
- পরিসংখ্যানগত ঝোঁকের উপাদানসমূহ এবং পরিসংখ্যান শিক্ষার পরিচিতির সূচকে "শ্রেণির ভারসাম্যহীনতা" থাকে না।
ভবিষ্যদ্বাণীপূর্ণ ডেটা অ্যানালিটিক্সের জন্য মেশিন লার্নিংয়েও সূচীতে "শ্রেণির ভারসাম্যহীনতা" থাকে না।
মারফির মেশিন লার্নিং: একটি সম্ভাব্য দৃষ্টিভঙ্গি সূচকে "শ্রেণির ভারসাম্যহীনতা" রাখে । রেফারেন্সটি এসভিএম-এর একটি বিভাগের, যেখানে আমি নীচের কলহের মন্তব্যটি পেয়েছি:
এটি মনে রাখা দরকার যে এই সমস্ত অসুবিধা, এবং হিউরিস্টিকসগুলির আধিক্য যেগুলি তাদের ঠিক করার প্রস্তাব দেওয়া হয়েছিল, মূলত উত্থাপিত হয় কারণ এসভিএম এর সম্ভাব্যতাগুলি ব্যবহার করে অনিশ্চয়তা মডেল করে না, সুতরাং তাদের আউটপুট স্কোরগুলি ক্লাসে তুলনীয় নয়।
এই মন্তব্যটি আমার অন্তর্দৃষ্টি এবং অভিজ্ঞতার সাথে জাগ্রত করে: আমার আগের চাকরিতে আমরা নিয়মিতভাবে লজিস্টিক রিগ্রেশন এবং গ্রেডিয়েন্ট বুস্টেড ট্রি মডেলগুলিকে (দ্বিপদী লগ-সম্ভাবনা হ্রাস করতে) ভারসাম্যহীন ডেটাতে ( শ্রেণির ভারসাম্যহীনতার আদেশে ) ফিট করব, কোনটি ছাড়াই কর্মক্ষমতা সুস্পষ্ট বিষয়।
আমি (নিজেদের এবং র্যান্ডম বন গাছ) পড়া আছে (কোথাও) যে শ্রেণীবিন্যাস গাছ ভিত্তিক মডেলের তেমনি কর বর্গ ভারসাম্যহীনতা সমস্যা আক্রান্ত হয়। এটি জলকে কিছুটা কচলা করে তোলে, গাছগুলি কিছুটা অর্থে সম্ভাব্যতা ফিরিয়ে দেয়: গাছের প্রতিটি টার্মিনাল নোডে লক্ষ্য শ্রেণীর জন্য ভোটের রেকর্ড।
সুতরাং, মোড়ানোর জন্য, আমি আসলে কী পরে সেই শক্তিগুলির একটি ধারণাগত বোঝা যা বর্গ ভারসাম্যহীন সমস্যার দিকে পরিচালিত করে (যদি তা বিদ্যমান থাকে)।
- এটি কি আমরা খারাপভাবে বাছাই করা অ্যালগরিদম এবং অলস ডিফল্ট শ্রেণিবিন্যাসের থ্রেশহোল্ডগুলি দিয়ে নিজের সাথে কিছু করি?
- যদি আমরা সর্বদা সম্ভাব্যতার মডেলগুলিতে ফিট করি যা সঠিক স্কোরিংয়ের মানদণ্ডকে অনুকূল করে তোলে তবে তা কি অদৃশ্য হয়ে যায়? ভিন্নভাবে বলেছিলেন, ক্ষতির কার্যকারিতাটি যেমন দুর্বল পছন্দ, তেমনি হার্ড শ্রেণিবদ্ধকরণের নিয়ম এবং সামগ্রিক যথার্থতার ভিত্তিতে কোনও মডেলের ভবিষ্যদ্বাণীপূর্ণ শক্তি মূল্যায়ন করার কারণটি কি কেবল কারণ?
- যদি তা হয়, তবে এমন মডেলগুলি কি উপযুক্ত স্কোরিং নিয়মগুলি অনুকূল করে না তবে অকেজো (বা কমপক্ষে কম দরকারী)?
(*) শ্রেণিবদ্ধকরণ দ্বারা আমি বাইনারি প্রতিক্রিয়া ডেটা ফিট কোনও পরিসংখ্যান মডেল বলতে চাই। আমি ধরে নিচ্ছি না যে আমার লক্ষ্যটি একটি শ্রেণি বা অন্য শ্রেণীর কাছে একটি কঠিন কাজ, যদিও তা হতে পারে।
poor choice of loss function
আমার তালিকায় যুক্ত করতে ভুলে গেছি সুতরাং, আপনি কি ক্ষতির কাজ হিসাবে সঠিক স্কোরিং নিয়মের জন্যও এটি সত্য বলে মনে করেন?