আমি লগ ক্ষতি এবং এটি কীভাবে কাজ করে তা আরও ভালভাবে বোঝার চেষ্টা করছি তবে একটি জিনিস যা আমি খুঁজে পেতে পারি তা লগ লসের সংখ্যাটিকে কিছু প্রসঙ্গে প্রাসঙ্গিক করে। আমার মডেলটির লগ লোকসান যদি 0.5 হয়, তবে এটি কি ভাল? একটি ভাল এবং খারাপ স্কোর হিসাবে বিবেচনা করা হয়? এই থ্রেশহোল্ডগুলি কীভাবে পরিবর্তিত হবে?
উত্তর:
লগলস হ'ল যেখানে কেবল আসল শ্রেণীর জন্য দায়ী সম্ভাবনা।
সুতরাং ভাল, আমরা সম্ভাব্যতা আরোপিত 1 , ডান ক্লাসে যখন এল ( পি ) = + + ∞ , খারাপ কারণ আমরা সম্ভাব্যতা আরোপিত 0 প্রকৃত ক্লাসে।
সুতরাং, আপনার প্রশ্নের উত্তর দিয়ে, গড় অর্থ, আপনি সঠিক বর্গকে নমুনা জুড়ে সম্ভাব্যতা p ≈ 0.61 বলে উল্লেখ করেছেন ।
এখন, এটি যথেষ্ট ভাল কিনা তা সিদ্ধান্ত নেওয়া আসলে প্রয়োগ-নির্ভর, এবং তাই এটি যুক্তি অবধি to
যে কোনও মেট্রিকের মতো, একটি ভাল মেট্রিক হ'ল "বোবা", সম্ভাবনা দ্বারা অনুমান করা হয়, যদি আপনাকে পর্যবেক্ষণগুলির কোনও তথ্য না দিয়ে অনুমান করতে হয়। একে পরিসংখ্যানগুলিতে ইন্টারসেপ্ট-একমাত্র মডেল বলা হয়।
এই "বোবা" - অনুমান 2 কারণের উপর নির্ভর করে:
লগলস মেট্রিকের ক্ষেত্রে, একটি সাধারণ "সুপরিচিত" মেট্রিক বলতে হয় যে 0.693 অ-তথ্যমূলক মান। p = 0.5বাইনারি সমস্যার যে কোনও শ্রেণীর জন্য ভবিষ্যদ্বাণী করে এই চিত্রটি পাওয়া যায় । এটি কেবল ভারসাম্যযুক্ত বাইনারি সমস্যার জন্য বৈধ । কারণ যখন এক শ্রেণির বিস্তার 10% হয়, তখন আপনি p =0.1সেই শ্রেণীর জন্য ভবিষ্যদ্বাণী করবেন, সর্বদা। এটি আপনার বোবা মনের বেসলাইন, সুযোগ অনুসারে পূর্বাভাস 0.5হবে কারণ ভবিষ্যদ্বাণী করা ঘন হবে।
I. বোবা-লগলাসে ক্লাসের সংখ্যার প্রভাব N:
ভারসাম্যপূর্ণ ক্ষেত্রে (প্রতিটি শ্রেণীর ক্ষেত্রে একই বিস্তার রয়েছে), আপনি যখন p = prevalence = 1 / Nপ্রতিটি পর্যবেক্ষণের জন্য পূর্বাভাস দেন তখন সমীকরণটি সহজ হয়ে যায়:
Logloss = -log(1 / N)
logহচ্ছে Lnযারা যে কনভেনশন ব্যবহারের জন্য, neperian লগারিদম।
বাইনারি ক্ষেত্রে N = 2,:Logloss = - log(1/2) = 0.693
সুতরাং বোবা-লোগলসগুলি নিম্নলিখিত:
২। বোবা-লগলাসে ক্লাসের বিস্তারের প্রভাব:
ক। বাইনারি শ্রেণিবদ্ধকরণ কেস
এই ক্ষেত্রে, আমরা সর্বদা ভবিষ্যদ্বাণী p(i) = prevalence(i)করি এবং আমরা নিম্নলিখিত সারণিটি পাই:
সুতরাং, যখন ক্লাসগুলি খুব ভারসাম্যহীন হয় (প্রচলিত <2%), 0.1 এর একটি লগলস আসলে খুব খারাপ হতে পারে! যেমন 98% এর যথার্থতা খারাপ হবে be সুতরাং সম্ভবত লোগলস ব্যবহারের জন্য সেরা মেট্রিক না হবে
খ। থ্রি-ক্লাস কেস
"বোবা" - লোগো প্রচলিত উপর নির্ভর করে - তিন শ্রেণির কেস:
আমরা এখানে ভারসাম্য বাইনারি এবং তিন-শ্রেণীর কেসগুলির মান দেখতে পারি (0.69 এবং 1.1)।
উপসংহার
0.69 এর একটি লগলস একটি মাল্টিক্লাস সমস্যার ক্ষেত্রে ভাল এবং বাইনারি পক্ষপাতদুষ্ট ক্ষেত্রে খুব খারাপ হতে পারে।
আপনার কেসের উপর নির্ভর করে আপনার ভবিষ্যদ্বাণীটির অর্থটি পরীক্ষা করতে আপনি নিজের সমস্যার ভিত্তিটি আরও ভালভাবে গণনা করতে পারেন।
পক্ষপাতদুষ্ট ক্ষেত্রে, আমি বুঝতে পারি যে লগলসের সঠিকতা এবং অন্যান্য ক্ষতির ক্রিয়াকলাপগুলির মতো একই সমস্যা রয়েছে: এটি আপনার কর্মক্ষমতাটির জন্য কেবল একটি বিশ্বব্যাপী পরিমাপ সরবরাহ করে। সুতরাং আপনি সংখ্যালঘু শ্রেণির (স্মরণ এবং নির্ভুলতা) উপর দৃষ্টি নিবদ্ধ রেখে মেট্রিকগুলি দিয়ে আপনার বোঝাপড়ার আরও ভাল করে তুলবেন বা লোগলসটি একেবারেই ব্যবহার করবেন না।
সুতরাং এটি ফায়ারব্যাগের প্রতিক্রিয়ার চেয়ে আসলে আরও জটিল এবং এটি সমস্ত আপনি যে ভবিষ্যদ্বাণী করতে চেষ্টা করছেন তার অন্তর্নিহিত পরিবর্তনের উপর নির্ভর করে।
যখন আমি বলি তারতম্য বলতে আমার অর্থ হ'ল 'যদি কোনও ঘটনা যদি একই একই পরিস্থিতিতে পুনরাবৃত্তি করে, পরিচিত ও অজানা, একই পরিণতি আবার হওয়ার সম্ভাবনা কী তখন'।
সম্ভাব্যতার জন্য একটি নিখুঁত ভবিষ্যদ্বাণী লোকসান হবে P: লোকসান = পি এলএন পি + (1-পি) এলএন (1-পি)
যদি আপনি এমন কিছু পূর্বাভাস দেওয়ার চেষ্টা করছেন যেখানে এর খারাপ দিক থেকে কিছু ঘটনা 50/50 ফলাফলের সাথে পূর্বাভাস দেওয়া হবে, তবে একীভূত করে এবং গড়ে গড়ে লোকসানটি হবে: এল = 0.5
আপনি যা পূর্বাভাস দেওয়ার চেষ্টা করছেন তা যদি আরও খারাপ হয় তবে নিখুঁত মডেলের ক্ষতি কম হয়। সুতরাং উদাহরণস্বরূপ, পর্যাপ্ত তথ্যের সাথে বলুন একটি নিখুঁত মডেল এমন একটি ইভেন্টের ফলাফল সম্পর্কে ভবিষ্যদ্বাণী করতে সক্ষম হয়েছিল যেখানে সম্ভাব্য সমস্ত ঘটনা জুড়ে এটি সবচেয়ে খারাপ বলতে পারে যে 'এই ঘটনাটি 90% সম্ভাবনার সাথে ঘটবে' তখন গড় ক্ষতি হবে এল = 0.18 ।
সম্ভাবনার বন্টন অভিন্ন না হলে পার্থক্যও রয়েছে।
সুতরাং আপনার প্রশ্নের উত্তরে উত্তরটি হ'ল এটি 'আপনি কী পূর্বাভাস দেওয়ার চেষ্টা করছেন তার প্রকৃতির উপর নির্ভর করে'
আমি বলব যে স্ট্যান্ডার্ড পরিসংখ্যানের উত্তরটি কেবলমাত্র ইন্টারসেপ্ট একমাত্র মডেলের সাথে তুলনা করা। (এটি অন্যান্য উত্তরে উল্লিখিত ভারসাম্যহীন শ্রেণি পরিচালনা করে) সিএফ এমসিফ্যাডেনের সিউডো আর ^ 2। https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-pseudo-r-squareds/
এখন সমস্যাটি হচ্ছে সর্বোচ্চ মানটি কী। মৌলিকভাবে সমস্যাটি হ'ল ইভেন্টের সম্ভাবনার বিষয়টি ইভেন্টের কোনও মডেলের বাইরে অপরিবর্তিত। আমি যেভাবে পরামর্শ দেব তা হল আপনি সম্ভাব্যতা অনুমানের জন্য আপনার পরীক্ষার ডেটাটি নিয়ে যান এবং এটি একটি নির্দিষ্ট স্তরে একত্রিত করেন। তারপরে এই অনুমানের লগলস গণনা করুন।
উদাহরণস্বরূপ আপনি (ওয়েব_সাইট, বিজ্ঞাপন_আইডি, গ্রাহক_আইডি) উপর ভিত্তি করে হারের মাধ্যমে ক্লিকের পূর্বাভাস দিচ্ছেন, তারপরে আপনি ক্লিকগুলি একত্রিত করুন, উদাহরণস্বরূপ ওয়েব_সাইট স্তরের চিত্র এবং প্রতিটি ওয়েবসাইটের পরীক্ষার সেটটিতে সিটিআর গণনা করুন। তারপরে ভবিষ্যদ্বাণী হিসাবে হারের মাধ্যমে এই পরীক্ষার ক্লিক ব্যবহার করে আপনার পরীক্ষার ডেটা_সেটে লগ_লস গণনা করুন। এটি কেবলমাত্র ওয়েবসাইট আইডির সাহায্যে কোনও মডেলটির জন্য আপনার পরীক্ষার সেটটিতে অনুকূল লগলস । সমস্যাটি হ'ল প্রতিটি রেকর্ড স্বতন্ত্রভাবে চিহ্নিত না হওয়া পর্যন্ত আমরা আরও বেশি বৈশিষ্ট্য যুক্ত করে এই ক্ষতিটিকে যতটা ছোট করতে পারি তত ছোট করতে পারি।