আমি দুটি মডেলকে প্রশিক্ষণ দিয়েছি (h2o অটোএমএল ব্যবহার করে বাইনারি শ্রেণিবদ্ধ) এবং আমি ব্যবহার করতে একটি নির্বাচন করতে চাই। আমার নিম্নলিখিত ফলাফল রয়েছে:
model_id auc logloss logloss_train logloss_valid gini_train gini_valid
DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975
DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662
aucএবং loglossকলাম ক্রস বৈধতা মেট্রিক্স হয় (ক্রশ বৈধতা শুধুমাত্র প্রশিক্ষণ ডেটা ব্যবহার করে)। ..._trainএবং ..._validবৈশিষ্ট্যের মান যথাক্রমে মডেল মাধ্যমে প্রশিক্ষণ ও বৈধতা মেট্রিক্স চালিয়ে পাওয়া যায়। আমি সেরা মডেল চয়ন করতে হয় logloss_validবা ব্যবহার করতে চাই gini_valid।
মডেল 1 এর আরও ভাল গিনি রয়েছে (অর্থাত্ আরও ভাল এওসি) তবে মডেল দুটিতে আরও ভাল লগলস রয়েছে। আমার প্রশ্নটি কোনটি বেছে নেওয়ার বিষয়ে আমি মনে করি যেটি প্রশ্নটি গ্রহণ করে, সিদ্ধান্তের মেট্রিক হিসাবে গিনি (এউসি) বা লগলসকে ব্যবহার করার সুবিধা / অসুবিধাগুলি কী।
1
আপনি যদি কেবল শ্রেণিবিন্যাসের মধ্যে না থেকেও সম্ভাবনার বিষয়ে আগ্রহী হন তবে লগলসকে কেন পছন্দ করা হয় তার একটি দুর্দান্ত ব্যাখ্যা এই ভিডিওটিতে রয়েছে। নোট করুন যে বাইনারি শ্রেণিবদ্ধকরণের জন্য, লগলস বারিয়ার স্কোরের সমান।
—
ড্যান