এটি কীভাবে সম্ভব যে বৈধতা হ্রাস বৃদ্ধি হচ্ছে যখন বৈধতার যথার্থতাও বাড়ছে

Question

আমি সিআইএফএআর 10 ডেটাসেটে একটি সাধারণ নিউরাল নেটওয়ার্ক প্রশিক্ষণ দিচ্ছি। কিছু সময়ের পরে, বৈধতা হ্রাস বৃদ্ধি পেতে শুরু করে, বৈধতার যথার্থতাও বাড়ছে। পরীক্ষার ক্ষতি এবং পরীক্ষার নির্ভুলতা উন্নত করতে অবিরত।

এটা কিভাবে সম্ভব? দেখে মনে হচ্ছে বৈধতা হ্রাস বৃদ্ধি পেলে যথার্থতা হ্রাস করা উচিত।

পিএস বেশ কয়েকটি অনুরূপ প্রশ্ন রয়েছে, তবে সেখানে কী ঘটছে তা কেউ ব্যাখ্যা করেনি।

Comments

আপনি আমার উত্তরটি বুঝতে এখানে কিছু ইঙ্গিতগুলি চেক করতে পারেন: stats.stackexchange.com/questions/258166/…

— আহস্তাত

@ অহসাত আমি প্রযুক্তিগতভাবে এটি কীভাবে সম্ভব তা বুঝতে পারি তবে কীভাবে এটি এখানে ঘটে তা আমি বুঝতে পারি না।

— কনস্ট্যান্টিন সোলোমাটোভ

'ইলাস্ট্রেশন 2' হ'ল আমি এবং আপনি যা অভিজ্ঞতা পেয়েছিলেন তা এক ধরণের ওভারফিটিং। আমার বিশেষ সমস্যার জন্য, সেটটি সাফ করে দেওয়ার পরে এটি উপশম করা হয়েছিল।

— আহস্তাত

@ হাহাট্যাট ওভারফিটিংয়ের সাথে লড়াই করার অনেক উপায় রয়েছে। উদাহরণস্বরূপ, আমি ড্রপআউট ব্যবহার করতে পারি। আমি সবচেয়ে আকর্ষণীয় কি, এই জন্য ব্যাখ্যা কি। অর্থাৎ কেন এটি এত ধীরে ধীরে বৃদ্ধি পাচ্ছে এবং কেবল উপরে up

— কনস্ট্যান্টিন সোলোমাটোভ

Answer 1

অঙ্কুরের উত্তর এবং এর নীচে দেওয়া মন্তব্যকে কেন্দ্র করে আমি মনে করি যে নিম্নলিখিত পরিস্থিতি সম্ভব, যদিও আমার কাছে তার কোনও প্রমাণ নেই। একই সাথে দুটি ঘটনা ঘটতে পারে:

1. সীমান্তরেখার পূর্বাভাস সহ কয়েকটি উদাহরণ আরও ভালভাবে পূর্বাভাস পায় এবং তাই তাদের আউটপুট শ্রেণীর পরিবর্তন হয় (উদাহরণস্বরূপ বিড়ালের চিত্র 0.4 এ বিড়াল হতে এবং 0.6 ঘোড়া হওয়ার পূর্বাভাস হয়) 0.4 কে ঘোড়া এবং 0.6 বিড়াল হতে হবে)। এর জন্য ধন্যবাদ, ক্ষয় হ্রাসের সময় নির্ভুলতা বৃদ্ধি পায়।

2. খুব খারাপ ভবিষ্যদ্বাণীযুক্ত কয়েকটি উদাহরণ আরও খারাপ হতে থাকে (উদাহরণস্বরূপ, একটি ঘোড়া হতে 0.8-তে পূর্বাভাস দেওয়া একটি বিড়াল চিত্রটি 0.9 হিসাবে ঘোড়া হওয়ার পূর্বাভাস পায়) এবং / অথবা (আরও সম্ভাব্য, বিশেষত বহু-শ্রেণীর জন্য?) খুব ভাল কিছু উদাহরণ রয়েছে পূর্বাভাসগুলি কিছুটা খারাপ হয়ে যায় (উদাহরণস্বরূপ, বিড়াল হওয়ার বিড়াল চিত্রটি 0.9 হিসাবে বিড়াল হওয়ার পূর্বাভাস হয় বিড়াল হওয়ার জন্য 0.8 এ পূর্বাভাস হয়)। এই ঘটনাটি সহ, ক্ষয়টি বৃদ্ধি পায় যখন নির্ভুলতা একই থাকে।

সুতরাং যদি ঘটনাটি কয়েক মুহুর্তে কিক করে, প্রচুর উদাহরণে (উদাহরণস্বরূপ একটি নির্দিষ্ট শ্রেণীর জন্য যা কোনও কারণে ভালভাবে বোঝা যায় না) এবং / অথবা আপনার ক্ষতি হ্রাসের চেয়ে ১ শতাংশের ক্ষতি হ্রাসের চেয়ে বেশি ক্ষতি করে, তবে আপনি সম্ভবত নিজেকে আপনার দৃশ্যে সন্ধান করুন।
আবারও, সম্ভবত এটি ঘটছে না, তবে আমি মনে করি যে এই জাতীয় পরিস্থিতিগুলি সামনে আসতে সক্ষম হতে হবে (ক্রস-এনট্রপি) ক্ষতি এবং নির্ভুলতার মধ্যে মাঝে মাঝে পিচ্ছিল সম্পর্কের কথা মনে করিয়ে দিতে হবে।

Answer 2

কোনও সেটটির যথার্থতা সর্বাধিক সফটম্যাক্স আউটপুট এবং সঠিক লেবেলযুক্ত শ্রেণীটি ক্রস-চেক করে মূল্যায়ন করা হয় the এটি সফটম্যাক্স আউটপুটটি কত বেশি তার উপর নির্ভর করে না । এটি পরিষ্কার করার জন্য, এখানে কয়েকটি নম্বর রয়েছে।

ধরুন এখানে 3 টি শ্রেণি রয়েছে- কুকুর, বিড়াল এবং ঘোড়া। আমাদের ক্ষেত্রে, সঠিক শ্রেণিটি হল ঘোড়া । এখন, সফটম্যাক্সের আউটপুট [0.9, 0.1]। এই ক্ষতির জন্য ~ 0.37। শ্রেণিবদ্ধা পূর্বাভাস করবে যে এটি একটি ঘোড়া। আর একটি ক্ষেত্রে নিন যেখানে সফটম্যাক্স আউটপুট [0.6, 0.4]। লোকসান ~ 0.6। শ্রেণিবদ্ধ এখনও ততক্ষণে ভবিষ্যদ্বাণী করবে যে এটি একটি ঘোড়া। তবে অবশ্যই ক্ষতি বেড়েছে। সুতরাং, এটি আউটপুট বিতরণ সম্পর্কে সমস্ত।

Comments

পর্যবেক্ষণ: আপনার উদাহরণে নির্ভুলতা পরিবর্তন হয় না। এটি এখনও 100%। আপনার কী এমন কোনও উদাহরণ রয়েছে যেখানে লোকসান হ্রাস পায় এবং নির্ভুলতাও হ্রাস পায়?

— হিউ পারকিনস

Answer 3

অঙ্কুরের উত্তর থেকে আমার মনে হয় যে:

$\frac{correct-classes}{total-classes}$

যখন

$less$

তাই ...

উচ্চ বৈধকরণের যথার্থতা + উচ্চ ক্ষতির স্কোর বনাম উচ্চ প্রশিক্ষণের নির্ভুলতা + কম ক্ষতি স্কোর প্রস্তাব দেয় যে মডেলটি প্রশিক্ষণের ডেটাতে অতিরিক্ত-ফিট করে।

Answer 4

এটি কীভাবে সম্ভব তা ব্যাখ্যা করে অনেক উত্তর গাণিতিক গণনায় ফোকাস করে। কেন এটি এমন হয় তা তারা ব্যাখ্যা করে না। এবং আরও পরিষ্কার হওয়ার জন্য কীভাবে আরও খনন করা যায় তা তারা পরামর্শ দিতে পারে না।

আমার 3 অনুমান আছে। এবং সেগুলি যাচাই করার জন্য কিছু পরীক্ষার পরামর্শ দিন। আশা করি এটি এই সমস্যাটি ব্যাখ্যা করতে সহায়তা করতে পারে।

1. লেবেল গোলমাল করছে। Val_loss সর্বনিম্ন এবং val_acc সর্বাধিক হলে এর মধ্যে মিথ্যা পূর্বাভাসের তুলনা করুন। এই নমুনাটি সঠিকভাবে লেবেলযুক্ত কিনা তা পরীক্ষা করুন।
2. [কম সম্ভাবনা] মডেলটিতে তথ্যের যথেষ্ট দিক থাকতে পারে তা সুনিশ্চিত হয়। আরও এবং বৃহত্তর গোপন স্তরগুলির সাথে পরীক্ষা করুন।
3. [খুব বুনো অনুমান] এটি এমন একটি ক্ষেত্রে যেখানে মডেল নির্দিষ্ট কিছু বিষয়ে বেশি প্রশিক্ষণ প্রাপ্ত হিসাবে কম নির্দিষ্ট। এ জাতীয় পরিস্থিতি মানুষের ক্ষেত্রেও ঘটে। কেউ যখন কোনও কৌশল শিখতে শুরু করেন, তখন তাকে ঠিক বলা হয় কোনটি ভাল বা খারাপ, কোনটি (উচ্চ নির্দিষ্টতা) জন্য নির্দিষ্ট। যখন তিনি আরও কেস এবং উদাহরণগুলির মধ্যে যান, তিনি বুঝতে পারেন যে কখনও কখনও কিছু নির্দিষ্ট সীমানা ঝাপসা হতে পারে (কম নির্দিষ্ট, উচ্চতর ক্ষতি), যদিও তিনি আরও ভাল সিদ্ধান্ত নিতে (আরও নির্ভুলতা) নিতে পারেন। এবং তিনি শেষ পর্যন্ত আরও নির্দিষ্ট হয়ে উঠতে পারেন যখন তিনি নমুনার বিশাল তালিকা এবং প্রচুর পরীক্ষা এবং ত্রুটি (আরও প্রশিক্ষণের ডেটা) দিয়ে যাওয়ার পরে মাস্টার হন। সুতরাং এই ক্ষেত্রে, আমি প্রশিক্ষণের ডেটা (লেবেল নয়) আরও শব্দ যুক্ত করার জন্য পরীক্ষার পরামর্শ দিচ্ছি যা সহায়ক হতে পারে।

আপনি যদি এই অনুমানের সাথে একমত না হন তবে এ নিয়ে তর্ক করবেন না। এগুলি যাচাই করার জন্য পরীক্ষা-নিরীক্ষা করে বেরিয়ে আসা আরও অর্থবহ হবে, তাদের প্রমাণ করার জন্য বা তাদের ভুল প্রমাণ করার কোনও কারণ নেই।