বৈধতা হ্রাস বা নির্ভুলতার প্রথম দিকে থামছে?


10

আমি বর্তমানে একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণ দিচ্ছি এবং আমার প্রারম্ভিক বন্ধের মানদণ্ডটি কার্যকর করতে কোনটি ব্যবহার করতে হবে তা আমি ঠিক করতে পারছি না: বৈধতা হ্রাস বা যথার্থতা / f1score / auc / যাচাইকরণ সেটটিতে গণনা করা যাই হোক না কেন যেমন একটি মেট্রিক।

আমার গবেষণায়, আমি উভয় অবস্থান রক্ষার নিবন্ধগুলিতে এসেছি। কেরাস বৈধতা হারাতে ডিফল্ট বলে মনে হচ্ছে তবে আমি বিপরীত পদ্ধতির জন্য উদাহরণস্বরূপ উত্তরগুলিও পেয়েছি (যেমন এখানে )।

কারও কাছে নির্দেশনা রয়েছে কখন অগ্রাধিকার সহকারে ক্ষতি হ'ল এবং নির্দিষ্ট মেট্রিক কখন ব্যবহার করবেন?

উত্তর:


6

TLDR; নির্ভুলতার চেয়ে ক্ষতি নিরীক্ষণ করুন

আমি আমার নিজের প্রশ্নের উত্তর দেব যেহেতু আমি মনে করি যে প্রাপ্ত উত্তরগুলি বিন্দুটি মিস করেছে এবং কারও একদিন একই সমস্যা হতে পারে।

প্রথমে, আমি দ্রুত স্পষ্ট করে বলি যে নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণ দেওয়ার সময় প্রারম্ভিক স্টপিং ব্যবহার করা একেবারে স্বাভাবিক (

এখন, নিরীক্ষণের পরিমাণ সম্পর্কে: নির্ভুলতার চেয়ে ক্ষতিটিকে পছন্দ করুন। কেন? ক্ষতির পরিমাণ নির্ধারণ করা কতটা নির্দিষ্ট মডেলটি একটি পূর্বাভাস সম্পর্কে (মূলত সঠিক মানের 1 এর কাছাকাছি এবং অন্যান্য শ্রেণিতে 0 এর কাছাকাছি থাকা)। নির্ভুলতা কেবলমাত্র সঠিক পূর্বাভাসের সংখ্যার জন্য অ্যাকাউন্ট করে। একইভাবে, সম্ভাবনার পরিবর্তে হার্ড পূর্বাভাস ব্যবহার করা যে কোনও মেট্রিকগুলির একই সমস্যা রয়েছে।

স্পষ্টতই, আপনি যে মেট্রিকগুলি চয়ন করে শেষ করেন না কেন এটি একটি বৈধতা সেটগুলিতে গণনা করতে হবে এবং প্রশিক্ষণ সেট নয় (অন্যথায়, আপনি প্রথম স্থানে আর্লিস্টপিং ব্যবহার করার বিন্দুটি পুরোপুরি অনুপস্থিত)


মানগুলি যদি 0 এবং 1 এর মধ্যে cross_entropyহয় তবে ক্ষতি হ'ল MSEবা তার চেয়ে বেশি পছন্দনীয় প্রার্থী MAEএই নিবন্ধটির মোড়ক আপ বিভাগ এবং পরিসংখ্যানগুলিতে এই পোস্টটি দেখুন
ইসমাইলিয়ান

@ ইসমাইলিয়ান এটি পছন্দ করার বিষয় নয়; জন্য ক্লাসিফিকেশন সমস্যা, MSE & মায়ে কেবল উপযুক্ত নয়।
মরুভূমি 17

4

আমার মতে, এটি বিষয়গত এবং সমস্যা নির্দিষ্ট। ড্রাইভিং মেট্রিক হিসাবে আপনার মনের সবচেয়ে গুরুত্বপূর্ণ বিষয়টি যা আপনার ব্যবহার করা উচিত, কারণ এটি কীভাবে মডেলটিকে আরও ভাল করে ফোকাস করতে হবে সে সম্পর্কে আপনার সিদ্ধান্ত নিতে পারে।

L1

উদাহরণস্বরূপ, আপনি যদি নিজের রিপোর্টে / আপনার মনিবকে ইত্যাদি সম্পর্কিত কোনও এফ 1-স্কোর রিপোর্ট করেন (এবং ধরে নিচ্ছেন তারা সত্যই এটির যত্ন নেয়) তবে সেই মেট্রিকটি ব্যবহার করা সার্থক হতে পারে। উদাহরণস্বরূপ, এফ 1-স্কোর যথার্থতা গ্রহণ করে এবং অ্যাকাউন্টে প্রত্যাহার করে অর্থাত্ এটি আরও দুটি সূক্ষ্ম গ্রেডযুক্ত মেট্রিকের মধ্যে সম্পর্কের বর্ণনা দেয় ।

এই জিনিসগুলি একসাথে নিয়ে আসা, সাধারণ ক্ষতি ব্যতীত অন্য স্কিপগুলি সংক্ষিপ্ত করা ওভারভিউ এবং আপনার চূড়ান্ত মেট্রিক কীভাবে প্রশিক্ষণের পুনরাবৃত্তির উপর নির্ভর করে। এই সম্পর্ক সম্ভবত আপনাকে সমস্যার আরও গভীর অন্তর্দৃষ্টি দিতে পারে,

তবে বেশ কয়েকটি বিকল্পের চেষ্টা করা সবচেয়ে ভাল, তবে, বৈধতা হ্রাসের জন্য অনুকূলিতকরণ প্রশিক্ষণের জন্য দীর্ঘকাল চলতে পারে, যা শেষ পর্যন্ত উচ্চতর এফ 1-স্কোরও তৈরি করতে পারে । যথাযথতা এবং পুনরুদ্ধার কিছু স্থানীয় মিনিমা প্রায় দুলতে পারে, প্রায় স্থির F1-স্কোর উত্পাদন করে - যাতে আপনি প্রশিক্ষণ বন্ধ করবেন stop আপনি যদি খাঁটি ক্ষতির জন্য অনুকূল হয়ে থাকেন তবে আপনাকে আরও বেশি সময় প্রশিক্ষণের জন্য ক্ষতির পরিমাণে যথেষ্ট পরিমাণ ওঠানামা রেকর্ড করতে পারেন।


বৈধতা ক্ষয় ব্যবহার কেন মেট্রিক ব্যবহারের চেয়ে বেশি প্রশিক্ষণের অনুমতি দেবে? এছাড়াও, আপনি দুটি বিকল্পের মধ্যে পার্থক্যটি বিস্তারিতভাবে বর্ণনা করতে পারেন? আপনি কি এমন কোনও মামলা দেখেন যেখানে ক্ষতির চেয়ে মেট্রিক ব্যবহার করা খারাপ ধারণা হবে?
কিমিউস

@ আইডি -2205 - দয়া করে আমার সম্পাদিত উত্তর দেখুন।
n1k31t4

মজার বিষয়! আমি বর্তমানে তাড়াতাড়ি থামার জন্য নির্ভুলতা ব্যবহার করছি তবে আমি বৈধতা হারাতে চেষ্টা করব। আমি যদিও প্রশিক্ষণ প্রক্রিয়ায় কোনও পরিবর্তন আশা করি না! আপনার উত্তরের জন্য আপনাকে ধন্যবাদ
qmeeus

1

আমি বর্তমানে একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণ দিচ্ছি এবং আমার প্রারম্ভিক বন্ধের মানদণ্ডটি কার্যকর করতে কোনটি ব্যবহার করতে হবে তা আমি ঠিক করতে পারছি না: বৈধতা হ্রাস বা যথার্থতা / f1score / auc / যাচাইকরণ সেটটিতে গণনা করা যাই হোক না কেন যেমন একটি মেট্রিক।

আপনি যদি একটি গভীর নেটওয়ার্ক প্রশিক্ষণ নিচ্ছেন তবে আমি আপনাকে প্রারম্ভিক স্টপটি ব্যবহার না করার পরামর্শ দিচ্ছি। গভীর শিক্ষায়, এটি খুব প্রচলিত নয়। পরিবর্তে, আপনি সাধারণীকরণের জন্য ড্রপ আউট এর মতো অন্যান্য কৌশলগুলিও নিয়োগ করতে পারেন। আপনি যদি এটিতে জেদ করেন, মানদণ্ড নির্বাচন করা আপনার কাজের উপর নির্ভর করে। যদি আপনার ভারসাম্যহীন ডেটা থাকে তবে আপনাকে F1স্কোর নিয়োগ করতে হবে এবং আপনার ক্রস-বৈধতা ডেটাতে এটি মূল্যায়ন করতে হবে। আপনার যদি ভারসাম্যপূর্ণ ডেটা থাকে তবে আপনার ক্রস-বৈধতা ডেটাতে নির্ভুলতা ব্যবহার করার চেষ্টা করুন। অন্যান্য কৌশলগুলি আপনার কাজের উপর নির্ভর করে।

আমি আপনাকে এমন একটি মডেল সন্ধান করতে উত্সাহিত করছি যা আপনার ডেটা খুব ভাল ফিট করে এবং এরপরে ড্রপ আউট নিয়োগ করে। এটি গভীর মডেলের জন্য লোকেদের ব্যবহার করা সবচেয়ে প্রথাগত।


2
আমি ড্রপআউটও ব্যবহার করছি। তবে তাড়াতাড়ি থামানো কেন ব্যবহার না করা উচিত তার কোন কারণ আমি খুঁজে পাচ্ছি না ...
কিমিউস

প্রাথমিক স্টপ উভয় শেখার এবং জেনারালাইজেশন সমস্যা সমাধান করার চেষ্টা করে। অন্যদিকে ড্রপ আউট কেবল সাধারণীকরণের সমস্যাটি কাটিয়ে উঠার চেষ্টা করে।
মিডিয়া

1
আপনি আমার প্রশ্নের উত্তর দিবেন না ... আমি এই সত্যটি অস্বীকার করি না যে ড্রপআউট কার্যকর এবং অত্যধিক মানসিকতা থেকে রক্ষা করার জন্য ব্যবহার করা উচিত, আমি এ বিষয়ে আরও একমত হতে পারি না। আমার প্রশ্ন: আপনি কেন বলছেন যে এএনএন দিয়ে প্রারম্ভিক স্টপ ব্যবহার করা উচিত নয়? (সিএফ আপনার প্রথম বাক্য: আপনি যদি একটি গভীর নেটওয়ার্ক প্রশিক্ষণ নিচ্ছেন তবে আমি আপনাকে প্রারম্ভিক স্টপটি ব্যবহার না করার পরামর্শ দিচ্ছি))
কিমিউস

আপনি আমার শেষ মন্তব্যটি পড়েছেন? এটি আপনার প্রশ্নের ঠিক উত্তর দেয়। এটি জনসংযোগ থেকে একটি বিখ্যাত উক্তি। এনজি তার গভীর শিক্ষার ক্লাসে, দ্বিতীয় কোর্সে। একাধিক কাজ একযোগে সমাধান করার জন্য সংগ্রাম না করার কারণে পরবর্তী ঘটনাটি একটি সহজ কাজ।
মিডিয়া

3
এবং এটি খুঁজে পেতে এবং হাইপারপ্যারামিটারগুলির সঠিক সেটটি সন্ধান করার জন্য, আমি উপরে যে কারণে ব্যাখ্যা করেছি তার জন্য প্রারম্ভিক স্টপ সহ একরকম পরিচালিত গ্রিড অনুসন্ধান নিযুক্ত করছি। যদিও পয়েন্ট নেওয়া হয়েছে এবং একবার আমি চূড়ান্ত মডেলটি নির্বাচন করেছি এবং আমি এটি প্রশিক্ষণ দেব, আমি তাড়াতাড়ি স্টপ ব্যবহার করব না। এই আকর্ষণীয় আলোচনার জন্য এবং আপনার পরামর্শের জন্য আপনাকে ধন্যবাদ
qmeeus
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.