হাইপারপ্যারামিটারগুলি টিউন করার সময় যদি আমি বৈধতা ডেটাতে মডেল পারফরম্যান্সের মূল্যায়ন করি তবে কেন বৈধতা ডেটা সম্পর্কিত তথ্য ফাঁস হবে?

Question

পাইথনের সাথে ফ্রেঞ্চোইস চোল্টের ডিপ লার্নিংয়ে এটি বলে:

ফলস্বরূপ, বৈধতা সেটটিতে পারফরম্যান্সের ভিত্তিতে মডেলটির কনফিগারেশনটি টিউন করার ফলে খুব শীঘ্রই বৈধতা সেটটিতে অতিরিক্ত মানানসই ফলাফল আসতে পারে যদিও আপনার মডেলটি এতে সরাসরি প্রশিক্ষণপ্রাপ্ত না হয়।

এই ঘটনার কেন্দ্রবিন্দু হ'ল তথ্য ফাঁসের ধারণা। যখনই আপনি বৈধতা সেটটিতে মডেলটির পারফরম্যান্সের ভিত্তিতে আপনার মডেলের একটি হাইপারপ্যারমিটার টিউন করেন, মডেলটিতে বৈধতা ডেটা ফাঁসের কিছু তথ্য । যদি আপনি কেবল একবার এটি করেন, একটি প্যারামিটারের জন্য, তবে খুব অল্প পরিমাণে তথ্য ফাঁস হবে এবং আপনার বৈধতা সেটটি মডেলটি মূল্যায়নের জন্য নির্ভরযোগ্য থাকবে। তবে আপনি যদি এই বার বার পুনরুক্ত করেন - একটি পরীক্ষা চালাচ্ছেন, বৈধতা সেটটির মূল্যায়ন করা এবং ফলস্বরূপ আপনার মডেলটি পরিবর্তন করুন — তবে আপনি মডেলটিতে সেট হওয়া বৈধতা সম্পর্কে ক্রমবর্ধমান উল্লেখযোগ্য পরিমাণের তথ্য ফাঁস করবেন।

হাইপারপ্যারামিটারগুলি টিউন করার সময় যদি আমি বৈধতা ডেটাতে মডেল পারফরম্যান্সের মূল্যায়ন করি তবে কেন বৈধতা ডেটা সম্পর্কিত তথ্য ফাঁস হবে?

Comments

বিটিডাব্লু: এটি কেবলমাত্র আপনি কতবার করেন তা নির্ভর করে না তবে অপ্টিমাইজেশনের সময় আপনার পারফরম্যান্স মূল্যায়নের (টার্গেট ক্রিয়ামূলক) এলোমেলো অনিশ্চয়তার উপরও নির্ভর করে না।

— এসবিএক্স

@cbeleites দুঃখিত, এর অর্থ কী?

— ফিবিওমিয়া

অপ্টিমাইজেশনের জন্য ব্যবহৃত ভ্যালিটেশন ফলাফলগুলি যদি নিখুঁত হয় (যেমন না পদ্ধতিগত বা এলোমেলো ত্রুটি না), অপ্টিমাইজেশন সত্যিকারের অনুকূল মডেলটি বেছে নেবে, আপনার কোনওরকমের বাছাই হবে না এবং নির্বাচিত মডেলের অন্য একটি নিখুঁত নিখুঁত বৈধতা হুবহু একই ফলাফল অর্জন করবে। অপ্টিমাইজেশনের সময় আপনি যে কারণগুলির সাথে পরিবর্তিত হন তার সাথে এটি পরিবর্তন না করা ততক্ষণ পদ্ধতিগত ত্রুটি (পক্ষপাত) সহ্য করতে পারে। পারফরম্যান্সের প্রাক্কলনের উপর এলোমেলো ত্রুটি (ভেরিয়েন্স অনিশ্চয়তা) থাকলে কী হবে তা বিবেচনা করুন: আপনি সত্যিকারের পারফরম্যান্স "ল্যান্ডস্কেপ" এর উপরে গোলমাল পাবেন।

— সিবিলেটরা এসএক্স

এই শব্দটি কিছুটা পয়েন্টকে (হাইপারপ্যারমিটার সেটিংস) এটি দেখতে আসলে দেখতে আরও ভাল দেখায়, তাই সেই হাইপারপ্যারামিটার সেটিংসটি দুর্ঘটনাক্রমে (এবং ভুলভাবে) বেছে নেওয়া যেতে পারে। এটি হওয়ার সম্ভাবনা কমে যায়) ক) আপনি এই জাতীয় পারফরম্যান্সের মানগুলি যে পরিমাণ দেখেন এবং খ) সত্য পারফরম্যান্সের উপরে আপনার যে পরিমাণ গোলমাল রয়েছে (সত্য পারফরম্যান্স বৃদ্ধির তুলনায়)। বৈধতার ফলাফলের পুনঃব্যবহার কেন তথ্য ফাঁস, এটি সম্পর্কিত নয়, তবে কীভাবে সম্পর্কিত অতিরিক্ত মান্যতা ঘটে এবং আপনার কতটা গুরুতর সমস্যা আশা করা উচিত - সুতরাং কেবল একটি মন্তব্য।

— এসবিএক্স 3'19

Answer 1

তথ্য ফাঁস হয়েছে কারণ আপনি হাইপার-প্যারামিটার পছন্দগুলি করতে বৈধতা ডেটা ব্যবহার করছেন। মূলত, আপনি একটি জটিল অপ্টিমাইজেশান সমস্যা তৈরি করছেন: হাইপার-প্যারামিটারগুলির তুলনায় ক্ষয়টি কম করুন$\phi$ বৈধতা ডেটার বিরুদ্ধে মূল্যায়ন হিসাবে, যেখানে এই হাইপার-পরামিতিগুলি একটি নিউরাল নেটওয়ার্ক মডেলকে নিয়মিত করে দেয় যার পরামিতিগুলি থাকে $\theta$ একটি নির্দিষ্ট প্রশিক্ষণ সেট ব্যবহার দ্বারা প্রশিক্ষিত।

যদিও পরামিতি $\theta$ হাইপার-পরামিতিগুলি সরাসরি প্রশিক্ষণের ডেটা দ্বারা অবহিত হয় $\phi$বৈধতা ডেটা ভিত্তিতে নির্বাচিত হয়। অধিকন্তু, কারণ হাইপার-প্যারামিটার$\phi$ সুস্পষ্টভাবে প্রভাব $\theta$বৈধতা ডেটা থেকে প্রাপ্ত তথ্য অপ্রত্যক্ষভাবে আপনার চয়ন করা মডেলটিকে প্রভাবিত করছে।

Comments

বিপরীতে, এটি বেশ সুস্পষ্ট ছিল। তবে "যদি আপনি কেবলমাত্র একবার প্যারামিটারের জন্য এটি করেন তবে তথ্যের খুব কম বিট ফাঁস হবে" তার মানে কী? সেখানে কী বোঝানো হয়েছে এবং অন্যান্য ক্ষেত্রে যেমন "আপনি এটি বহুবার পুনরাবৃত্তি করছেন" তার সাথে এটি কীভাবে বিপরীত হয়?

— ফিবিওমিয়া

মনে করুন আপনি বৈধতা ডেটার বিরুদ্ধে কর্মক্ষমতা পরিমাপ করে মাত্র দুটি হাইপার-প্যারামিটার কনফিগারেশন ব্যবহার করে দেখেছেন এবং সেরা মডেলটি বেছে নিয়েছেন। অন্ধ ভাগ্যক্রমে, আপনি বৈধতা ডেটা উপযোগ করতে পরিচালিত হওয়ার আরও একটি ছোট সুযোগ রয়েছে। বিপরীতে, ধরুন আপনি চেষ্টা করুন$2^{10}$হাইপার-প্যারামিটার কনফিগারেশন এবং বৈধতা ডেটা উপর ভিত্তি করে সেরা মডেল চয়ন। আরও বড় ঝুঁকি রয়েছে যে, পুরোপুরি অন্ধ ভাগ্য দ্বারা, আপনি বৈধতা ডেটার উপরে সজ্জিত করতে পারেন। আরও দেখুন: "কাঁটাচামড়ার পথ বাগান" এবং উদ্দীপক প্রভাবগুলির আবিষ্কার।

— সাইকোরাক্স মনিকাকে

এটা নিখুঁত জ্ঞান করে তোলে। মূল বইয়ের শব্দটি সবচেয়ে ভাল ছিল না। ধন্যবাদ!

— ফিবিওমিয়া

বইয়ের শব্দটি দুর্দান্ত।

— মাইকেল এম

আপনার কাছে এটি "দুর্দান্ত" বলে মনে হতে পারে কারণ আপনি সম্ভবত ইতিমধ্যে জানেন যে লেখক কী বলছেন know @ সাইকোরাক্সের মন্তব্যটি আমার কাছে অনেক বেশি স্পষ্ট এবং সহায়ক ছিল।

— ফিবিমোইয়ায়