প্রথমত, এমন একটি প্রশ্ন পোস্ট করার জন্য ক্ষমা চাওয়া যা ইতিমধ্যে এখানে , এখানে , এখানে , এখানে , এখানে দীর্ঘ আলোচনা করা হয়েছে, এবং একটি পুরানো বিষয় পুনরায় গরম করার জন্য। আমি জানি @ ডিক্রানমারসুপিয়াল পোস্ট এবং জার্নাল পেপারগুলিতে এই বিষয়টি সম্পর্কে দীর্ঘমেয়াদে লিখেছেন, তবে আমি এখনও বিভ্রান্ত হয়েছি, এবং এখানে অনুরূপ পোস্টগুলির সংখ্যা বিচার করে এটি এখনও এমন কিছু যা অন্যরা বুঝতে সক্ষম হয় না। আমার আরও বলা উচিত যে আমি এই বিষয়টির সাথে পরস্পরবিরোধী হয়েছি যা আমার বিভ্রান্তিকে আরও বাড়িয়ে তুলেছে। আপনার আরও জানা উচিত যে আমি মূলত একজন পদার্থবিজ্ঞানী এবং কোনও পরিসংখ্যানবিদ নই, সুতরাং এখানে আমার ডোমেন দক্ষতা কিছুটা সীমাবদ্ধ। আমি একটি জার্নাল পেপার লিখছি যেখানে আমি আমার চূড়ান্ত মডেল থেকে আশা করতে পারি পারফরম্যান্স অনুমান করতে নেস্টেড সিভি ব্যবহার করতে চাই। আমার ডোমেনে, এটি প্রথম। (আমরা প্রায় কোনওই ব্যবহার করি নাআমার ক্ষেত্রে মজবুত সিভি ফর্ম কিন্তু আনন্দের সাথে স্নায়বিক জাল এবং উত্সাহিত সিদ্ধান্ত গাছ ব্যবহার করে পড়াশুনা ফলাফল সঙ্গে কাগজপত্র পাম্প!) সুতরাং, আমি খুব স্পষ্টভাবে এবং স্পষ্ট বোঝা যাতে আমি স্ক্রু আপ এবং প্রচার না করি খুব গুরুত্বপূর্ণ আমার সম্প্রদায়ের জন্য একটি ভুল পদ্ধতি যা বছরের পর বছর প্রকাশ করতে পারে! ধন্যবাদ! প্রশ্নটি নিয়ে ...
নেস্টেড ক্রস-বৈধকরণের পরে আমি চূড়ান্ত মডেলটি কীভাবে তৈরি করব?
আমি এল 1 এবং এল 2 নিয়মিতকরণের সাথে একটি সাধারণ গ্ল্যামনেট মডেল প্রশিক্ষণ দিচ্ছি। এটি দ্রুত, সহজ এবং ব্যাখ্যাযোগ্য। আমি বৈশিষ্ট্য কেন্দ্রীকরণ, স্কেলিং এবং বক্স-কক্স রূপান্তরগুলি সম্পাদন করি যাতে বৈশিষ্ট্য বিতরণগুলি মধ্যকেন্দ্রিক, মানক এবং কিছুটা গাউসিয়ানের মতো। তথ্য ফাঁস রোধ করতে আমি ক্রস-বৈধতার মধ্যে এই পদক্ষেপটি সম্পাদন করি। বিশুদ্ধরূপে যেহেতু আমার হার্ডওয়্যারটি অবিশ্বাস্যভাবে ধীর এবং আমার আরও সিপিইউ পেশীর অ্যাক্সেস নেই, আমি বৈশিষ্ট্য প্রিপ্রসেসিংয়ের পরে সিভিতেও দ্রুত ফিল্টার-ভিত্তিক বৈশিষ্ট্য নির্বাচন করি। আমি আলফা এবং ল্যাম্বদা হাইপারপ্যারামিটারগুলি বাছতে র্যান্ডম গ্রিড অনুসন্ধান ব্যবহার করছি। আমি বুঝতে পারি যে আমার উচিত ছিল না 'এই অনুমানটি পেতে সিভি লুপ। আমি বুঝতে পারি যে অভ্যন্তরীণ সিভি লুপটি মডেল নির্বাচনের জন্য ব্যবহৃত হয় (এই ক্ষেত্রে, সর্বোত্তম হাইপারপ্যারামিটারগুলি) এবং যে বাইরের লুপটি মডেল মূল্যায়নের জন্য ব্যবহৃত হয় , অর্থাত্ অভ্যন্তরীণ এবং বহিরাগত সিভি দুটি ভিন্ন উদ্দেশ্যে পরিবেশন করে যা প্রায়শই ভুলভ্রান্তভাবে সঙ্কটে থাকে। (আমি এখন পর্যন্ত কীভাবে করছি?)
এখন, আমি যে লিঙ্কগুলি পোস্ট করেছি সেগুলি থেকে বোঝা যায় যে "ক্রস-বৈধকরণের চিন্তাভাবনার উপায়টি কোনও মডেলটির পারফরম্যান্স অনুমানের পরিবর্তে কোনও মডেল তৈরির পদ্ধতি ব্যবহার করে প্রাপ্ত পারফরম্যান্সের অনুমান হিসাবে"। দেওয়া হল, নেস্টেড সিভি পদ্ধতির ফলাফলগুলি কীভাবে ব্যাখ্যা করব?
আমি যে পরামর্শটি পড়েছি তা নিম্নলিখিতগুলি নির্দেশ করে বলে মনে হচ্ছে --- দয়া করে এটি ভুল হলে আমাকে সংশোধন করুন: অভ্যন্তরীণ সিভি হল এমন একটি প্রক্রিয়াটির অংশ যা আমাকে আমার গ্ল্যামনেট মডেলের অনুকূল আলফা এবং ল্যাম্বদা হাইপারপ্যারামিটারগুলি নির্বাচন করতে দেয়। বাইরের সিভি অনুমান আমি চূড়ান্ত মডেল থেকে পেতে যদি আমি পদ্ধতি ঠিক হিসাবে ভেতরের সিভি ব্যবহৃত প্রয়োগ আশা করতে পারেন বলে hyperparameter টিউনিং সহ এবং সমগ্র ডেটা সেটটি ব্যবহার চূড়ান্ত মডেল গড়ে তুলতে। যে, হাইপারপ্যারমিটার টিউনিং "মডেল তৈরির পদ্ধতি" এর অংশ। এটা কি ঠিক? কারণ এটিই আমাকে বিভ্রান্ত করে। অন্য কোথাও আমি দেখেছি যে চূড়ান্ত মডেল স্থাপনের জন্য নির্ধারিত পদ্ধতিতে স্থির মানগুলি ব্যবহার করে পুরো ডেটাসেটের প্রশিক্ষণ জড়িতসিভি ব্যবহার করে বেছে নেওয়া হাইপারপ্যারামিটারগুলির মধ্যে। এখানে, "মডেল তৈরির পদ্ধতি" টিউনিংয়ের অন্তর্ভুক্ত নয়। তো, এটি কোনটি? চূড়ান্ত মডেলটি তৈরি করার জন্য কোনও সময়ে অনুকূল হাইপারপ্যারামিটারগুলি বেছে নেওয়া এবং ঠিক করা হয়! কোথায়? কিভাবে? যদি আমার অভ্যন্তরীণ লুপটি 5-গুণ সিভি হয়, এবং আমার বাইরের লুপটি 5-ভাঁজ সিভি, এবং আমি নির্বাচন করেছি, বলুন, অভ্যন্তরীণ সিভিতে র্যান্ডম গ্রিড অনুসন্ধানের অংশ হিসাবে পরীক্ষার জন্য 100 পয়েন্ট, আমি আসলে কতবার গ্ল্যামনেটকে প্রশিক্ষণ দিই? মডেল? (100 * 5 * 5) চূড়ান্ত বিল্ডের জন্য + 1, বা এমন আরও কিছু পদক্ষেপ রয়েছে যা সম্পর্কে আমি অজানা?
মূলত, নেস্টেড সিভি থেকে পারফরম্যান্সের প্রাক্কলনটি কীভাবে ব্যাখ্যা করা যায় এবং চূড়ান্ত মডেলটি কীভাবে তৈরি করা যায় তার একটি খুব স্পষ্ট বর্ণনা আমার দরকার।
আমি আমার চূড়ান্ত গ্ল্যামনেট মডেল থেকে (বাইনারি) শ্রেণির লেবেলে রূপান্তর করার জন্য সম্ভাব্যতা চৌম্বকটি বাছাইয়ের উপযুক্ত পদ্ধতিটি জানতে চাই --- আরও একটি লুপ সিভি দরকার?