আমার কাছে কিছু ভবিষ্যদ্বাণীপূর্ণ মডেল রয়েছে যার পারফরম্যান্সটি আমি ব্যাক-টেস্ট করতে চাই (অর্থাত, আমার ডেটাসেটটি নিতে, এটি সময়ের সাথে পূর্ববর্তী সময়ে "রিওয়াইন্ড করুন" এবং দেখুন মডেলটি কীভাবে সম্ভাব্য পারফরম্যান্স করত)।
সমস্যাটি হ'ল আমার কয়েকটি মডেল একটি ইন্টারেক্টিভ প্রক্রিয়া দ্বারা নির্মিত হয়েছিল। উদাহরণস্বরূপ, ফ্র্যাঙ্ক হ্যারেলের রেগ্রেশন মডেলিং কৌশলগুলির পরামর্শ অনুসরণ করে , একটি মডেলে আমি বৈশিষ্ট্য এবং প্রতিক্রিয়ার মধ্যে সম্ভাব্য অলৈখিক সংস্থাগুলি পরিচালনা করতে সীমাবদ্ধ ঘন স্প্লিং ব্যবহার করি। আমি ডোমেন জ্ঞান এবং সমিতির শক্তির অবিচ্ছিন্ন ব্যবস্থাগুলির সংমিশ্রণের ভিত্তিতে প্রতিটি স্প্লিনের স্বাধীনতার ডিগ্রি বরাদ্দ করেছি। তবে আমি আমার মডেলটিকে যে স্বাধীনতার ডিগ্রিগুলি দিতে চাইছি তা স্পষ্টভাবে ডেটাসেটের আকারের উপর নির্ভর করে, যা ব্যাকস্টেস্ট করার সময় নাটকীয়ভাবে পরিবর্তিত হয়। আমি যদি মডেলটির ব্যাকস্টেট হয় প্রতিবারের জন্য আলাদাভাবে স্বাধীনতার ডিগ্রিগুলি হাতে নিতে চাই না, তবে আমার অন্যান্য বিকল্পগুলি কী?
অন্য উদাহরণের জন্য, আমি বর্তমানে উচ্চ উত্তোলনের সাথে পয়েন্ট সন্ধানের মাধ্যমে আউটলেট সনাক্তকরণে কাজ করছি working আমি যদি হাত দিয়ে এটি করতে পেরে খুশি হয়ে থাকি তবে আমি কেবল প্রতিটি উচ্চ-উত্তোলিত ডেটা পয়েন্ট, স্যানিটি পরীক্ষা করে ডেটা পরিষ্কার ছিল কিনা তা দেখতে চাই এবং এটি ফিল্টার আউট করে বা হাতে হাতে পরিষ্কার করে ফেলতাম। তবে এটি একগুচ্ছ ডোমেন জ্ঞানের উপর নির্ভর করে, তাই প্রক্রিয়াটি কীভাবে স্বয়ংক্রিয় করা যায় তা আমি জানি না।
আমি (ক) মডেল-বিল্ডিং প্রক্রিয়াটির ইন্টারেক্টিভ অংশগুলিকে স্বয়ংক্রিয় করার সাধারণ সমস্যার, বা (খ) এই দুটি ক্ষেত্রে সুনির্দিষ্ট পরামর্শের উভয়ই পরামর্শ এবং সমাধানগুলির প্রশংসা করব। ধন্যবাদ!