নমুনা ছাড়াই ডেটা ওফিটিংয়ের ক্ষেত্রে কি 100% মডেলের নির্ভুলতা রয়েছে?


11

আমি সবেমাত্র কগনিটিভ ক্লাস.ইয়ের উপর আর কোর্সের জন্য মেশিন লার্নিং শেষ করেছি এবং র্যান্ডম ফরেস্টের সাথে পরীক্ষা শুরু করেছি।

আমি আর এ "র্যান্ডমফোরস্ট" লাইব্রেরি ব্যবহার করে একটি মডেল তৈরি করেছি। মডেলটি ভাল এবং খারাপ দুটি শ্রেণি দ্বারা শ্রেণিবদ্ধ করে।

আমি জানি যে কোনও মডেল যখন ওভারফিট হয়, তখন এটি তার নিজস্ব প্রশিক্ষণসেট থেকে প্রাপ্ত ডেটাগুলিতে ভাল সম্পাদন করে তবে নমুনা ছাড়াই badly

আমার মডেলটিকে প্রশিক্ষণ ও পরীক্ষা করার জন্য আমি সম্পূর্ণ ডেটাসেটকে প্রশিক্ষণের জন্য 70% এবং পরীক্ষার জন্য 30% এ বিভক্ত করেছি।

আমার প্রশ্ন: আমি পরীক্ষার সেটটিতে করা ভবিষ্যদ্বাণীটির বাইরে 100% নির্ভুলতা পাচ্ছি। এই খারাপ? এটা সত্য হতে পারে খুব ভাল মনে হয়।

উদ্দেশ্যটি হ'ল একে অপরের উপর নির্ভর করে ওয়েভফর্মগুলি চারটির উপরে তরঙ্গরূপে স্বীকৃতি। ডেটাসেটের বৈশিষ্ট্যগুলি হ'ল ডায়ামিক টাইম ওয়ার্পিং বিশ্লেষণের তরঙ্গরূপগুলির সাথে তাদের টার্গেট তরঙ্গরূপের বিশ্লেষণের ব্যয় ফলাফল।


সাইটে স্বাগতম! আপনি কিছু শব্দ ডেটা নিয়ে ভবিষ্যদ্বাণী করার চেষ্টা করেছিলেন?
Toros91

প্রতিবার আপনি যখন রদবদল, প্রশিক্ষণ এবং পরীক্ষা করবেন তখন যথার্থতা 100%?
অ্যালেক্স

@ অ্যালেক্স ঠিক না তবে এটি 98,55% এর মতো খুব বেশি থাকে
মিলান ভ্যান ডিজক

1
@ অ্যালেক্স ১১.৩৫% "ঠিক আছে" এবং ৮.6.5৫% "খারাপ"
মিলান ভ্যান ডিজক

1
এটি বেশ ভারসাম্যহীন। ওকে ক্লাসের দিকে প্রশিক্ষণের ক্ষেত্রে ভারসাম্য টিপতে পুনরায় মডেলিং (পুনরায় নমুনা) ব্যবহার করার চেষ্টা করুন (এটি উদাহরণস্বরূপ 30% করুন) এবং পরীক্ষা / বৈধতা সেটগুলিতে 11/89 অনুপাত রাখুন। তুমি কি পেলে?
অ্যালেক্স

উত্তর:


29

যথার্থতার মতো উচ্চ বৈধতার স্কোরগুলির অর্থ সাধারণত আপনি বেশি উত্সাহী নন, তবে এটি সতর্কতার দিকে পরিচালিত হওয়া উচিত এবং কিছু ভুল হয়েছে বলে ইঙ্গিত দিতে পারে। এর অর্থ এইও হতে পারে যে সমস্যাটি খুব বেশি কঠিন নয় এবং আপনার মডেলটি সত্যই ভাল অভিনয় করে। দুটি জিনিস যা ভুল হতে পারে:

  • আপনি ডেটাটি সঠিকভাবে বিভক্ত করেন নি এবং বৈধতা ডেটাও আপনার প্রশিক্ষণ ডেটাতে ঘটেছিল, যার অর্থ এটি অত্যধিক মানসিকতা নির্দেশ করে কারণ আপনি আর সাধারণীকরণ পরিমাপ করছেন না are
  • অতিরিক্ত বৈশিষ্ট্য তৈরি করতে আপনি কিছু বৈশিষ্ট্য ইঞ্জিনিয়ারিং ব্যবহার করেন এবং আপনি সম্ভবত কয়েকটি লক্ষ্য ফাঁস প্রবর্তন করতে পারেন, যেখানে আপনার সারিগুলি কেবলমাত্র আপনার প্রশিক্ষণ সংস্থার অন্যদের কাছ থেকে নয়, বর্তমান টার্গেটের তথ্য ব্যবহার করছে

11
100% নির্ভুলতা সর্বদা "লক্ষ্য ফাঁস" বলে চিৎকার করে।
পল

1

আপনার সবচেয়ে ভবিষ্যদ্বাণীপূর্ণ বৈশিষ্ট্যগুলি কী তা দেখতে তদন্ত করুন। কখনও কখনও দুর্ঘটনাক্রমে আপনি আপনার বৈশিষ্ট্যগুলির মধ্যে লক্ষ্য (বা আপনার টার্গেটের সমতুল্য কিছু) অন্তর্ভুক্ত করেছিলেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.