প্রশ্ন ট্যাগ «overfitting»

আমি "ওভারফিটিং" এর অর্থ কী তা বুঝতে পেরেছি, তবে কীভাবে একটি আসল-বিশ্বের উদাহরণ পাওয়া যাবে যা ওভারফিটিংয়ের ক্ষেত্রে প্রযোজ্য।

107 overfitting 

পূর্বাভাসকারী এবং নমুনা আকার সহ একটি ভাল পুরানো রিগ্রেশন সমস্যা বিবেচনা করুন । সাধারন জ্ঞান হ'ল ওএলএসের অনুমানকারী বেশি পরিমাণে আসবে এবং সাধারণত রিজ রিগ্রেশন অনুমানকারীকে ছাড়িয়ে যাবে:এটা তোলে ক্রস বৈধতা ব্যবহার করার জন্য একটি অনুকূল নিয়মিতকরণ প্যারামিটার এটি মান । এখানে আমি 10-গুণ সিভি ব্যবহার করি। স্পেসিফিকেশন আপডেট: যখন …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

আমার একটি কম্পিউটার বিজ্ঞানের পটভূমি রয়েছে তবে ইন্টারনেটে সমস্যা সমাধানের মাধ্যমে নিজেকে ডেটা বিজ্ঞান শেখানোর চেষ্টা করছি। আমি গত কয়েক সপ্তাহ ধরে প্রায় এই সমস্যাটি নিয়ে কাজ করছি (প্রায় 900 টি সারি এবং 10 টি বৈশিষ্ট্য)। আমি প্রথমে লজিস্টিক রিগ্রেশন ব্যবহার করছিলাম তবে এখন আমি এলোমেলো বনগুলিতে স্যুইচ করেছি। আমি …

41 random-forest  overfitting 

অভিযোজিত ডেটা বিশ্লেষণের ধারণাটি হ'ল ডেটা বিশ্লেষণের জন্য আপনার পরিকল্পনাটি পরিবর্তন করার সাথে সাথে আপনি আরও শিখবেন। অনুসন্ধানের তথ্য বিশ্লেষণের ক্ষেত্রে (ইডিএ), এটি সাধারণত একটি ভাল ধারণা (আপনি প্রায়শই ডেটাতে অপ্রত্যাশিত নিদর্শনগুলির সন্ধান করছেন), তবে একটি নিশ্চিত গবেষণার জন্য, বিশ্লেষণের খুব ত্রুটিযুক্ত পদ্ধতি হিসাবে এটি ব্যাপকভাবে গৃহীত হয় (যতক্ষণ না …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

আমি সিআইএফএআর 10 ডেটাসেটে একটি সাধারণ নিউরাল নেটওয়ার্ক প্রশিক্ষণ দিচ্ছি। কিছু সময়ের পরে, বৈধতা হ্রাস বৃদ্ধি পেতে শুরু করে, বৈধতার যথার্থতাও বাড়ছে। পরীক্ষার ক্ষতি এবং পরীক্ষার নির্ভুলতা উন্নত করতে অবিরত। এটা কিভাবে সম্ভব? দেখে মনে হচ্ছে বৈধতা হ্রাস বৃদ্ধি পেলে যথার্থতা হ্রাস করা উচিত। পিএস বেশ কয়েকটি অনুরূপ প্রশ্ন রয়েছে, …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

লজিস্টিক রিগ্রেশন মডেলটিকে কীভাবে উপভোগ করা সম্ভব? আমি একটি ভিডিও দেখেছি যে বলছে যে যদি আরওসি বক্ররেখার অধীনে আমার অঞ্চলটি 95% এর চেয়ে বেশি হয় তবে এটির খুব বেশি লাগানো সম্ভব তবে লজিস্টিক রিগ্রেশন মডেলের চেয়ে বেশি মানা করা কি সম্ভব?

28 logistic  overfitting  regression-strategies 

আমি প্রায় এক বছর আগে অ্যান্ড্রু এনগের মেশিন লার্নিং কোর্সটি সম্পন্ন করেছি এবং এখন লজিস্টিক রিগ্রেশন এবং পারফরম্যান্সকে অনুকূল করার কৌশলগুলি সম্পর্কে আমার হাই স্কুল গণিত অনুসন্ধানটি লিখছি writing এই কৌশলগুলির মধ্যে একটি অবশ্যই নিয়মিতকরণ। নিয়ন্ত্রণের লক্ষ্য হল মডেলের সরলতার লক্ষ্য অন্তর্ভুক্ত করার জন্য ব্যয় ক্রিয়াকে বাড়িয়ে ওভারফিটিং প্রতিরোধ করা। …

27 regression  machine-learning  optimization  regularization  overfitting 

এটা কি সত্য যে বায়েশিয়ান পদ্ধতিগুলি বেশি মানায় না? (আমি কিছু কাগজপত্র এবং টিউটোরিয়াল এই দাবি করা দেখেছি) উদাহরণস্বরূপ, আমরা যদি এমএনআইএসটিতে (হস্তাক্ষর অঙ্কিত শ্রেণিবিন্যাস) কোনও গাউসিয়ান প্রক্রিয়া প্রয়োগ করি তবে কেবলমাত্র এটি একটি একক নমুনা দেখায়, তবে এটি কি সেই একক নমুনা থেকে আলাদা কোনও ইনপুটগুলির পূর্ববর্তী বিতরণে ফিরে …

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

ধরুন যে কোনও মডেলের প্রশিক্ষণের ডেটাতে 100% নির্ভুলতা রয়েছে তবে পরীক্ষার ডেটাতে 70% নির্ভুলতা রয়েছে। এই মডেল সম্পর্কে নিম্নলিখিত যুক্তি সত্য? এটি সুস্পষ্ট যে এটি একটি অত্যুজ্জিত মডেল। ওভারফিটিং হ্রাস করে পরীক্ষার নির্ভুলতা বাড়ানো যেতে পারে। তবে, এই মডেলটি এখনও একটি দরকারী মডেল হতে পারে, যেহেতু এটি পরীক্ষার তথ্যের জন্য …

25 model  accuracy  overfitting 

ধরুন আমার কাছে তত্ত্বাবধানের পরিসংখ্যান শ্রেণিবদ্ধকরণের জন্য একটি ডেটাসেট রয়েছে, যেমন, কোনও বয়েসের শ্রেণিবদ্ধের মাধ্যমে। এই ডেটাসেটে 20 টি বৈশিষ্ট্য রয়েছে এবং আমি প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস (পিসিএ) এবং / অথবা লিনিয়ার ডিসক্রিমেন্ট্যান্ট অ্যানালাইসিস (এলডিএ) এর মতো মাত্রিক হ্রাস কৌশলগুলির মাধ্যমে এটি 2 টি বৈশিষ্ট্যে সিদ্ধ করতে চাই। উভয় কৌশলই ডেটাটিকে …

25 classification  pca  regularization  discriminant-analysis  overfitting 

আমি একটি কাগল প্রতিযোগিতার বিজয়ী সমাধানের প্রতিবেদনটি পড়ছিলাম ( ম্যালওয়্যার শ্রেণিবিন্যাস )। প্রতিবেদনটি এই ফোরামের পোস্টে পাওয়া যাবে । সমস্যাটি ছিল একটি শ্রেণিবদ্ধকরণ সমস্যা (নয়টি ক্লাস, মেট্রিকটি লোগারিথমিক ক্ষতি) ট্রেনের সেটটিতে 10000 উপাদান, পরীক্ষার সেটে 10000 উপাদান রয়েছে। প্রতিযোগিতার সময়, পরীক্ষাগুলির 30% বিপরীতে মডেলগুলি মূল্যায়ন করা হয়েছিল। আর একটি গুরুত্বপূর্ণ …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

আমি ওভারফিটিং এবং আন্ডারফিটিং সম্পর্কে কিছু গবেষণা করেছি এবং সেগুলি ঠিক কী তা আমি বুঝতে পেরেছি তবে এর কারণগুলি আমি খুঁজে পাচ্ছি না। ওভারফিটিং এবং আন্ডারফিট করার মূল কারণগুলি কী কী? আমরা কেন একটি মডেল প্রশিক্ষণ এই দুটি সমস্যার মুখোমুখি?

20 machine-learning  dataset  overfitting 

আমার সেট আপটি নিম্নলিখিত: আমি "ফলিত ভবিষ্যদ্বাণীমূলক মডেলিং" এর দিকনির্দেশগুলি অনুসরণ করছি। এইভাবে আমি সম্পর্কিত বৈশিষ্ট্যগুলি ফিল্টার করেছি এবং নিম্নলিখিতগুলি দিয়ে শেষ করব: প্রশিক্ষণ সেটে 4900 ডেটা পয়েন্ট এবং পরীক্ষার সেটে 1600 ডেটা পয়েন্ট। আমার 26 টি বৈশিষ্ট্য রয়েছে এবং লক্ষ্যটি একটি অবিচ্ছিন্ন পরিবর্তনশীল। আমি caretপ্যাকেজটি ব্যবহার করে মডেলগুলি প্রশিক্ষণের …

20 machine-learning  boosting  overfitting 

রিগ্রেশন নিয়মিতকরণ (লিনিয়ার, লজিস্টিক ...) ওভার-ফিটিং হ্রাস করার সর্বাধিক জনপ্রিয় উপায়। লক্ষ্যটি পূর্বাভাসের নির্ভুলতা হয় (ব্যাখ্যা না করে), নিয়মিতকরণের জন্য কি কোনও ভাল বিকল্প রয়েছে, বিশেষত বড় ডেটা-সেটগুলির জন্য উপযুক্ত (মাইল / বিলিয়ন পর্যবেক্ষণ এবং লক্ষ লক্ষ বৈশিষ্ট্য)?

19 regression  regularization  overfitting 

গ্রেডিয়েন্ট বুস্টিং- এ লার্নিং রেট প্যারামিটার ( ) প্রতিটি নতুন বেস মডেলের অবদান সঙ্কুচিত করে - মূলত একটি অগভীর গাছ- যা সিরিজে যুক্ত করা হয়। এটি টেস্ট সেট যথার্থতা নাটকীয়ভাবে বৃদ্ধি করে দেখানো হয়েছিল, এটি ছোট পদক্ষেপের মতোই বোধগম্য, ক্ষতির ন্যূনতমতম কাজটি আরও সঠিকভাবে অর্জন করা যেতে পারে। ν∈ [ …

19 machine-learning  data-mining  predictive-models  boosting  overfitting