অ্যাডাবোস্ট কি কম বেশি বা বেশি চাপ দেওয়ার প্রবণতা রয়েছে?

Question

অন্যান্য শিখন পদ্ধতির তুলনায় অ্যাডাবোস্ট (বা অন্যান্য উত্সাহদান কৌশল) কম বা বেশি মাত্রায় ঝুঁকিপূর্ণ কিনা তা বিভিন্ন (আপাতদৃষ্টিতে) বিরোধী বক্তব্যগুলি আমি পড়েছি।

একটি বা অন্যকে বিশ্বাস করার কোনও ভাল কারণ আছে? যদি এটি নির্ভর করে তবে কিসের উপর নির্ভর করে? কী কারণে অ্যাডাবোস্ট কম / বেশি পরিমাণে ফিট হওয়ার প্রবণতা রয়েছে?

Comments

আমার অন্তর্নিহিততা এটি এলোমেলো বনের চেয়ে বেশি মানানসই প্রবণ। যাইহোক, অ্যালগরিদম অত্যধিক উপকার এড়াতে ডিজাইন করা হয়েছে এবং এটি সাধারণত কোনও সমস্যা বলে মনে হয় না। এটিকে ব্যাক আপ করার জন্য আমার কাছে কোনও রেফারেন্স নেই, তবে আপনি caretঅ্যাডাবোস্টকে ক্রস-বৈধ করতে প্যাকেজটি ব্যবহার করতে পারেন এবং আমি পেয়েছি যে এটি সাধারণত ভালভাবে জেনারেলাইজ করে।

— জ্যাচ

Answer 1

যেমন আপনি বলছেন যে এই বিষয়টি নিয়ে অনেক আলোচনা হয়েছে, এবং এর সাথে এমন কিছু ভারী তত্ত্ব রয়েছে যা আমাকে স্বীকার করতে হয়েছে যে আমি কখনই পুরোপুরি বুঝতে পারি নি। আমার ব্যবহারিক অভিজ্ঞতায় অ্যাডাবোস্ট অত্যধিক মানানসই পক্ষে বেশ শক্তিশালী এবং এলপিবুস্ট (লিনিয়ার প্রোগ্রামিং বুস্টিং) আরও বেশি (কারণ উদ্দেশ্য ফাংশনে দুর্বল শিক্ষার্থীদের একটি বিচ্ছিন্ন সমন্বয় প্রয়োজন, যা ক্ষমতা নিয়ন্ত্রণের একটি রূপ) form এটি প্রভাবিত করে এমন প্রধান কারণগুলি হ'ল:

• "দুর্বল" শিক্ষার্থীদের "শক্তি": আপনি যদি খুব সাধারণ দুর্বল শিক্ষার্থীদের যেমন সিদ্ধান্ত স্টাম্প (1-স্তরের সিদ্ধান্ত গাছ) ব্যবহার করেন তবে অ্যালগরিদমগুলি অত্যধিক মানানসই প্রবণতা কম। যখনই আমি আরও জটিল দুর্বল শিখরদের ব্যবহার করার চেষ্টা করেছি (যেমন সিদ্ধান্তের গাছ বা এমনকি হাইপারপ্লেন) আমি দেখতে পেয়েছি যে ওভারফিটিং আরও বেশি দ্রুত ঘটে

• ডেটাতে আওয়াজের স্তর: অ্যাডাবোস্ট বিশেষ করে কোলাহলযুক্ত ডেটাসেটগুলিতে অতিরিক্ত মানায় প্রবণ। এই সেটিংয়ে নিয়মিত রূপগুলি (RegBoost, AdaBoostReg, LPBoost, QPBoost) সবচেয়ে বেশি পছন্দনীয়

• তথ্যের মাত্রা: আমরা জানি যে সাধারণভাবে আমরা উচ্চ মাত্রিক জায়গাগুলিতে ("মাত্রিকতার অভিশাপ") বেশি উপস্থাপন করতে পারি এবং অ্যাডাবোস্টও সেই সম্মানের সাথে ভোগ করতে পারে, কারণ এটি কেবল শ্রেণিবদ্ধের একটি লিনিয়ার সংমিশ্রণ যা তারা নিজেরাই ভোগ করে সমস্যা থেকে। অন্যান্য শ্রেণিবদ্ধদের মতো এটি প্রবণ কিনা তা নির্ধারণ করা শক্ত।

$k$

Answer 2

আমি টিডিসি মন্তব্যে উল্লিখিত বেশিরভাগ পয়েন্টের সাথে একমত। তবে আমাকে কিছু জিনিস যুক্ত করতে হবে এবং সংশোধন করতে হবে।

• পিটার বুহলম্যানের এল 2 বুস্টে যেমন দেখা গেছে যেহেতু দুর্বল শিখার সংখ্যা (বৃদ্ধির চক্র) বৃদ্ধি পায়, ততটা পক্ষপাত দ্রুত গতিতে পরিবর্তিত হয়, যখন জ্যামিতিকভাবে হ্রাসকারী মাত্রার দ্বারা প্রকরণটি বৃদ্ধি পায় যার অর্থ: এটি অন্যান্য পদ্ধতির বেশিরভাগ ধরণের চেয়ে ধীর গতিতে বাড়িয়ে তোলে fits
• জাচ মন্তব্যে এটি ভুলভাবে উল্লেখ করা হয়েছিল যে ওভারফিটের ক্ষেত্রে এটি এলোমেলো বন থেকে ভাল। এটা সম্পূর্ণ ভুল। প্রকৃতপক্ষে, তত্ত্ব অনুসারে (ব্রেইমানের মূল র্যান্ডম ফরেস্ট পেপারটি দেখুন), যতক্ষণ না তার দুর্বল শ্রেণিবদ্ধরা তথ্যের সাথে বেশি মান না দেয় ততক্ষণ র্যান্ডম ফরেস্ট ওভারফিটিংয়ের বিরুদ্ধে একেবারে অনাক্রম্য।
• টিডিসি মন্তব্যে উল্লিখিত বিপরীতে, বেশিরভাগ বুস্টিং পদ্ধতিগুলি লেবেলিং শোরের জন্য অত্যন্ত সংবেদনশীল এবং লেবেলিং শয়েসের উপস্থিতিতে খুব সহজেই মানিয়ে নিতে পারে।
• ডেটাসেটে যেখানে বেয়েস ত্রুটির হার 0 থেকে অনেক দূরে (অর্থাত্ বৈশিষ্ট্যগুলি যথেষ্ট বৈষম্যমূলক নয়) বৃদ্ধির পদ্ধতিগুলি খুব সহজেই উপকার করতে পারে। কারণ তারা প্রশিক্ষণের ত্রুটি শূন্যে হ্রাস করার চেষ্টা করে যদিও বাস্তবে এমনকি সর্বোত্তম শ্রেণিবদ্ধকারী, অর্থাৎ, বায়াস শ্রেণিবদ্ধকারী 40% ত্রুটি হার বলতে দেয়।
• অবশেষে, এবং এটি কোনও প্রকাশিত হয়নি যেখানে (আমার জ্ঞানের সর্বোত্তমভাবে) সেখানে এক ধরণের ওভারফিটিং রয়েছে যাতে বৃদ্ধির চক্রগুলি বৃদ্ধির সাথে সাথে সাধারণকরণের ত্রুটি বৃদ্ধি পায় না তবে তা হ্রাস পায় না। এর অর্থ অ্যালগরিদম একটি স্থানীয় অপটিমায় আটকে গেছে। এই পরিস্থিতিতে, প্রশিক্ষণের ত্রুটিটি ক্রমাগত হ্রাস পায় যখন পরীক্ষার ত্রুটি প্রায় স্থির থাকে। এখনও অবধি, আমরা কখনই এই ঘটনাটিকে অত্যধিক মানসিকতার ইঙ্গিত হিসাবে বিবেচনা করি নি তবে আমি বিশ্বাস করি যে এটি অত্যধিক মানসিকতার লক্ষণ এবং আরও জটিল দুর্বল শিক্ষার্থীদের ব্যবহার করে (আশ্চর্য!) আমরা বাস্তবে এর বিরুদ্ধে যেতে পারি (এই শেষ বিষয়টিকে সতর্কতার সাথে বিবেচনা করা উচিত) : ডি)

Comments

এই উত্তরে এটি যুক্তিযুক্ত যে আমি আজকালীন অ্যাডাবোস্ট এবং র্যান্ডম ফরেস্ট উভয়ের সাথে পরের ধরণের ওভারফিটিংয়ের অভিজ্ঞতা থাকতে পারি worth ক্রস-বৈধকরণে, আউট-অফ-ভাঁজ ত্রুটিটি কেবলমাত্র 20 টি বেস অনুমানকারীগুলির সাথে একটি ধ্রুবকে রূপান্তরিত হয় এবং তারপরে উচ্চ ধরণের সাথে এই ধ্রুবকের চারদিকে বাউন্স হয়ে যায়। আমার সন্দেহ হুবহু এক রকম: লোভী অ্যালগরিদমগুলি একরকম স্থানীয় অনুকূলতায় আটকে গেল। এটি কী হয়েছে তা নিশ্চিতকরণ নয় তবে অন্য কারও একই চিন্তাভাবনা আছে তা জেনে ভাল লাগল।

— শ্যাডট্যালকার

@ এসএসডেকট্রোল আপনি যা করেছেন তা ভাগ করতে পারেন? আরও ভাল বোঝার জন্য আমি ফলাফলগুলি পুনরায় উত্পাদন করতে চাই

— সৌরভ আগরওয়াল

@ সৌরভাগবড়ওয়াল আমার মনে হয় আমি কাগল টাইটানিক প্রকল্পে কাজ করছি

— ছায়াছবির