গ্রেডিয়েন্ট বুস্টিং সম্পর্কে শিখার সময়, আমি কোনও "দুর্বল শ্রেণিবদ্ধ" এর বৈশিষ্ট্য সম্পর্কিত কোনও প্রতিবন্ধকতা সম্পর্কে শুনিনি যা পদ্ধতিটি মডেল তৈরি ও ensemble করতে ব্যবহার করে। যাইহোক, আমি এমন একটি জিবি অ্যাপ্লিকেশনটি কল্পনা করতে পারি না যা লিনিয়ার রিগ্রেশন ব্যবহার করে, এবং বাস্তবে যখন আমি কিছু পরীক্ষা করেছি - এটি কার্যকর হয় না। আমি বর্গক্ষেত্রের অবশিষ্টাংশের যোগফলের গ্রেডিয়েন্টের সাথে সর্বাধিক মানক পদ্ধতির পরীক্ষা করছিলাম এবং পরবর্তী মডেলগুলি একসাথে যুক্ত করছি।
সুস্পষ্ট সমস্যাটি হ'ল প্রথম মডেলের অবশিষ্টাংশগুলি এমনভাবে জনবসতিযুক্ত যে আর উপযুক্ত হওয়ার মতো কোনও রেগ্রেশন রেখা নেই। আমার আরেকটি পর্যবেক্ষণ হ'ল পরবর্তী লিনিয়ার রিগ্রেশন মডেলগুলির একটি যোগফলকে একটি একক রিগ্রেশন মডেল হিসাবেও উপস্থাপন করা যেতে পারে (সমস্ত ইন্টারসেপ্ট এবং সংশ্লিষ্ট সহগ যোগ করা) সুতরাং আমি কীভাবে মডেলটিকে কীভাবে উন্নত করতে পারি তা কল্পনা করতে পারি না। শেষ পর্যবেক্ষণটি হ'ল একটি লিনিয়ার রিগ্রেশন (সর্বাধিক সাধারণ পদ্ধতির) স্কোয়ার অবশিষ্টাংশের যোগফলকে ক্ষতির ফাংশন হিসাবে ব্যবহার করছে - জিবি একই ব্যবহার করছে।
আমি শিখার হারকে হ্রাস করার বা প্রতিটি পুনরাবৃত্তির জন্য ভবিষ্যদ্বাণীগুলির কেবলমাত্র একটি উপসেট ব্যবহার করার বিষয়েও ভেবেছিলাম, তবে এটি শেষ পর্যন্ত কোনও একক মডেল উপস্থাপনার জন্য সংক্ষিপ্ত করা যেতে পারে, সুতরাং আমার ধারণা এটির কোনও উন্নতি হবে না।
আমি এখানে কি মিস করছি? গ্রেডিয়েন্ট বুস্টিংয়ের সাথে লিনিয়ার রিগ্রেশন কোনওভাবেই অনুপযুক্ত? লিনিয়ার রিগ্রেশন ক্ষতিকারক ক্রিয়াকলাপ হিসাবে স্কোয়ারের অবশিষ্টাংশের যোগফল ব্যবহার করার কারণে এটি কি? দুর্বল ভবিষ্যদ্বাণীদের উপর কি কোনও বিশেষ বাধা রয়েছে যাতে সেগুলি গ্রেডিয়েন্ট বুস্টিংয়ে প্রয়োগ করা যায়?