আপনার প্রশ্নের সংক্ষিপ্ত উত্তর:
যখন অ্যালগরিদম এটি অবশিষ্টাংশ (বা নেতিবাচক গ্রেডিয়েন্ট) ফিট করে তখন কি এটি প্রতিটি পদক্ষেপে (যেমন অবিভাজনীয় মডেল) বা সমস্ত বৈশিষ্ট্য (মাল্টিভারিয়েট মডেল) ব্যবহার করে একটি বৈশিষ্ট্য ব্যবহার করে?
অ্যালগরিদম একটি বৈশিষ্ট্য ব্যবহার করছে বা সমস্ত বৈশিষ্ট্য আপনার সেট আপের উপর নির্ভর করে। নীচে তালিকাভুক্ত আমার দীর্ঘ উত্তরে, সিদ্ধান্ত স্টাম্প এবং লিনিয়ার লার্নার উভয়ের উদাহরণগুলিতে, তারা সমস্ত বৈশিষ্ট্য ব্যবহার করে তবে আপনি যদি চান তবে আপনি বৈশিষ্ট্যগুলির একটি উপসেটও ফিট করতে পারেন। স্যাম্পলিং কলামগুলি (বৈশিষ্ট্যগুলি) মডেলের বৈচিত্র্য হ্রাস করতে বা মডেলটির "দৃust়তা" বাড়ানো হিসাবে দেখা হয়, বিশেষত যদি আপনার বিশাল সংখ্যক বৈশিষ্ট্য থাকে।
ইন xgboost, ট্রি বেস বেসের জন্য, আপনি colsample_bytreeপ্রতিটি পুনরাবৃত্তিতে ফিট করতে নমুনা বৈশিষ্ট্যগুলিতে সেট করতে পারেন । লিনিয়ার বেস লার্নারের জন্য, এই জাতীয় বিকল্প নেই, সুতরাং, এটি সমস্ত বৈশিষ্ট্য ফিট করে। এছাড়াও, খুব বেশি লোক এক্সজিবিস্টে লিনিয়ার লার্নার বা সাধারণভাবে গ্রেডিয়েন্ট বুস্টিং ব্যবহার করেন না।
উত্সাহের জন্য দুর্বল শিক্ষার্থী হিসাবে লিনিয়ার দীর্ঘ উত্তর:
বেশিরভাগ ক্ষেত্রে আমরা লিনিয়ার লার্নারকে বেস লার্নার হিসাবে ব্যবহার করতে পারি না। কারণটি সহজ: একসাথে একাধিক রৈখিক মডেল যুক্ত করা এখনও লিনিয়ার মডেল হবে।
আমাদের মডেলকে উত্সাহ দেওয়ার ক্ষেত্রে বেস শিক্ষাগুলির একটি যোগফল:
চ( এক্স ) =Σমি = 1এমখমি( এক্স )
যেখানে পুনরাবৃত্তি সংখ্যা, পুনরাবৃত্তির মডেল ।এমখমিমিt h
যদি বেস লার্নার লিনিয়ার হয়, উদাহরণস্বরূপ, ধরুন আমরা মাত্র পুনরাবৃত্তি , এবং এবং ,2খ1=β0+ +β1এক্সখ2=θ0+ +θ1এক্স
চ( এক্স ) =Σমি = 12খমি( এক্স ) =β0+ +β1এক্স +θ0+ +θ1x = (β0+ +θ0) + (β1+ +θ1) x
যা একটি সরল রৈখিক মডেল! অন্য কথায়, নকশা করা মডেলের বেস লার্নারের সাথে "একই শক্তি" রয়েছে!
আরও গুরুত্বপূর্ণ বিষয়, যদি আমরা বেস লার্নার হিসাবে লিনিয়ার মডেলটি ব্যবহার করি তবে আমরা লিনিয়ার সিস্টেমটি পরিবর্তে একাধিক পুনরাবৃত্তি বাড়ানোর পরিবর্তে সমাধান করে এক ধাপে এটি করতে পারি ।এক্সটিএক্সβ=এক্সটিY
অতএব, লোকে লার্নার হিসাবে লিনিয়ার মডেল ছাড়াও অন্যান্য মডেলগুলি ব্যবহার করতে চাই। গাছ একটি ভাল বিকল্প, যেহেতু দুটি গাছ যুক্ত করা একটি গাছের সমান নয়। আমি এটি একটি সাধারণ কেস দিয়ে ডেমো করব: সিদ্ধান্ত স্টাম্প, যা কেবল 1 বিভাজনযুক্ত গাছ।
আমি একটি ফাংশন ফিটিং করছি, যেখানে ডেটা একটি সাধারণ চতুর্ভুজ ফাংশন, দ্বারা উত্পন্ন হয় । এখানে ভরাট কনট্যুর গ্রাউন্ড সত্য (বাম) এবং চূড়ান্ত সিদ্ধান্তের স্টাম্প বুস্টিং ফিটিং (ডানদিকে) দেওয়া আছে।চ( x , y)) =এক্স2+ +Y2
এখন, প্রথম চারটি পুনরাবৃত্তি পরীক্ষা করুন।
দ্রষ্টব্য, লিনিয়ার লার্নার থেকে আলাদা, চতুর্থ পুনরাবৃত্তির মডেলটি অন্য পরামিতিগুলির সাথে এক পুনরাবৃত্তির (একটি একক সিদ্ধান্তের স্টাম্প) দ্বারা অর্জন করা যায় না।
এখনও অবধি, আমি ব্যাখ্যা করেছি, লোকেরা কেন লিনিয়ার লার্নারকে বেস লার্নার হিসাবে ব্যবহার করছে না। যাইহোক, কিছুই লোককে তা করতে বাধা দেয় না। যদি আমরা বেস লার্নার হিসাবে লিনিয়ার মডেল ব্যবহার করি এবং পুনরাবৃত্তির সংখ্যা সীমাবদ্ধ করি তবে এটি লিনিয়ার সিস্টেমটি সমাধানের সমান, তবে সমাধানের প্রক্রিয়া চলাকালীন পুনরাবৃত্তির সংখ্যা সীমিত করে দেয়।
একই উদাহরণ, তবে 3 ডি প্লটে, লাল বক্ররেখা ডেটা এবং সবুজ বিমানটি চূড়ান্ত ফিট। আপনি সহজেই দেখতে পারবেন, চূড়ান্ত মডেলটি একটি রৈখিক মডেল এবং এটি z=mean(data$label)যা এক্স, ওয়াই প্লেনের সমান্তরাল। (আপনি ভাবতে পারেন কেন? এটি কারণ আমাদের ডেটা "প্রতিসামান্য", সুতরাং বিমানের যে কোনও ঝুঁকির ক্ষতি বাড়িয়ে দেবে)। এখন, প্রথম 4 টি পুনরাবৃত্তিতে কী ঘটেছিল তা দেখুন: লাগানো মডেলটি ধীরে ধীরে অনুকূল মান (গড়) পর্যন্ত চলেছে।
চূড়ান্ত উপসংহার, লিনিয়ার লার্নার ব্যাপকভাবে ব্যবহৃত হয় না, তবে কিছুই এটিকে আর আর লাইব্রেরিতে প্রয়োগ করতে বা আটকাতে বাধা দেয় না। এছাড়াও, আপনি এটি ব্যবহার করতে পারবেন এবং মডেলটিকে নিয়মিত করতে পুনরাবৃত্তির সংখ্যা সীমাবদ্ধ করতে পারেন।
সম্পর্কিত পোস্ট:
লিনিয়ার রিগ্রেশন-এর গ্রেডিয়েন্ট বুস্টিং - কেন এটি কাজ করে না?
একটি সিদ্ধান্ত স্ট্যাম্প একটি রৈখিক মডেল?