লিনিয়ার রিগ্রেশন-এর গ্রেডিয়েন্ট বুস্টিং - কেন এটি কাজ করে না?


35

গ্রেডিয়েন্ট বুস্টিং সম্পর্কে শিখার সময়, আমি কোনও "দুর্বল শ্রেণিবদ্ধ" এর বৈশিষ্ট্য সম্পর্কিত কোনও প্রতিবন্ধকতা সম্পর্কে শুনিনি যা পদ্ধতিটি মডেল তৈরি ও ensemble করতে ব্যবহার করে। যাইহোক, আমি এমন একটি জিবি অ্যাপ্লিকেশনটি কল্পনা করতে পারি না যা লিনিয়ার রিগ্রেশন ব্যবহার করে, এবং বাস্তবে যখন আমি কিছু পরীক্ষা করেছি - এটি কার্যকর হয় না। আমি বর্গক্ষেত্রের অবশিষ্টাংশের যোগফলের গ্রেডিয়েন্টের সাথে সর্বাধিক মানক পদ্ধতির পরীক্ষা করছিলাম এবং পরবর্তী মডেলগুলি একসাথে যুক্ত করছি।

সুস্পষ্ট সমস্যাটি হ'ল প্রথম মডেলের অবশিষ্টাংশগুলি এমনভাবে জনবসতিযুক্ত যে আর উপযুক্ত হওয়ার মতো কোনও রেগ্রেশন রেখা নেই। আমার আরেকটি পর্যবেক্ষণ হ'ল পরবর্তী লিনিয়ার রিগ্রেশন মডেলগুলির একটি যোগফলকে একটি একক রিগ্রেশন মডেল হিসাবেও উপস্থাপন করা যেতে পারে (সমস্ত ইন্টারসেপ্ট এবং সংশ্লিষ্ট সহগ যোগ করা) সুতরাং আমি কীভাবে মডেলটিকে কীভাবে উন্নত করতে পারি তা কল্পনা করতে পারি না। শেষ পর্যবেক্ষণটি হ'ল একটি লিনিয়ার রিগ্রেশন (সর্বাধিক সাধারণ পদ্ধতির) স্কোয়ার অবশিষ্টাংশের যোগফলকে ক্ষতির ফাংশন হিসাবে ব্যবহার করছে - জিবি একই ব্যবহার করছে।

আমি শিখার হারকে হ্রাস করার বা প্রতিটি পুনরাবৃত্তির জন্য ভবিষ্যদ্বাণীগুলির কেবলমাত্র একটি উপসেট ব্যবহার করার বিষয়েও ভেবেছিলাম, তবে এটি শেষ পর্যন্ত কোনও একক মডেল উপস্থাপনার জন্য সংক্ষিপ্ত করা যেতে পারে, সুতরাং আমার ধারণা এটির কোনও উন্নতি হবে না।

আমি এখানে কি মিস করছি? গ্রেডিয়েন্ট বুস্টিংয়ের সাথে লিনিয়ার রিগ্রেশন কোনওভাবেই অনুপযুক্ত? লিনিয়ার রিগ্রেশন ক্ষতিকারক ক্রিয়াকলাপ হিসাবে স্কোয়ারের অবশিষ্টাংশের যোগফল ব্যবহার করার কারণে এটি কি? দুর্বল ভবিষ্যদ্বাণীদের উপর কি কোনও বিশেষ বাধা রয়েছে যাতে সেগুলি গ্রেডিয়েন্ট বুস্টিংয়ে প্রয়োগ করা যায়?


স্বজ্ঞাতভাবে আমি ভাবার প্রবণতা করি যে আপনি শ্রেণিবদ্ধ ব্যবহার করবেন না তাদের যোগফলগুলি একই ধরণের শ্রেণিবদ্ধকারী। যেমন লিনিয়ার ফাংশনগুলির যোগফল একটি লিনিয়ার ফাংশন।
ব্যবহারকারী 18764

আমি জানি এটি পুরানো, তবে আমার বুদ্ধিটি হ'ল পদক্ষেপটি বর্তমানের অবশিষ্টাংশ এবং বেস লার্নার (যা আপনার ক্ষেত্রে লিনিয়ার রিগ্রাস) এর মধ্যে ক্ষতির ফাংশনকে শিক্ষার হার দ্বারা গুণিত করে হ্রাস করে। সুতরাং বেস লার্নার এমএসকে হ্রাস করে, বুস্টার দ্বারা ব্যবহৃত ক্ষতির ফাংশনটি একই এমএপিই হতে পারে?
ডেভিড ওয়াটারওয়ার্থ

উত্তর:


35

আমি এখানে কি মিস করছি?

আমি মনে করি না আপনি সত্যিই কিছু মিস করছেন!

আরেকটি পর্যবেক্ষণ হ'ল পরবর্তী লিনিয়ার রিগ্রেশন মডেলগুলির যোগফলকে একটি একক রিগ্রেশন মডেল হিসাবেও উপস্থাপন করা যেতে পারে (সমস্ত ইন্টারসেপ্ট এবং সংশ্লিষ্ট সহগ যোগ করা) সুতরাং আমি কীভাবে মডেলটিকে কীভাবে উন্নত করতে পারি তা কল্পনা করতে পারি না। শেষ পর্যবেক্ষণটি হ'ল একটি লিনিয়ার রিগ্রেশন (সর্বাধিক সাধারণ পদ্ধতির) স্কোয়ার অবশিষ্টাংশের যোগফলকে ক্ষতির ফাংশন হিসাবে ব্যবহার করছে - জিবি একই ব্যবহার করছে।

আমার কাছে দেখে মনে হচ্ছে যে আপনি এই মুহূর্তে এটি পেরেক দিয়েছিলেন এবং একটি প্রমাণের একটি ছোট স্কেচ দিয়েছেন যে লিনিয়ার রিগ্রেশন কেবল এই সেটিংটিতে রৈখিক প্রবণতাগুলিকে বাড়িয়ে দেয়।

পেডেন্টিক হতে, উভয় পদ্ধতিই নিম্নলিখিত অপটিমাইজেশন সমস্যাটি সমাধান করার চেষ্টা করছে

β^=argminβ(Y-এক্সβ)টি(Y-এক্সβ)

লিনিয়ার রিগ্রেশন কেবল পর্যবেক্ষণ করে যে আপনি লিনিয়ার সমীকরণের সমাধান সন্ধানের মাধ্যমে এটি সরাসরি সমাধান করতে পারেন

XtXβ=Xty

এটি স্বয়ংক্রিয়ভাবে আপনাকে সমস্ত সম্ভাবনার মধ্যে এর সর্বোত্তম সম্ভাব্য মান দেয় ।β

বুস্টিং, আপনার দুর্বল শ্রেণিবদ্ধকারীগুলি একটি এক পরিবর্তনশীল বা মাল্টি ভেরিয়েবল রিগ্রেশন কিনা তা আপনাকে সহগ ভেক্টরগুলির একটি ক্রম দেয় β1,β2,

Xβ1+Xβ2++Xβn=X(β1+β2++βn)

স্কোয়ার ত্রুটির যোগফলকে আরও হ্রাস করতে এই পদক্ষেপগুলির প্রতিটি বেছে নেওয়া হয়েছে। তবে আমরা সর্বনিম্ন সম্ভব খুঁজে পেতাম কেবলমাত্র একটি সম্পূর্ণ লিনিয়ার রিগ্রেশন শুরু করার মাধ্যমে এই কার্যকরী ফর্মের মধ্যে বর্গের ত্রুটিগুলির যোগফলটি পেতে পারি।

এই পরিস্থিতিতে উত্থাপন একটি সম্ভাব্য প্রতিরক্ষা এটি প্রদত্ত নিখুঁত নিয়ন্ত্রণ হতে পারে। সম্ভবত (আমি এটি নিয়ে খেলিনি) আপনি সম্পূর্ণ লিনিয়ার রিগ্রেশনটির সংক্ষিপ্ততা থামানোর জন্য ক্রস বৈধকরণের সাথে গ্রেডিয়েন্ট বুস্টারটির প্রথম থামার বৈশিষ্ট্যটি ব্যবহার করতে পারেন। এটি আপনার প্রতিরোধকে একটি নিয়মিতকরণ সরবরাহ করবে এবং সম্ভবত ওভারফিটিংয়ে সহায়তা করবে। এটি বিশেষত ব্যবহারিক নয়, কারণ একের কাছে খুব দক্ষ এবং ভাল বোঝার বিকল্প রয়েছে যেমন রিজ রিগ্রেশন এবং এই সেটিংটিতে স্থিতিস্থাপক নেট।

আশেপাশে কোনও ক্ষতিকারক কার্যকরী ফর্ম না থাকলে বুস্টিং উজ্জ্বল হয়। সিদ্ধান্তের গাছগুলিকে বুস্ট করার ফলে রেজিস্ট্রার / শ্রেণিবদ্ধের কার্যকরী ফর্মটি ডেটা মাপসই করার জন্য ধীরে ধীরে বিকশিত হতে দেয়, প্রায়শই জটিল আকারগুলির ফলস্বরূপ কারও হাতে এবং চোখের দ্বারা স্বপ্নে স্বপ্ন দেখা যায় না। যখন একটি সহজ কার্মিক ফর্ম হয় ইচ্ছা boosting আপনি তা খুঁজে পেতে সাহায্য করার জন্য যাচ্ছে না (বা অন্তত সম্ভবত এটি খুঁজে পেতে বরং একটি অদক্ষ উপায়)।


2
β

এটি একটি খুব ভাল এবং পরিষ্কার উত্তর। নিশ্চিতকরণ / ব্যাখ্যা ম্যাথিউ জন্য ধন্যবাদ!
ম্যাটেক

"আশেপাশে কোনও ক্ষতিকারক কার্যকরী ফর্ম না থাকলে বুস্টিং জ্বলজ্বল করে" "আমি উত্তরটি খুঁজছি। সুতরাং, কেবল নিশ্চিত করতে চান, আপনি কি আমার প্রশ্নের উত্তরটি হ্যাঁ বোঝাতে চেয়েছেন, তবে কেউ বেস লার্নার হিসাবে রৈখিক মডেল ব্যবহার করেন না ?, stats.stackexchange.com/questions/231286/…
ডু

5

সর্বনিম্ন স্কোয়ার্স প্রজেকশন ম্যাট্রিক্স প্রদত্ত

এক্স(এক্সটিএক্স)-1এক্সটি

আমরা এটি আমাদের পূর্বাভাসিত মানগুলি পেতে সরাসরি ব্যবহার করতে পারি Y^, যেমন

Y^=এক্স(এক্সটিএক্স)-1এক্সটিY

ধরা যাক আপনি একটি রিগ্রেশন ফিট করে এবং পরবর্তীকালে আপনি আপনার অবশিষ্টাংশ গণনা করেন

=Y-Y^=Y-এক্স(এক্সটিএক্স)-1এক্সটিY

এবং তারপরে আপনি এই রেসিডুয়াল ভেক্টরটি ই এবং পরবর্তী প্রতিরোধের ক্ষেত্রে আপনার নতুন নির্ভরশীল পরিবর্তনশীল হিসাবে ব্যবহার করবেন। এই দ্বিতীয় রিগ্রেশনটির ভবিষ্যদ্বাণীগুলি সরাসরি গণনা করতে এবং নতুন এই পূর্বাভাসগুলিতে কল করার জন্য আবার প্রক্ষেপণ ম্যাট্রিক্স ব্যবহার করুনY^2 :

Y^2=এক্স(এক্সটিএক্স)-1এক্সটি=এক্স(এক্সটিএক্স)-1এক্সটি(Y-এক্স(এক্সটিএক্স)-1এক্সটিY)=এক্স(এক্সটিএক্স)-1এক্সটিY-এক্স(এক্সটিএক্স)-1এক্সটিএক্স(এক্সটিএক্স)-1এক্সটিY=এক্স(এক্সটিএক্স)-1এক্সটিY-এক্স(এক্সটিএক্স)-1এক্সটিY=0

এর কারণ হ'ল নির্মাণের মাধ্যমে প্রাথমিক বাধা থেকে রেজিডুয়াল ভেক্টর ই এক্স স্পেসে অর্থোথোনাল অর্থাৎ Y^ এক্স স্পেসের উপর y থেকে অর্থেগোনাল প্রজেকশন (আপনি সাহিত্যে এটি দেখতে ভিজ্যুয়াল সুন্দর ছবিগুলি দেখতে পাবেন)।

এর অর্থ হ'ল কোনও রিগ্রেশন ফিটিং করার সহজ পদ্ধতির এবং তারপরে প্রথম রিগ্রেশন থেকে অবশিষ্টাংশগুলিতে একটি নতুন রিগ্রেশন ফিটিং করার ফলে বুদ্ধিমান কোনও কিছু ঘটবে না কারণ এক্স সম্পূর্ণরূপে ই এর সাথে সংযুক্ত নয়।

আমি এটি লিখছি কারণ আপনি বলেছিলেন যে এখানে কোনও নতুন লাইন ফিট করার পক্ষে নেই যা উপরের ডেরিকেশনগুলির সাথে মিলে যায়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.