রিগ্রেশন গাছগুলি কি ধারাবাহিকভাবে পূর্বাভাস দিতে পারে?

Question

ধরুন আমার মতো মসৃণ ফাংশন রয়েছে $f(x, y) = x^2+y^2$। আমার একটি প্রশিক্ষণ সেট রয়েছে এবং, অবশ্যই আমি জানি না যদিও আমি যেখানেই চাই চ নির্ধারণ করতে পারি।$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

রিগ্রেশন ট্রিগুলি কি ফাংশনের একটি মসৃণ মডেল সন্ধান করতে সক্ষম (তাই ইনপুটটির একটি ক্ষুদ্র পরিবর্তন কেবল আউটপুটে একটি ক্ষুদ্র পরিবর্তন দিতে পারে)?

লেকচার 10: রিগ্রেশন ট্রিগুলিতে যা পড়েছি তা থেকে আমার কাছে মনে হয় যে রিগ্রেশন ট্রিগুলি মূলত ফাংশনটির মানগুলিকে বিভক্ত করে তোলে:

ক্লাসিক রিগ্রেশন ট্রিগুলির জন্য, প্রতিটি ঘরের মডেলটি কেবল ওয়াইয়ের একটি ধ্রুবক অনুমান।

তারা "ক্লাসিক" লেখার সাথে সাথে আমার অনুমান আছে যে একটি রূপ রয়েছে যেখানে কোষগুলি আরও আকর্ষণীয় কিছু করে?

Answer 1

রিগ্রেশন ট্রি, বিশেষত গ্রেডিয়েন্ট বুস্টিং (মূলত অনেক গাছ) ধ্রুবক ভবিষ্যদ্বাণীগুলির উপর খুব ভালভাবে ঝোঁকায় থাকে, প্রায়শই মডেলকে ছাড়িয়ে যায় যেগুলি যখন লিনিয়ার রিগ্রেশনের মতো সত্যই ধারাবাহিক থাকে। এটি বিশেষত সত্য যখন ভেরিয়েবল ইন্টারঅ্যাকশনগুলি থাকে এবং যখন আপনার পর্যাপ্ত পরিমাণে ডেটাসেট থাকে (10,000 রেকর্ডের বেশি) যাতে ওভারফিটিংয়ের সম্ভাবনা কম থাকে। যদি আপনার প্রাথমিক উদ্দেশ্যটি কেবল ভবিষ্যদ্বাণীপূর্ণ শক্তি হয় তবে মডেলটি 100% ধারাবাহিক বা ছদ্ম ধারাবাহিক কিনা তা অপ্রাসঙ্গিক হওয়া উচিত। যদি আপনার রিগ্রেশন গাছগুলিকে নমুনা ভবিষ্যদ্বাণীপূর্ণ শক্তির বাইরে আরও ক্রমাগত বাড়িয়ে তোলে তবে আপনি কেবল গাছের গভীরতা বা আরও গাছ যুক্ত করতে পারেন।

Comments

আমি রাজী. আমার উত্সাহিত গাছগুলি প্রায় সবসময় খুব বেদনাদায়কভাবে তৈরি এবং অনুকূলিত GLMগুলিকে ছাড়িয়ে যায়। অবশ্যই আপনি ভবিষ্যদ্বাণীপূর্ণ শক্তি অর্জন করার সময় ব্যাখ্যাযোগ্যতা হারাবেন।

— প্রুফফ্রেডার

Answer 2

ক্লাসিক রিগ্রেশন ট্রিগুলিতে আপনার পাতায় একটি মান রয়েছে তবে পাতায় আপনি লিনিয়ার রিগ্রেশন মডেল রাখতে পারেন, এই টিকিটটি দেখুন।

অবিচ্ছিন্ন আউটপুট মান রাখতে আপনি গাছের ঝাঁক (র্যান্ডম ফরেস্ট বা গ্রেডিয়েন্ট বুস্টিং মেশিন )ও ব্যবহার করতে পারেন।

Answer 3

আপনি যদি সাধারণ গ্রেডিয়েন্ট বুস্টিং কৌশলগুলি (বুস্টেড রিগ্রেশন ট্রিগুলির বিশেষ ক্ষেত্রে বিপরীতে) অন্তর্ভুক্ত করার জন্য প্রশ্নটি সামান্য বাড়িয়ে থাকেন তবে উত্তরটি হ্যাঁ। পরিবর্তনশীল নির্বাচনের বিকল্প হিসাবে গ্রেডিয়েন্ট বুস্টিং সফলভাবে ব্যবহৃত হয়েছে। একটি ভাল উদাহরণ mboost প্যাকেজ । মূলটি হ'ল উন্নয়নের জন্য ব্যবহৃত বেস লার্নার্সের ক্লাসটি শুরু করার জন্য অবিচ্ছিন্ন মডেল নিয়ে গঠিত। এই টিউটোরিয়ালটি বেস লার্নারদের সাধারণ ক্লাসগুলি নীচে বর্ণনা করে:

সাধারণত ব্যবহৃত বেস-লার্নার মডেলগুলিকে তিনটি পৃথক বিভাগে শ্রেণিবদ্ধ করা যায়: লিনিয়ার মডেল, মসৃণ মডেল এবং সিদ্ধান্ত গাছ trees মার্কোভ এলোমেলো ক্ষেত্র (ডিয়েটারিচ এট আল।, 2004) বা তরঙ্গপত্র (ভায়োলা এবং জোনস, 2001) এর মতো আরও বেশ কয়েকটি মডেল রয়েছে তবে তাদের প্রয়োগ তুলনামূলকভাবে সুনির্দিষ্ট ব্যবহারিক কাজের জন্য উত্থাপিত হয়।

দ্রষ্টব্য যে এটিতে তরঙ্গলেখার উল্লেখ রয়েছে। গাছ -ভিত্তিক ওয়েভলেটগুলিতে গাছ এবং ওয়েভলেটগুলি সফলভাবে একত্রিত করা হয়েছে ।

Comments

গ্রেডিয়েন্ট বৃদ্ধিতে ক্রমাগত বেস শিক্ষাগুলি কী কী? যদি উত্তরটি সিদ্ধান্ত গাছ হয় তবে আপনি কীভাবে তা ধারাবাহিকভাবে বর্ণনা করতে পারেন?

— মার্টিন থোমা

আমি আমার উত্তর আপডেট করেছি। কীটি হ'ল অবিচ্ছিন্ন গাছের মতো ভবিষ্যদ্বাণী ব্যবহার করা।

— ব্যবহারকারী3605620