প্রতিটি পাতায় লিনিয়ার রিগ্রেশন মডেল সহ রিগ্রেশন ট্রি অ্যালগোরিদম

Question

সংক্ষিপ্ত সংস্করণ: আমি এমন একটি আর প্যাকেজ সন্ধান করছি যা সিদ্ধান্ত গাছ তৈরি করতে পারে যেখানে সিদ্ধান্ত গাছের প্রতিটি পাতা একটি সম্পূর্ণ লিনিয়ার রিগ্রেশন মডেল। আফাইক, গ্রন্থাগার rpartসিদ্ধান্ত গাছ তৈরি করে যেখানে প্রতিটি পাতায় নির্ভরশীল পরিবর্তনশীল স্থির থাকে। এমন কি অন্য কোনও গ্রন্থাগার আছে (বা একটি rpartসেটিং যা আমি অবগত নই) এমন গাছ তৈরি করতে পারে?

দীর্ঘ সংস্করণ: আমি একটি অ্যালগরিদম সন্ধান করছি যা একটি প্রশিক্ষণ ডেটা সেটের ভিত্তিতে সিদ্ধান্ত গাছ তৈরি করে। গাছের প্রতিটি সিদ্ধান্তই একটি স্বাধীন ভেরিয়েবলের শর্ত অনুসারে প্রশিক্ষণের তথ্যকে দুটি ভাগে বিভক্ত করে। গাছের গোড়ায় সম্পূর্ণ ডেটা সেট থাকে এবং ডেটা সেটে প্রতিটি আইটেম হুবহু একটি পাতাগুলি থাকে।

অ্যালগরিদম এভাবে চলে:

1. পূর্ণ ডেটাসেট দিয়ে শুরু করুন যা গাছের মূল নোড। এই নোডটি চয়ন করুন এবং এটিকে $N$ ।
2. এ ডেটাতে লিনিয়ার রিগ্রেশন মডেল তৈরি করুন $N$।
3. তাহলে $R^2$ এর $N$ এর রৈখিক মডেল কিছু থ্রেশহোল্ড বেশী $\theta_{R^2}$ , তাহলে আমরা সঙ্গে সম্পন্ন $N$ , তাই চিহ্নিত $N$ পাতার হিসেবে এবং পদক্ষেপ 5 ঝাঁপ।
4. ব্যবহার করে দেখুন $n$ র্যান্ডম সিদ্ধান্ত এবং এক যে শ্রেষ্ঠ উৎপাদ বাছাই $R^2$ subnodes মধ্যে:
   • এলোমেলো স্বতন্ত্র ভেরিয়েবল $v_i$ , সেইসাথে একটি এলোমেলো থ্রেশহোল্ড $\theta_i$ ।
   • সিদ্ধান্ত $v_i \leq \theta_i$ ডাটা সেট splits দুটি নতুন নোড অনুবাদ করে, এবং ।$N$$\hat{N}$$\tilde{N}$
   • এবং both উভয় ক্ষেত্রে লিনিয়ার রিগ্রেশন মডেল তৈরি করুন এবং তাদের গণনা করুন (তাদেরকে এবং call কল করুন )।$\hat{N}$$\tilde{N}$$R^2$$\hat{r}$$\tilde{r}$
   • এই সমস্ত টিপলস থেকে , সর্বাধিক দিয়ে একটি নির্বাচন করুন । গাছ এই উৎপাদনের একটি নতুন সিদ্ধান্ত, এবং দুটি নতুন subnodes হয়েছে এবং ।$n$$(v_i, \theta_i, \hat{r}, \tilde{r})$$min(\hat{r}, \tilde{r})$$N$$\hat{N}$$\tilde{N}$
5. আমরা প্রক্রিয়াজাতকরণ শেষ করেছি । একটি নতুন নোড বাছুন যা এখনও প্রক্রিয়া করা হয়নি এবং আবার ধাপ 2 এ ফিরে যান যদি সমস্ত নোড প্রক্রিয়া করা হয়ে থাকে তবে অ্যালগরিদম শেষ হয়।$N$$N$

এটি পুনরাবৃত্তভাবে একটি সিদ্ধান্তের গাছ তৈরি করবে যা ডেটা আরও ছোট অংশে বিভক্ত করে এবং সেই অংশগুলির প্রত্যেকটির জন্য একটি লিনিয়ার মডেল গণনা করে।

পদক্ষেপ 3 হ'ল প্রস্থান শর্ত, যা অ্যালগরিদমকে অতিরিক্ত ফিট করা থেকে বাধা দেয়। অবশ্যই, অন্যান্য সম্ভাব্য প্রস্থান শর্তাবলী:

• যদি গাছের মধ্যে এর গভীরতা উপরে থাকে তবে প্রস্থান করুন$N$$\theta_{depth}$
• এ থাকা ডেটা সেট চেয়ে ছোট হলে প্রস্থান করুন$N$$\theta_{data set}$

আর প্যাকেজে কি এমন একটি অ্যালগরিদম আছে?

Comments

পার্টিতে একবার দেখুন প্যাকেজ এবং দেখি এই মামলা আপনার চাহিদা। এটি আইআইআরসি গাছের নোডে বিভিন্ন ধরণের মডেল পরিচালনা করতে পারে।

— মনিকা পুনরায় ইনস্টল করুন - জি সিম্পসন

Answer 1

যদিও তারা আপনার অ্যালগরিদমের চেয়ে আলাদাভাবে কাজ করে, আমি বিশ্বাস করি আপনি মব () এবং এফটিস্ট্রিকে আকর্ষণীয় পাবেন। জেইলিসের জনতার জন্য দেখুন http://cran.r-project.org/web/packages/party/vignettes/MOB.pdf FTtree এর জন্য, গামার কার্যকরী গাছগুলি ওয়েকা এবং এইভাবে আরউইকাতে একটি বাস্তবায়ন পাওয়া যায়। বিশদটির জন্য http://cran.r-project.org/web/packages/RWeka/index.html দেখুন ।

Comments

ভিড়ের জন্য +1, যা প্রায় কোনও মডেলকে পুনরাবৃত্ত পার্টিশন কাঠামোর মধ্যে

— প্লাগ করতে

Answer 2

RWeka প্যাকেজটি অনেকগুলি রিগ্রেশন পদ্ধতি সরবরাহ করে। এর মধ্যে, আপনি এম 5 পি (এম 5 প্রাইম) সন্ধান করতে পারেন যা ঠিক পাতায় লিনিয়ার সমীকরণের সাথে গাছ ভিত্তিক রিগ্রেশন মডেল। এম 5 পদ্ধতি সম্পর্কে আরও তথ্যের জন্য প্রকাশনা দেখুন ।

একটি উদাহরণ কোড হবে:

library(RWeka)
M5_model = M5P (Dep_var ~ ., data = train, control = Weka_control(N=F, M=10))
train_predicted = predict(M5_model, train)
test_predicted = predict(M5_model, test)

আপনি যদি এম 5 পদ্ধতিতে ব্যাগিং এনসেম্বল ব্যবহার করতে চান তবে এর মতো কিছু চেষ্টা করুন:

M5_bag = Bagging(Dep_var ~ ., data = train, control = Weka_control(P=100, I = 100, W = list("weka.classifiers.trees.M5P", M = 4)))

M5P মডেলের নিয়ন্ত্রণ বিকল্পগুলি দেখতে, চেষ্টা করুন:

WOW(M5P)

আপনি যদি এম 5 পদ্ধতিটি অপ্টিমাইজ করতে চান তবে caretপ্যাকেজে এটির জন্য একটি সমাধান রয়েছে :

library(caret)
Optimization = train (Dep_var ~ .,data = train, method = 'M5')

Answer 3

আমি মনে করি এটি আপনার প্রশ্নের সংক্ষিপ্ত সংস্করণটির উত্তর দেয়:

Cubist প্যাকেজ তড়কা নিয়ম-ভিত্তিক মডেলের টার্মিনাল পাতার মধ্যে রৈখিক রিগ্রেশনের মডেল, উদাহরণস্বরূপ ভিত্তিক সংশোধন এবং boosting সঙ্গে (গাছ অনুরূপ)।

থেকে Cran কাজের দৃশ্য: মেশিন লার্নিং

Comments

আপনি কি জানেন যে এটি কুইনলানের এম 5 এর অনুরূপ কিনা?

— মোমো

আমি জানি এটি কুইনলানের এম 5 এর মতোই যেখানে কুইনলানের কিউবিস্ট কুইনলানের এম 5 এর মতোই ।

— জ্যাক রায়ান