আমি গাছের সংখ্যা বৃদ্ধি হিসাবে scikit শিখতে এর GradientBoostingRegressor
, আমি আরো নেতিবাচক পূর্বাভাস পেতে, যদিও আমার প্রশিক্ষণ বা সেট টেস্টিংয়ের জন্য কোনো নেতিবাচক মান। আমার প্রায় 10 টি বৈশিষ্ট্য রয়েছে, যার বেশিরভাগ বাইনারি।
আমি যে প্যারামিটারগুলি টিউন করছিলাম সেগুলির মধ্যে কয়েকটি ছিল:
- গাছ / পুনরাবৃত্তি সংখ্যা;
- শেখার গভীরতা;
- এবং শেখার হার।
নেতিবাচক মানগুলির শতাংশটি সর্বোচ্চ 2% ডলার বলে মনে হয়েছিল। 1 (স্টাম্প) এর শেখার গভীরতায় সর্বাধিক% নেতিবাচক মান রয়েছে বলে মনে হয়েছে। এই শতাংশটি আরও বেশি গাছ এবং একটি ছোট শিক্ষার হারের সাথে বেড়েছে বলে মনে হয়েছিল। ডেটাসেটটি ক্যাগল খেলার মাঠের প্রতিযোগিতার একটি।
আমার কোডটি এমন কিছু:
from sklearn.ensemble import GradientBoostingRegressor
X_train, X_test, y_train, y_test = train_test_split(X, y)
reg = GradientBoostingRegressor(n_estimators=8000, max_depth=1, loss = 'ls', learning_rate = .01)
reg.fit(X_train, y_train)
ypred = reg.predict(X_test)