র্যান্ডম ফরেস্ট অ্যালগরিদমের অনুকূলিতকরণগুলি

44

আমি লক্ষ্য করেছি যে এলোজিআইবি, ওয়াফলস এবং কিছু আর প্যাকেজগুলির মতো এলোমেলো বনের কয়েকটি বাস্তবায়ন রয়েছে randomForest। কেউ কি আমাকে বলতে পারেন যে এই লাইব্রেরিগুলি অত্যন্ত অনুকূলিত হয়েছে? এগুলি মূলত পরিসংখ্যান শিক্ষার উপাদানগুলির বিবরণ হিসাবে এলোমেলো বনগুলির সমতুল্য বা অতিরিক্ত অতিরিক্ত কৌশল যুক্ত হয়েছে?

আমি আশা করি এই প্রশ্নটি যথেষ্ট নির্দিষ্ট। আমি যে ধরণের উত্তরের সন্ধান করছি তার উদাহরণ হিসাবে, যদি কেউ আমাকে জিজ্ঞাসা করেন যে লিনিয়ার বীজগণিত প্যাকেজ বিএলএএস উচ্চতর অনুকূলিত হয়েছে কিনা, আমি বলব এটি অত্যন্ত চূড়ান্তভাবে অনুকূল এবং বেশিরভাগ বিশেষায়িত অ্যাপ্লিকেশন বাদ দিয়ে উন্নত করার চেষ্টা করা উপযুক্ত নয়।

random-forest algorithms model-evaluation

— হেনরি বি।
সূত্র

র্যান্ডম জঙ্গল অনেকগুলি সার্ভারে সমান্তরাল পদ্ধতিতে চলতে পারে। দেখুন: শোয়ার্জ, এট আল (2010)। সাফারি অন র্যান্ডম জঙ্গলে: উচ্চ-মাত্রিক ডেটার জন্য র্যান্ডম বনগুলির একটি দ্রুত বাস্তবায়ন। বায়োইনফরম্যাটিকস, 26 , 14, পিপি 1752–8, doi.org/10.1093/bioinformatics/btq257 । কোড: 1 ; 2 ; 3 ; ঘ ।

— ব্যবহারকারী 128525

31

(মন্তব্যগুলির পরামর্শ সহ 6 আইএক্স 2015 আপডেট করেছেন, সিডাব্লুও করেছেন)

আর এর জন্য দুটি নতুন, দুর্দান্ত প্যাকেজ উপলব্ধ রয়েছে যা কিছু শর্তের জন্য বেশ ভালভাবে অনুকূলিত হয়:

রেঞ্জার - সি ++, আর প্যাকেজ, সমস্যাগুলির জন্য অনুকূলিত , সমান্তরাল, জিডাব্লুএএস ডেটার বিশেষ চিকিত্সা। $p>>n$
যাক - সি ++, R ও পাইথন বাইন্ডিং, large- জন্য অপ্টিমাইজ করা সমস্যা, দৃশ্যত GPGPU জন্য পরিকল্পনা। $n$

অন্যান্য আরএফ বাস্তবায়ন:

আসল এক - স্বতন্ত্র ফোর্টরান কোড, সমান্তরাল নয়, ব্যবহার করা বেশ শক্ত।
র্যান্ডমফরেস্ট - সি, আর প্যাকেজ, সম্ভবত সবচেয়ে জনপ্রিয়, সমান্তরাল নয়, আসলে খুব দ্রুত যখন একক-কোর গতির ভিত্তিতে তুলনা করা হয়, বিশেষত ছোট তথ্যের জন্য।
randomForestSRC - সি, আর প্যাকেজ, র্যান্ডমফোরস্টের ক্লোনিক সমান্তরাল প্রক্রিয়াকরণ এবং বেঁচে থাকার সমস্যাগুলিকে সমর্থন করে।
পার্টি - সি, আর প্যাকেজ, বেশ ধীর, কিন্তু আরএফের সাথে পরীক্ষার জন্য বিমান হিসাবে নকশা করা।
bigrf - সি + / আর, আর প্যাকেজ, বিগমেমরি কাঠামোর মধ্যে বড় ডেটাতে কাজ করার জন্য নির্মিত ; সম্পূর্ণ হতে অনেক দূরে।
সাইকিট লার এনসেম্বল ফরেস্ট - পাইথন, সাইকিট-লার্নিং ফ্রেমওয়ার্কের অংশ, সমান্তরাল, আরএফের অনেকগুলি রূপ প্রয়োগ করে।
দুধের আরএফ - পাইথন, দুধের কাঠামোর অংশ।
ওয়াফলস - সি ++, বৃহত্তর এমএল সরঞ্জামকিটের অংশ, সমান্তরাল এবং বেশ দ্রুত।
তথাকথিত WEKA rf - জাভা / WEKA, সমান্তরাল।
ALGLIB
এলোমেলো জঙ্গল - পরিত্যক্ত?
আরটি-র‌্যাঙ্ক - পরিত্যক্ত?
পারফ - পরিত্যক্ত?

রেঞ্জার পেপারে কিছু গতি / মেমরির তুলনা রয়েছে তবে কোনও পূর্ণ বেনমার্ক নেই।

— user88
সূত্র

6

পাইথন সাইকিট-লার্ন টুলবক্স থেকে এখন কেউ sklearn.ensemble যুক্ত করতে পারে।

— chl

1

পাইথনের দুধেও র্যান্ডম ফরেস্ট বাস্তবায়ন রয়েছে।

— জেকুইহুয়া

3

র্যান্ডম জঙ্গলকে রেঞ্জার দ্বারা ছাড়িয়ে দেওয়া হয়েছে। আমি আর ভারটি চেষ্টা করেছি (সেখানে আরও একটি সি ++ ভের রয়েছে) এবং এটি এলোমেলোভাবে দ্রুত র্যান্ডমফোরেস্টের চেয়ে দ্রুত (আমি যদিও এটি সময় পাইনি)। লেখক একটি পৃথক কাগজে কিছু পরীক্ষা করেছেন ( arxiv.org/abs/1508.04409 )।

— নভিসপ্রোগ

11

যতদূর আমি জানি, র্যান্ডমফোরস্টের আর সংস্করণটি মূল সংস্করণ হিসাবে একই ফোর্টরান কোডটিকে কল করে। তদতিরিক্ত, র্যান্ডমফোরস্ট ফাংশনটির সমান্তরালে এটি তুচ্ছ। এটি পূর্ববর্তী নথিতে প্রদত্ত উদাহরণগুলির মধ্যে একটি ।

library(foreach)
library(randomForest)
rf <- foreach(ntree = rep(250, 4), .combine = combine, .packages = "randomForest") %dopar% 
randomForest(x, y, ntree = ntree)

প্রদত্ত যে এলোমেলোভাবে বনগুলি বিব্রতকরভাবে সমান্তরাল, আপনি যে বৃহত্তম অপ্টিমাইজেশন করতে পারেন তা তাদের সমান্তরালে চালানো। এর পরে, আমি মনে করি না যে অ্যালগরিদমে অন্য কোনও কম-ঝুলন্ত ফল রয়েছে তবে আমি ভুল হতে পারি।

একমাত্র সমস্যাটি হ'ল আপনি সম্মিলিত বনাঞ্চলে ব্যাগের বাইরে থাকা ত্রুটির অনুমানটি হারাতে পারেন তবে এটি গণনা করার জন্য সম্ভবত একটি সহজ উপায় রয়েছে (আমি কীভাবে এটি করতে পারি তা জানতে আগ্রহী)।

— জ্যাক
সূত্র

7

ELSII ব্যবহৃত randomForest (দেখুন যেমন, পাদটীকা 3 p.591), Breiman একজন আর বাস্তবায়ন ও কাটলার এর যা ফোরট্রান কোড Salford, থেকে। অ্যান্ডি লিয়াওয়ের কোডটি সি তে রয়েছে

পার্টি প্যাকেজে (সি তে) প্রস্তাবিত আরএফগুলির আরও একটি বাস্তবায়ন রয়েছে , যা আর / ল্যাপকের উপর নির্ভর করে, যার বিএলএএস এর উপর কিছু নির্ভরতা রয়েছে ( /include/R_ext/Lapack.hআপনার বেস আর ডিরেক্টরিতে দেখুন)।

ব্যাগিংয়ের বিষয় হিসাবে এটির সমান্তরাল করা খুব বেশি কঠিন হওয়া উচিত নয়, তবে আমি আরও বিশেষজ্ঞ ব্যবহারকারীদের এই দিকটিতে উত্তর দিতে দেব।

— chl
সূত্র

5

এলোমেলো জংগলের পিছনে দলটি দাবি করেছে যে আর র‌্যান্ডমফোরস্ট বাস্তবায়নের চেয়ে দ্রুততার একটি ক্রম এবং একটি অর্ডার প্রস্থের কম স্মৃতি ব্যবহার করে। আর এর জন্য এলোমেলোভাবে জঞ্জালের জন্য একটি প্যাকেজ তৈরি করা হচ্ছে তবে আমি এখনও এটি নির্মাণ করতে পারছি না।

https://r-forge.r-project.org/projects/rjungler/

— গ্রাউন্ড-পেনেট্রেটিং রাডার
সূত্র

4 বছর পরেও এটি আপনার আগ্রহের বিষয় কিনা তা নিশ্চিত নই তবে এলোমেলো জঙ্গল এর লেখক (গুলি) এটিকে রেঞ্জার দিয়ে ছাড়িয়ে দিয়েছেন। আমি আর ভার্চ চেষ্টা করেছি এবং এটি কিছু নমুনা ডেটা সহ র্যান্ডমফোরস্টের চেয়ে স্পষ্টতই দ্রুতগতি সম্পন্ন হয়েছে (যদিও আমি এটির সময় পাইনি)।

— নভিসপ্রাগ

3

জাভাস্ক্রিপ্ট বাস্তবায়নের জন্য এই ডেমোটির মধ্য দিয়ে যান।

যদি আপনি একজন শিশু এমন একজন চকলেট জন্য ক্ষুধার্ত মত, তবে এখানে র্যান্ডম বনের আপনার চকলেট হয় http://cs.stanford.edu/people/karpathy/svmjs/demo/demoforest.html

— madhu131313
সূত্র