ব্রেইমের এলোমেলো বন কি তথ্য লাভ বা গিনি সূচক ব্যবহার করে?

Question

আমি জানতে চাই যে ব্রেম্যানের এলোমেলো বন (আর র্যান্ডমফোরস্ট প্যাকেজের এলোমেলো বন) কোনও বিভাজন মাপদণ্ড (বৈশিষ্ট্য নির্বাচনের মানদণ্ড) তথ্য লাভ বা গিনি সূচক হিসাবে ব্যবহার করে? আমি এটি http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm এ এবং আর-এ র্যান্ডমফোরস্ট প্যাকেজটির জন্য ডকুমেন্টেশনে সন্ধান করার চেষ্টা করেছি, তবে কেবলমাত্র আমি খুঁজে পেলাম যে গিনি সূচকটি ব্যবহার করা যেতে পারে পরিবর্তনশীল গুরুত্ব গণনা।

Comments

আমি আরও ভাবছি যে এলোমেলো বনের গাছগুলি এলোমেলোভাবে প্যাকেজে বাইনারি হয় কিনা।

— কেউ

Answer 1

আর, লিঃ দ্বারা র মধ্যে র্যান্ডমফোরস্ট প্যাকেজটি মূল কোডের একটি বন্দর যা সি-কোড (অনুবাদকৃত) কিছু অবশিষ্ট ফোরআরান কোড এবং আর র‍্যাপার কোডের মিশ্রণ। ব্রেক পয়েন্ট এবং মাতৃ ভেরিয়েবলগুলি জুড়ে সামগ্রিক সেরা বিভাজন স্থির করতে, কোড গিনি-লাভের অনুরূপ একটি স্কোরিং ফাংশন ব্যবহার করে:

$GiniGain(N,X)=Gini(N)-\frac{\lvert N_{1} \rvert }{\lvert N \rvert }Gini(N_{1})-\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2})$

$X$$N$$N_{1}$$N_{2}$$N$$\lvert . \rvert$নোডের উপাদানগুলির সংখ্যা।

$Gini(N)=1-\sum_{k=1}^{K}p_{k}^2$$K$ নোড বিভাগ সংখ্যা

$Gini(N)$

$\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2}) \propto |N_2| Gini(N_{2}) = |N_2| (1-\sum_{k=1}^{K}p_{k}^2 ) = |N_2| \sum \frac{nclass_{2,k}^2}{|N_2|^2}$

$nclass_{1,k}$$|N_2|$ মনোনীতকারী এবং ডিনোমিনেটর উভয়কেই স্থাপন করা হয়।

তুচ্ছ ধ্রুবক অপসারণ $1-$ সমীকরণ থেকে যেমন সর্বোত্তম বিভক্ত সিদ্ধান্তটি নোডের আকারের ওজনফলকে বর্গক্ষেত্রের প্রসারকে বাড়িয়ে তোলে ...

স্কোর = $|N_1| \sum_{k=1}^{K}p_{1,k}^2 + |N_2| \sum_{k=1}^{K}p_{2,k}^2 = |N_1|\sum_{k=1}^{K}\frac{nclass_{1,k}^2}{|N_1|^2} + |N_2|\sum_{k=1}^{K}\frac{nclass_{2,k}^2}{|N_2|^2}$ $= \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-1} + \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-2}$ $= nominator_1/denominator_1 + nominator_2/denominator_2$

The implementation also allows for classwise up/down weighting of samples. Also very important when the implementation update this modified gini-gain, moving a single sample from one node to the other is very efficient. The sample can be substracted from nominators/denominators of one node and added to the others. I wrote a prototype-RF some months ago, ignorantly recomputing from scratch gini-gain for every break-point and that was slower :)

If several splits scores are best, a random winner is picked.

This answer was based on inspecting source file "randomForest.x.x.tar.gz/src/classTree.c" line 209-250