দুটি সিদ্ধান্ত গাছের যোগফল কি একক সিদ্ধান্ত গাছের সমতুল্য?

Question

ধরুন আমরা দুটি রিগ্রেশন গাছ (গাছ A এবং গাছ বি) যে মানচিত্র ইনপুট আছে আউটপুট Y ∈ আর । যাক Y = চ একজন ( এক্স ) গাছ একটি এবং চ বি ( এক্স ) গাছ বি প্রতিটি গাছ বাইনারি টুকরা ব্যবহার করে, পৃথক ফাংশন হিসাবে hyperplanes সঙ্গে।$x \in \mathbb{R}^d$$\hat{y} \in \mathbb{R}$$\hat{y} = f_A(x)$$f_B(x)$

এখন, ধরুন আমরা গাছের আউটপুটগুলির একটি ভারী সমষ্টি গ্রহণ করি:

$$f_C(x) = w_A \ f_A(x) + w_B \ f_B(x)$$

ফাংশন $f_C$ একটি একক (গভীর) রিগ্রেশন গাছ সমতূল্য? যদি উত্তরটি "মাঝে মাঝে" হয় তবে কোন পরিস্থিতিতে?

আদর্শভাবে, আমি তির্যক হাইপারপ্লেনগুলি (অর্থাত্ বৈশিষ্ট্যগুলির রৈখিক সংমিশ্রণে সঞ্চালিত বিভাজন )কে অনুমতি দিতে চাই। তবে, একমাত্র-বৈশিষ্ট্যগুলি বিভাজন করে ধরে নেওয়া ঠিক আছে যদি কেবলমাত্র এটির উত্তর পাওয়া যায়।

উদাহরণ

2 ডি ইনপুট স্পেসে এখানে দুটি রিগ্রেশন ট্রি সংজ্ঞায়িত করা হয়েছে:

চিত্রটি দেখায় যে প্রতিটি গাছের পার্টিশনগুলি কীভাবে ইনপুট স্পেস করে এবং প্রতিটি অঞ্চলের আউটপুট (গ্রেস্কেলে কোডেড)। বর্ণযুক্ত সংখ্যাগুলি ইনপুট স্পেসের অঞ্চলগুলি নির্দেশ করে: 3,4,5,6 লিফ নোডের সাথে মিল। 1 হ'ল 3 এবং 4 ইত্যাদির মিলন is

এখন ধরা যাক আমরা এ এবং বি গাছের আউটপুট গড় গড়েছি:

গড় আউটপুট বাম দিকে প্লট করা হয়, গাছ এবং এ-বি গাছের সিদ্ধান্তের সীমানা নিয়ে। এই ক্ষেত্রে, একটি একক, গভীর গাছ তৈরি করা সম্ভব যার আউটপুট গড়ের সমান (ডানদিকে প্লট করা)। প্রতিটি নোড ইনপুট স্পেসের অঞ্চলের সাথে মিলে যায় যা গাছ এবং ক গাছ দ্বারা সংজ্ঞায়িত অঞ্চলগুলির বাইরে তৈরি করা যেতে পারে (প্রতিটি নোডে বর্ণযুক্ত সংখ্যার সাহায্যে চিহ্নিত; একাধিক সংখ্যা দুটি অঞ্চলের ছেদকে নির্দেশ করে)। লক্ষ করুন যে এই গাছটি অনন্য নয় - আমরা গাছের গাছের পরিবর্তে গাছ বি থেকে তৈরি শুরু করতে পারতাম

এই উদাহরণটি দেখায় যে উত্তরগুলি হ্যাঁ হ'ল এমন কিছু ক্ষেত্রে রয়েছে। আমি জানতে চাই যে এটি সর্বদা সত্য কিনা ।

Comments

হুম .. যদি তাই হত তবে আমরা কেন এলোমেলো বন প্রশিক্ষণ দেব? (কারণ স্পষ্টতই 500 টি বৃক্ষের রৈখিক সংমিশ্রণটি 500 টির 499 ওজনের জোড় জোড় হিসাবে আবার প্রকাশ করা যেতে পারে) দুর্দান্ত প্রশ্ন, +1।

— usεr11852 12-29

মজার প্রশ্ন! আমি সিদ্ধান্ত গাছ এবং সিদ্ধান্ত গাছের ensembles (বৃদ্ধি, গাছের লিনিয়ার সংমিশ্রণ) এর অনুমানের স্থানটিকে একই বলে ধরে নিব। একটি উত্তরের অপেক্ষায় ..

— লাকসান নাথান

@ usεr11852 কারণ বনের পরিবর্তে একটি খুব বড় গাছ ব্যবহার করা এত ধীর? ঠিক যেমন নিউরাল নেটওয়ার্কগুলিতে একটি লুকানো লেয়ার নেটওয়ার্ক ইতিমধ্যে সমস্ত ধ্রুবক কার্যকারিতা আনুমানিক করতে পারে তবে স্তরগুলি যুক্ত করা নেটওয়ার্কটিকে আরও দ্রুত করে তোলে। এখানে বলার অপেক্ষা রাখে না তবে এটি হতে পারে।

— হার্টো সারিনেন

@ হার্টোসারিনেন: এটি সম্পর্কে চিন্তাভাবনা করার একটি আকর্ষণীয় উপায় তবে আমার সন্দেহ হয় যে এটি সহজেই ধারণ করে না। এটি স্বীকৃত যে খুব গভীর গাছগুলি অত্যধিকভাবে ফিট করে এবং খারাপভাবে সাধারণীকরণ করতে পারে (তাদের পূর্বাভাসগুলিও বেশ অস্থির)। এছাড়াও (গতির বিবেচনায়) গভীর গাছগুলিকে তাত্পর্যপূর্ণভাবে আরও বিভক্ত হওয়া এবং এইভাবে আরও প্রশিক্ষণের সময় প্রয়োজন। (গভীরতা 10 একটি গাছ সর্বাধিক 1023 টুকরা কিন্তু গভীরতা 20 একটি গাছ, 1048575 টুকরা হয়েছে প্রচুর আরো হবে।!)

— usεr11852 পুনর্বহাল Monic বলছেন

@ usεr11852 আমি সম্মত হই যে এটি সম্পূর্ণ অসত্য হতে পারে এবং উত্তরটি সম্পূর্ণ আলাদা be এই মুহূর্তে এই ক্ষেত্রটি এত আকর্ষণীয় করে তোলে, সুপার অনেকগুলি আবিষ্কার করা যায়!

— হার্টো সরিনেন

Answer 1

হ্যাঁ, একটি রিগ্রেশন গাছের ওজনযুক্ত যোগফল একটি একক (গভীর) রিগ্রেশন গাছের সমতুল্য।

সর্বজনীন ফাংশন আনুমানিক

একটি রিগ্রেশন ট্রি হ'ল সার্বজনীন ফাংশন আনুমানিক (যেমন সিস্টিওরি দেখুন )। সার্বজনীন ফাংশন অনুমান উপর আরও গবেষণা এক গোপন স্তর artifical নিউরাল নেটওয়ার্কে সম্পন্ন করা হয় (পড়া এই দুর্দান্ত ব্লগ পড়ুন) । তবে বেশিরভাগ মেশিন লার্নিং অ্যালগরিদমগুলি সর্বজনীন ফাংশন আনুমানিক।

সর্বজনীন ফাংশন আনুমানিক হওয়ার অর্থ যে কোনও স্বেচ্ছাসেবী ফাংশন প্রায় উপস্থাপিত হতে পারে। সুতরাং, ফাংশনটি যতই জটিল হয়ে উঠুক না কেন, সার্বজনীন ফাংশন আনুমানিকভাবে এটি কোনও পছন্দসই নির্ভুলতার সাথে প্রতিনিধিত্ব করতে পারে। একটি রিগ্রেশন ট্রি ক্ষেত্রে আপনি একটি অসীম গভীর একটি কল্পনা করতে পারেন। এই অসীম গভীর গাছটি স্থানের যে কোনও বিন্দুতে কোনও মান নির্ধারণ করতে পারে।

যেহেতু একটি রিগ্রেশন গাছের ভারযুক্ত যোগফলটি অন্য এক স্বেচ্ছাসেবী ফাংশন, তাই আরও একটি রিগ্রেশন ট্রি উপস্থিত রয়েছে যা সেই ফাংশনটি উপস্থাপন করে।

এ জাতীয় গাছ তৈরি করার জন্য একটি অ্যালগরিদম

এই জাতীয় গাছের অস্তিত্ব জেনে রাখা দুর্দান্ত। তবে আমরা সেগুলি তৈরির একটি রেসিপিও চাই। এ জাতীয় এবং অ্যালগরিদম দুটি প্রদত্ত গাছ টি মিশ্রিত করে$T_1$$T_2$$T_2$$T1$$T1$$T2$

নীচের উদাহরণে দুটি সাধারণ গাছ দেখানো হয়েছে যা ওজনের সাথে 0.5 টি যুক্ত করা হয়েছে। মনে রাখবেন যে কোনও নোড কখনই পৌঁছাতে পারবেন না, কারণ 3 টির চেয়ে কম এবং 5 এর চেয়ে বড় এমন কোনও সংখ্যা নেই This

আরও জটিল অ্যালগোরিদম কেন ব্যবহার করবেন

@ Usεr11852 মন্তব্যগুলিতে একটি আকর্ষণীয় অতিরিক্ত প্রশ্ন উত্থাপিত হয়েছিল: প্রতিটি ফাংশনকে যদি সাধারণ রেজিস্ট্রেশন ট্রি দিয়ে মডেল করা যায় তবে আমরা কেন আলগরিদম (বা বাস্তবে কোনও জটিল মেশিন লার্নিং অ্যালগরিদম) ব্যবহার করব?

রিগ্রেশন ট্রি প্রকৃতপক্ষে কোনও ফাংশনকে উপস্থাপন করতে পারে তবে এটি একটি মেশিন লার্নিং অ্যালগরিদমের জন্য কেবলমাত্র একটি মানদণ্ড। অন্য একটি গুরুত্বপূর্ণ সম্পত্তি হ'ল তারা কতটা সাধারণীকরণ করে। গভীর রিগ্রেশন গাছগুলি অত্যধিক মানানসই প্রবণতা, অর্থাত তারা ভাল করে না। এটি রোধ করার জন্য একটি এলোমেলো বন গড়ে প্রচুর গভীর গাছ trees