সিদ্ধান্ত গাছগুলির দুর্বল দিকটি কী?


34

সিদ্ধান্ত গাছগুলি একটি খুব বোধগম্য মেশিন শেখার পদ্ধতি বলে মনে হচ্ছে। একবার তৈরি হয়ে গেলে এটি সহজেই কোনও মানুষ দ্বারা পরিদর্শন করা যেতে পারে যা কিছু অ্যাপ্লিকেশনে একটি দুর্দান্ত সুবিধা।

সিদ্ধান্ত গাছগুলির ব্যবহারিক দুর্বল দিকগুলি কী কী?

উত্তর:


37

আমি এখানে ভাবতে পারি এমন এক দম্পতি এখানে রয়েছে:

  • এগুলি ডেটাতে ক্ষুদ্র বিচক্ষণতার জন্য অত্যন্ত সংবেদনশীল হতে পারে: সামান্য পরিবর্তনের ফলে একেবারে আলাদা গাছ হতে পারে।
  • তারা সহজেই ফিট করতে পারে। এটি বৈধতা পদ্ধতি এবং ছাঁটাইয়ের দ্বারা উপেক্ষিত হতে পারে তবে এটি ধূসর অঞ্চল।
  • তাদের নমুনা বহির্ভূত ভবিষ্যদ্বাণীগুলির সমস্যা হতে পারে (এটি তাদের সাথে মসৃণ হওয়ার সাথে সম্পর্কিত)।

এর মধ্যে কয়েকটি মাল্টিকোলাইনারিটির সমস্যার সাথে সম্পর্কিত : যখন দুটি ভেরিয়েবল উভয়ই একই জিনিস ব্যাখ্যা করে, একটি সিদ্ধান্ত গাছ লোভের সাথে সেরাটিকে বেছে নেবে, অন্যদিকে আরও অনেকগুলি পদ্ধতি সেগুলি উভয়ই ব্যবহার করবে। এলোমেলো পদ্ধতি যেমন এলোমেলো বন এটি নির্দিষ্ট পরিমাণে উপেক্ষা করতে পারে তবে আপনি বোঝার সহজতা হারাবেন।

তবে আমার দৃষ্টিকোণ থেকে সবচেয়ে বড় সমস্যা হ'ল মূলত সম্ভাব্য কাঠামোর অভাব। অন্যান্য অনেক পদ্ধতিতে আত্মবিশ্বাসের ব্যবধান, উত্তরোত্তর বিতরণ ইত্যাদির মতো জিনিস রয়েছে যা আমাদের মডেল কতটা ভাল তা সম্পর্কে কিছুটা ধারণা দেয়। সিদ্ধান্তের গাছটি শেষ পর্যন্ত একটি অ্যাডহক হিউরিস্টিক, যা এখনও খুব কার্যকর হতে পারে (তারা ডেটা প্রক্রিয়াকরণে বাগের উত্সগুলি সন্ধানের জন্য দুর্দান্ত) তবে আউটপুটটিকে "সঠিক মডেল" হিসাবে গণ্য করার ঝুঁকি রয়েছে (আমার কাছ থেকে অভিজ্ঞতা, বিপণনে এটি অনেক কিছু ঘটে)।


2
এমএল দৃষ্টিকোণ থেকে গাছগুলি অন্য কোনও শ্রেণিবদ্ধের (উদাহরণস্বরূপ সিভি) এর মতোই পরীক্ষা করা যায়। তবুও এটি বরং দেখায় যে ভারী ওভারফিটটি ঘটেছে ;-) এছাড়াও আরএফ বহুভুক্তি থেকে রেহাই পেয়েছে কারণ এটি নকশা করা ছিল না, কারণ এর গাছগুলি সাবমোটিমাল।

2
সিদ্ধান্ত গাছগুলির একটি সম্ভাব্য কাঠামোর জন্য, ডিটিআরই (url: datamining.monash.edu.au/software/dtree/index.shtml ) দেখুন যা "ওয়ালেস সিএস এবং প্যাট্রিক জেডি," কোডিং সিদ্ধান্তের গাছগুলি ", মেশিন লার্নিংয়ের উপর ভিত্তি করে রয়েছে , 11, 1993, পিপি 7-22 "।
ইমাকালিক

2
এছাড়াও, বুটস্ট্র্যাপিং ব্যবহার করে সিআই (পূর্বাভাসের জন্য) পাওয়া সম্ভব নয় কি?
তাল গালিলি

@ সিমোন বাইর্ন, আপনার মন্তব্য সম্পর্কে আমার একটি প্রশ্ন আছে "তবে আমার দৃষ্টিকোণ থেকে সবচেয়ে বড় সমস্যা হ'ল মূলত সম্ভাব্য কাঠামোর অভাব"। আমার অজ্ঞতা ক্ষমা করুন, তবে আপনি দয়া করে আমাকে কিছু ব্যবহারিক নীতিগত সম্ভাব্য কাঠামোর দিকে চিহ্নিত করতে পারেন (বিশেষত শ্রেণিবদ্ধের প্রসঙ্গে)। আমি সিদ্ধান্ত গাছের এই সীমাবদ্ধতায় অত্যন্ত আগ্রহী।
অ্যামিলিও ওয়াজকেজ-রেইনা

2
@ এমভি, এর একটি উদাহরণ লজিস্টিক রিগ্রেশন হবে: আমরা এই সত্যটি ব্যবহার করতে পারি যে প্রতিটি পর্যবেক্ষণ দ্বিপদী থেকে আস্থা / বিশ্বাসযোগ্য অন্তর পেতে এবং মডেলের অনুমানগুলি পরীক্ষা করতে আসে।
সাইমন বাইর্ন

23

একটি অসুবিধা হ'ল সমস্ত শর্তাদি ইন্টারঅ্যাক্ট করার জন্য অনুমিত হয়। অর্থাৎ, আপনার কাছে দুটি ব্যাখ্যামূলক পরিবর্তনশীল থাকতে পারে না যা স্বতন্ত্রভাবে আচরণ করে। গাছের প্রতিটি পরিবর্তনশীল গাছের প্রতিটি ভেরিয়েবলের সাথে ইন্টারঅ্যাক্ট করতে বাধ্য হয়। যদি ভেরিয়েবলগুলির কোনও বা দুর্বল মিথস্ক্রিয়া না থাকে তবে এটি অত্যন্ত অযোগ্য।


যদিও আমি এটি ব্যবহারিক সীমাবদ্ধতা হিসাবে আশ্চর্য হই - এমন একটি চলকের জন্য যা কেবল শ্রেণিবিন্যাসকে দুর্বলভাবে প্রভাবিত করে, আমার অন্তর্নিহিততাটি হল গাছটি সম্ভবত সেই চলকের উপর বিভক্ত হয় না (অর্থাত্ এটি নোড হতে যাচ্ছে না) যার অর্থ পরিবর্তিত হয় means সিদ্ধান্ত গাছের শ্রেণিবিন্যাস যতটা অদৃশ্য।
ডগ

আমি দুর্বল মিথস্ক্রিয়া সম্পর্কে কথা বলছি, শ্রেণিবিন্যাসের উপর দুর্বল প্রভাব নয়। একটি মিথস্ক্রিয়া হ'ল ভবিষ্যদ্বাণীকারী ভেরিয়েবলের মধ্যে দুটির মধ্যে একটি সম্পর্ক।
রব হ্যান্ডম্যান

2
এটি অকার্যকর হতে পারে তবে গাছের কাঠামো এটি পরিচালনা করতে পারে।

এ কারণেই আমি পক্ষপাতদুষ্ট বা ভুলের চেয়ে অদক্ষ বলেছি। আপনার যদি প্রচুর পরিমাণে ডেটা থাকে তবে তাতে কিছু আসে যায় না। তবে যদি আপনি একটি গাছকে কয়েক শতাধিক পর্যবেক্ষণের সাথে ধরে রাখেন তবে অনুমান করা মিথস্ক্রিয়াগুলি ভবিষ্যদ্বাণীমূলক নির্ভুলতাটিকে হ্রাস করতে পারে।
রব হ্যান্ডম্যান

2
একমত; আমি শুধু এটি হাইলাইট করতে চেয়েছিলাম। তবুও আমি মনে করি সঠিক প্রশিক্ষণ ব্যবহার করে ভবিষ্যদ্বাণীমূলক নির্ভুলতা হ্রাস করা যায়; ফাইলোজেনেটিক্সে সর্বাধিক সম্ভাব্যতাগুলি খুঁজে পাওয়ার জন্য মন্টে কার্লো স্ক্যানিং দ্বারা একই সমস্যা (লোভ প্রকাশ) হ্রাস পেয়েছে - আমি জানি না যে পরিসংখ্যানগুলিতেও একই রকম দৃষ্টিভঙ্গি রয়েছে, সম্ভবত কেউই এই সমস্যার দ্বারা বিরক্ত হয়নি ব্যাপ্তি।

12

আমার উত্তরটি কার্টের দিকে পরিচালিত (সি 4.5 / সি 5 বাস্তবায়ন) যদিও আমি মনে করি না এটি সীমাবদ্ধ। আমার অনুমান যে ওপি-র মনে এটিই ছিল - সাধারণত কেউ কেউ যখন "সিদ্ধান্ত গাছ" বলে তখন এটি বোঝায়।

সিদ্ধান্ত গাছের সীমাবদ্ধতা :


খারাপ করা

'পারফরম্যান্স' দ্বারা আমি রেজোলিউশনকে বোঝাতে চাই না, তবে মৃত্যুদণ্ড কার্যকর করি । এটি দুর্বল হওয়ার কারণটি হ'ল প্রতিবার আপনার কার্টের মডেলটি আপডেট করতে ইচ্ছুক আপনাকে 'গাছটি পুনরায় আঁকতে' হবে - ইতিমধ্যে প্রশিক্ষিত গাছ দ্বারা শ্রেণিবদ্ধ করা ডেটা, যা আপনি তখন গাছটিতে যুক্ত করতে চান (অর্থাত্ একটি হিসাবে ব্যবহার করুন) প্রশিক্ষণ ডেটা পয়েন্ট) এর জন্য আপনার প্রয়োজন হয় যে - ওভার থেকে শুরু করুন প্রশিক্ষণের উদাহরণগুলি ক্রমবর্ধমানভাবে যুক্ত করা যাবে না, কারণ তারা অন্যান্য তত্ত্বাবধানে থাকা শেখার অ্যালগরিদমের জন্য পারে। সম্ভবত এটি জানার সর্বোত্তম উপায় হ'ল ডেসিশন ট্রিগুলি কেবলমাত্র ব্যাচ মোডে, অনলাইন মোডে প্রশিক্ষণ দেওয়া যায় না। স্পষ্টতই আপনি যদি আপনার শ্রেণিবদ্ধটিকে আপডেট না করেন তবে আপনি এই সীমাবদ্ধতাটি লক্ষ্য করবেন না, তবে আমি আশা করব যে আপনি রেজোলিউশনে একটি ড্রপ দেখবেন।

এটি তাৎপর্যপূর্ণ কারণ উদাহরণস্বরূপ মাল্টি-লেয়ার পারসেপ্ট্রনগুলির জন্য, এটি একবার প্রশিক্ষিত হয়ে গেলে এটি ডেটা শ্রেণিবদ্ধকরণ শুরু করতে পারে; ডেটাটি ইতিমধ্যে প্রশিক্ষিত শ্রেণীবদ্ধকারীদের 'টিউন' করতেও ব্যবহার করা যেতে পারে, যদিও সিদ্ধান্তের গাছের সাথে আপনাকে সম্পূর্ণ ডেটা সেট (প্রশিক্ষণে ব্যবহৃত নতুন ডেটা এবং কোনও নতুন উদাহরণ) ব্যবহার করতে হবে with


ভেরিয়েবলগুলির মধ্যে জটিল সম্পর্কের সাথে ডেটার উপর দুর্বল রেজোলিউশন

সিদ্ধান্ত গাছগুলি অজানা শ্রেণীর ডেটা পয়েন্ট, সময়কালে একটি নোডের রুট নোড থেকে শুরু করে এবং টার্মিনাল নোড দিয়ে শেষ হওয়ার ধাপ অনুসারে মূল্যায়ন করে শ্রেণিবদ্ধ করে। এবং প্রতিটি নোডে, কেবল দুটি সম্ভাবনা সম্ভব (বাম-ডান), সুতরাং কিছু পরিবর্তনশীল সম্পর্ক রয়েছে যা সিদ্ধান্তের গাছগুলি শিখতে পারে না।


ব্যবহারিকভাবে শ্রেণিবিন্যাসের মধ্যে সীমাবদ্ধ

সিদ্ধান্ত গাছগুলি সর্বোত্তম কাজ করে যখন তাদের কোনও শ্রেণিতে ডেটা পয়েন্ট নির্ধারণের প্রশিক্ষণ দেওয়া হয় - সম্ভবত কয়েকটি সম্ভাব্য ক্লাসগুলির মধ্যে একটি। আমি বিশ্বাস করি না যে রিগ্রেশন মোডে (যেমন, অবিচ্ছিন্ন আউটপুট, যেমন মূল্য, বা প্রত্যাশিত আজীবন আয়) এর সাহায্যে ডিসিশন ট্রি ব্যবহার করে আমার কোনও সাফল্য হয়েছে। এটি কোনও আনুষ্ঠানিক বা সহজাত সীমাবদ্ধতা নয় বরং ব্যবহারিক a বেশিরভাগ সময়, সিদ্ধান্ত গাছগুলি কারণ বা বিচ্ছিন্ন ফলাফলের পূর্বাভাস দেওয়ার জন্য ব্যবহৃত হয়।


অবিচ্ছিন্ন প্রত্যাশা ভেরিয়েবলগুলির সাথে দরিদ্র রেজোলিউশন

আবার, নীতিগতভাবে, "ডাউনলোডের সময়" বা "পূর্ববর্তী অনলাইন কেনার পরে দিনের সংখ্যা" এর মতো স্বতন্ত্র ভেরিয়েবলগুলি ঠিক আছে - কেবল আপনার বিভাজনের মানদণ্ডকে বৈকল্পে পরিবর্তন করুন (এটি সাধারণত ইনফরমেশন এন্ট্রপি বা বিচ্ছিন্ন ভেরিয়েবলের জন্য গিনি অপরিষ্কার) তবে আমার অভিজ্ঞতা সিদ্ধান্ত গাছ খুব কমই এই ক্ষেত্রে ভাল কাজ করে। ব্যতিক্রমগুলি "শিক্ষার্থীর বয়স" এর মতো কেস যা অবিচ্ছিন্ন দেখায় তবে অনুশীলনে মানগুলির পরিসরটি খুব কম (বিশেষত যদি তাদের পূর্ণসংখ্যার হিসাবে রিপোর্ট করা হয়)।


1
পারফরম্যান্স কোণে ভাল কল করার জন্য +1, যা সাধারণত পর্যাপ্ত প্লে পায় না। আমি ডেটা মাইনিংয়ের অন্যান্য পদ্ধতির তুলনায় কমপক্ষে বড় ডেটাসেটের জন্য নকশাকৃত বেশ কয়েকটি সফ্টওয়্যার প্ল্যাটফর্মে (যেমন এসকিউএল সার্ভার) কাজ করার বিষয়ে সিদ্ধান্ত গাছগুলি দেখেছি। এটি আপনি উত্থাপিত পুরো পুনরায় প্রশিক্ষণ ইস্যু বাদে। এটি অত্যধিক মানানসই ক্ষেত্রে দেখা দিলে এটি আরও খারাপ হয়ে যায় বলে মনে হচ্ছে (যদিও এটি অন্যান্য অনেক খনির অ্যালগরিদম সম্পর্কে বলা যেতে পারে)।
এসকিউএল সার্ভারস্টেভ

10

এখানে ভাল উত্তর আছে, কিন্তু আমি অবাক যে একটি বিষয় জোর দেওয়া হয়নি। কার্ট ডেটা, বিশেষত প্রতিক্রিয়া পরিবর্তনশীল সম্পর্কে কোনও বিতরণ অনুমান করে না। এর বিপরীতে, OLS ঔজ্জ্বল্যের প্রেক্ষাপটে রিগ্রেশন (ক্রমাগত প্রতিক্রিয়া ভেরিয়েবল জন্য) এবং লজিস্টিক রিগ্রেশন (কিছু শ্রেণীগত প্রতিক্রিয়া ভেরিয়েবল জন্য), উদাহরণস্বরূপ, কি শক্তিশালী অনুমানের করা; বিশেষত, ওএলএস রিগ্রেশন অনুমান করে যে প্রতিক্রিয়াটি শর্তাধীনভাবে সাধারণত বিতরণ করা হয়, এবং যৌক্তিক ধারণাটি গ্রহণ করে প্রতিক্রিয়া দ্বিপদী বা বহু-জাতীয়।

কার্টের এই ধরণের অনুমানের অভাবটি একটি দ্বি-তরোয়াল তরোয়াল। যখন এই অনুমানগুলি সুনিশ্চিত হয় না, এটি পদ্ধতির আপেক্ষিক সুবিধা দেয়। অন্যদিকে, যখন এই অনুমানগুলি ধারণ করে, তখন সেই তথ্যগুলিকে বিবেচনায় নিয়ে তথ্য থেকে আরও তথ্য বের করা যেতে পারে। এটি হ'ল স্ট্যান্ডার্ড রিগ্রেশন পদ্ধতিগুলি কার্টের চেয়ে আরও তথ্যপূর্ণ হতে পারে যখন অনুমানগুলি সত্য হয়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.