পুনর্নির্বাচিত বুস্টেড রিগ্রেশন ট্রি (বিআরটি), জেনারাইজড বুস্টেড মডেল (জিবিএম) এবং গ্রেডিয়েন্ট বুস্টিং মেশিন (জিবিএম)

Question

প্রশ্নাবলী:

1. বুস্টেড রিগ্রেশন ট্রি (বিআরটি) এবং জেনারেলাইজড বুস্টেড মডেল (জিবিএম) এর মধ্যে পার্থক্য কী? এগুলি কি বিনিময়যোগ্যভাবে ব্যবহার করা যায়? একটি অন্যর একটি নির্দিষ্ট ফর্ম?
2. ফ্রিডম্যান এর আগে "গ্রেডিয়েন্ট বুস্টিং মেশিন" (জিবিএম) হিসাবে যা প্রস্তাব করেছিলেন তা বর্ণনা করতে রিজওয়ে "জেনারালাইজড বুস্টেড রিগ্রেশন মডেলস" (জিবিএম) শব্দটি কেন ব্যবহার করেছিলেন? এই দুটি সংক্ষিপ্ত শব্দ একই, একই জিনিস বর্ণনা, কিন্তু বিভিন্ন বাক্যাংশ থেকে প্রাপ্ত।

পটভূমি:

বিআরটি এবং জিবিএম পদগুলি কীভাবে পৃথক হয় তা নির্ধারণ করতে আমার সমস্যা হচ্ছে। আমি যা বুঝি সেগুলি থেকে শ্রেণিবদ্ধকরণ এবং রিগ্রেশন গাছগুলি বর্ণনা করার শর্তগুলি যা স্টোকেস্টিটিটি কিছু প্রকার বুস্টিংয়ের মাধ্যমে অন্তর্ভুক্ত করেছে (যেমন ব্যাগিং, বুটস্ট্র্যাপিং, ক্রস-বৈধকরণ)। এছাড়াও, আমি জিবিএম শব্দটি কীটি সংগ্রহ করি তা থেকে ফ্রিডম্যান (2001) তার কাগজে "লোভী ফাংশন আনুমানিক: একটি গ্রেডিয়েন্ট বুস্টিং মেশিন" তৈরি করেছিলেন। এরপরে রিজওয়ে 2006 সালে ফ্রিডম্যান দ্বারা বর্ণিত পদ্ধতিটি তার প্যাকেজ "জেনারালাইজড বুস্টেড রিগ্রেশন মডেলস" (জিবিএম) এ প্রয়োগ করে। আমার ক্ষেত্রে (বাস্তুশাস্ত্র) এলিথ এট আল। (২০০৮) gbmপ্রজাতি বিতরণ মডেলিংয়ের জন্য প্রথম রিজওয়ের প্যাকেজ প্রদর্শন করেছিল demonst তবে এলিথ এট আল-র লেখকগণ। ফ্রেডম্যান এবং রিজওয়ে বর্ণনা করতে "বুস্টেড রিগ্রেশন ট্রি" (বিআরটি) শব্দটি ব্যবহার করুন

আমি বিভ্রান্ত হয়ে পড়েছি যে এই পদগুলি বিনিময়যোগ্যভাবে ব্যবহার করা যেতে পারে? এটি কিছুটা বিভ্রান্তিকর যে কোনও একজন লেখক পূর্ববর্তী লেখকের প্রস্তাবিত একই তত্ত্বটি বর্ণনা করতে একই সংক্ষিপ্ত আকারটি (একটি পৃথক বাক্যাংশ থেকে) ব্যবহার করবেন। এটি ত্রুটিযুক্ত যে তৃতীয় লেখক বাস্তুগত দিক থেকে এই তত্ত্বটি বর্ণনা করার সময় সম্পূর্ণ ভিন্ন শব্দটি ব্যবহার করেছিলেন।

আমি যে সর্বোত্তম বিষয়টি সামনে আসতে পারি তা হ'ল বিআরটি হ'ল জিবিএমের একটি নির্দিষ্ট ফর্ম, যেখানে বন্টন দ্বিপদী, তবে আমি এটি সম্পর্কে নিশ্চিত নই।

এলিথ এট আল। বুস্টেড রিগ্রেশন গাছগুলি এর মতো সংজ্ঞায়িত করুন ... "বুস্টেড রিগ্রেশন ট্রি দুটি অ্যালগরিদমের শক্তির সংমিশ্রণ করে: রিগ্রেশন ট্রি (মডেলগুলি যা পূর্বাভাসকারীদের পুনরাবৃত্ত বাইনারি বিভাজন দ্বারা তাদের প্রতিক্রিয়ার সাথে জড়িত) এবং বুস্টিং (উন্নত ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা দেওয়ার জন্য অনেকগুলি সাধারণ মডেলের সংমিশ্রণের জন্য একটি অভিযোজক পদ্ধতি) )। চূড়ান্ত বিআরটি মডেলটি একটি সংযোজনযুক্ত রিগ্রেশন মডেল হিসাবে বোঝা যাবে যেখানে স্বতন্ত্র পদগুলি সরল গাছ, একটি স্ট্র্যাওয়ারওয়ালা ফ্যাশনযুক্ত "(এলিথ এট আল। ২০০))।

Comments

আমি লেখকদের মাথার ভিতরে andুকতে এবং আপনাকে বলতে পারি না, তবে নামগুলি সব বলেছে এটি প্রশংসনীয় বলে মনে হচ্ছে। বুস্টিং এমন একটি পদ্ধতি যা দুর্বল শিক্ষার্থীদের একটি ক্রম ব্যবহার করে। পঞ্চম পদ্ধতিটি স্টম্পসের মতো 'ছোট গাছ' হবে। আপনি যদি কোনও রিগ্রেশন ট্রি মডেলকে উত্সাহ দেন তবে আপনি রিগ্রেশন ট্রিগুলিকে উত্সাহিত করবেন। অগ্রাধিকার হিসাবে, কেউ শ্রেণিবদ্ধ পদ্ধতিগুলি সহ অন্যান্য পদ্ধতিগুলিকে উত্সাহিত করতে পারে এবং গ্রেডিয়েন্ট বুস্টিং মেশিন নামে পরিচিত এমন কিছু ফেরত দিতে পারে যা কোনও উত্সাহিত রিগ্রেশন ট্রি নয়।

— মেহে 4'15

আমি বিবরণগুলি হাতছাড়া মনে করি না, তবে একটি বই আমি পড়ে দেখিয়েছি যে কীভাবে যদি কেউ গাছের জন্য স্টাম্প ব্যবহার করে তবে ফলাফলটি খুব একটা গ্যামের মতো হয়।

— মেহে

Answer 1

মন্তব্যের থ্রেডে @ জিগেনস্কি যেমন উল্লেখ করেছেন, লেখকের মাথায় পাওয়া অসম্ভব, তবে বিআরটি সম্ভবত gbmস্পষ্ট, উত্সাহিত শ্রেণিবদ্ধকরণ এবং রিগ্রেশন গাছের কথা উল্লেখ করে ক্ষমা করবেন। এবং যেহেতু আপনি উত্সাহ, গ্রেডিয়েন্টস এবং রিগ্রেশন ট্রি সম্পর্কে জিজ্ঞাসা করেছেন তাই এখানে শর্তগুলির আমার সরল ইংরেজী ব্যাখ্যা রয়েছে। এফওয়াইআই, সিভি একটি উত্সাহদান পদ্ধতি নয় বরং পুনরাবৃত্ত নমুনার মাধ্যমে অনুকূল মডেল পরামিতিগুলি সনাক্ত করতে সহায়তা করার একটি পদ্ধতি। প্রক্রিয়াটির কিছু চমৎকার ব্যাখ্যাের জন্য এখানে দেখুন ।

বুস্টিং হ'ল এক প্রকারের নকশা পদ্ধতি । এনসেম্বল পদ্ধতিগুলি এমন একটি পদ্ধতির সংকলনকে বোঝায় যার দ্বারা চূড়ান্ত ভবিষ্যদ্বাণীগুলি বিভিন্ন মডেল থেকে একচেটিয়া ভবিষ্যদ্বাণী করা হয়। বুস্টিং, ব্যাগিং এবং স্ট্যাকিং হ'ল কয়েকটি বহুল-প্রয়োগিত এনসেম্বল পদ্ধতি। স্ট্যাকিংয়ের সাথে স্বতন্ত্রভাবে (আপনার নিজের পছন্দের যে কোনও কাঠামোর) বিভিন্ন মডেল ফিটিং করা এবং তারপরে একটি একক রৈখিক মডেলের সাথে সংযুক্ত করে। নির্ভরশীল ভেরিয়েবলের বিরুদ্ধে পৃথক মডেলের ভবিষ্যদ্বাণীগুলি ফিট করে এটি করা হয়। LOOCV এসএসই সাধারণত রিগ্রেশন সহগ নির্ধারণ করতে ব্যবহৃত হয় এবং প্রতিটি মডেলকে ভিত্তি ফাংশন হিসাবে বিবেচনা করা হয় (আমার মতে এটি জিএএম এর সাথে খুব মিল)। একইভাবে, ব্যাগিংবুটস্ট্র্যাপযুক্ত নমুনাগুলিতে বেশ কয়েকটি একই ধরণের কাঠামোগত মডেলগুলিকে ফিট করার সাথে জড়িত। আবারও স্পষ্ট করে বলার ঝুঁকিতে, স্ট্যাকিং এবং ব্যাগিং সমান্তরাল জড়ো পদ্ধতি।

বুস্ট করা , তবে, এটি একটি ক্রমিক পদ্ধতি। ফ্রিডম্যান এবং রিজওয়ে উভয়ই তাদের কাগজপত্রগুলিতে অ্যালগরিদমিক প্রক্রিয়া বর্ণনা করেছেন যাতে আমি এটি কেবল এই দ্বিতীয়টিতে এখানে প্রবেশ করবো না, তবে সরল ইংরাজী (এবং কিছুটা সরলীকৃত) সংস্করণ হ'ল আপনি একের পর এক মডেল ফিট করেন, পরবর্তী প্রতিটি মডেল কমিয়ে আনতে চাইছেন পূর্ববর্তী মডেলের ত্রুটিগুলি দ্বারা ভারিত অবশিষ্টাংশগুলি (সংকোচন পরামিতি হ'ল পূর্ববর্তী পুনরাবৃত্তি থেকে প্রতিটি ভবিষ্যদ্বাণীটির অবশিষ্ট ত্রুটির জন্য বরাদ্দকৃত ওজন এবং এটির জন্য যত ছোট আপনি সামর্থ্য করতে পারেন তত ভাল)। একটি বিমূর্ত অর্থে, আপনি খুব মানব-সমৃদ্ধ শেখার প্রক্রিয়া হিসাবে উত্সাহিত করার কথা ভাবতে পারেন যেখানে আমরা আমাদের যে কাজগুলি সম্পাদন করতে হবে তার নতুন পুনরাবৃত্তিতে অতীতের অভিজ্ঞতা প্রয়োগ করি।

এখন, পুরো জিনিসটির গ্রেডিয়েন্ট অংশটি gbmওভারফিটিং এড়ানোর জন্য ভবিষ্যদ্বাণী করার জন্য ব্যবহৃত মডেলগুলির সর্বোত্তম সংখ্যা ( ডকুমেন্টেশনে পুনরাবৃত্তি হিসাবে পরিচিত ) নির্ধারণ করতে ব্যবহৃত পদ্ধতি থেকে আসে ।

আপনি উপরের ভিজ্যুয়াল থেকে দেখতে পাচ্ছেন (এটি একটি শ্রেণিবদ্ধকরণের অ্যাপ্লিকেশন ছিল, তবে এটি একই রকমের প্রতিরোধের ক্ষেত্রে সত্য) সিভি ত্রুটি প্রথমে বেশ খাড়াভাবে নেমে যায় কারণ আলগোরিদম সেই মডেলগুলি নির্বাচন করে যা সমতল হওয়ার আগে সিভি ত্রুটির বৃহত্তম ড্রপকে নিয়ে যায় will জমায়েতগুলি অতিরিক্ত সাজাতে শুরু করার সাথে সাথে আবার উপরে উঠে। অনুকূল পুনরাবৃত্তি সংখ্যাটি সিভি ত্রুটি ফাংশনের প্রতিসরণ বিন্দু (ফাংশন গ্রেডিয়েন্ট সমান 0) এর সাথে সম্পর্কিত যা নীল ড্যাশযুক্ত লাইন দ্বারা স্বাচ্ছন্দ্যে চিত্রিত হয়েছে।

রিজওয়ের gbmবাস্তবায়ন শ্রেণিবদ্ধকরণ এবং রিগ্রেশন গাছ ব্যবহার করে এবং আমি তাঁর মন পড়ার দাবি করতে পারি না এমন সময় আমি কল্পনা করতাম যে গাছগুলি উপযুক্ত হতে পারে তার গতি এবং স্বচ্ছলতা (ডেটা শেননিগানের কাছে তাদের দৃust়তার বিষয়ে কিছু না বলার জন্য) উপর একটি দুর্দান্ত তাত্পর্যপূর্ণ প্রভাব ফেলেছিল মডেলিং কৌশল তার পছন্দ। এটি বলা হচ্ছে, যদিও আমি ভুল হতে পারি, আমি কেন এমন কোনও কঠোর তাত্ত্বিক কারণ কল্পনা করতে পারি না যে কার্যত অন্য কোনও মডেলিং কৌশল কার্যকর করা যায়নি। আবার, আমি রিজওয়ের মনটি জানার দাবি করতে পারি না তবে আমি এর সাধারণীকরণের অংশটি কল্পনা করিgbmএর নাম সম্ভাব্য অ্যাপ্লিকেশনগুলির ভিড়কে বোঝায়। প্যাকেজটি রিগ্রেশন (লিনিয়ার, পোইসন এবং কোয়ান্টাইল) সম্পাদন, দ্বিপদী (বিভিন্ন ক্ষতির বিভিন্ন ফাংশন ব্যবহার করে) এবং বহু-শ্রেণীর শ্রেণিবিন্যাস, এবং বেঁচে থাকার বিশ্লেষণ (বা কমপক্ষে বিতরণে কোনও ইঙ্গিত থাকলে কমপক্ষে বিপদ ফাংশন গণনা) করতে ব্যবহার করা যেতে পারে।

এলিথের কাগজটি অস্পষ্টভাবে পরিচিত বলে মনে হয় (আমি মনে করি আমি গত গ্রীষ্মে এটি জিবিএম-বান্ধব ভিজ্যুয়ালাইজেশন পদ্ধতির দিকে নজর রেখেছিলাম) এবং, স্মৃতি যদি সঠিকভাবে উপস্থাপিত হয় তবে এটি gbmগ্রন্থাগারের একটি প্রসারিত বৈশিষ্ট্য দেখায় , রিগ্রেশন-এর জন্য স্বয়ংক্রিয় মডেল টিউনিংয়ের উপর দৃষ্টি নিবদ্ধ করে (গাউসী বিতরণ হিসাবে) , দ্বিপদী নয়) অ্যাপ্লিকেশন এবং উন্নত প্লট উত্পাদন। আমি কল্পনা করেছিলাম যে আরবিটি নামকরণটি সেখানে মডেলিংয়ের কৌশলটির প্রকৃতি ব্যাখ্যা করতে সহায়তা করে, যেখানে জিবিএম আরও সাধারণ।

আশা করি এটি কয়েকটি বিষয় পরিষ্কার করতে সহায়তা করে।