জমায়েত পদ্ধতিগুলি কীভাবে তাদের সমস্ত উপাদানকে ছাপিয়ে যায়?

Question

জমায়েত শিখন সম্পর্কে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছি। সংক্ষেপে, এটি কে মডেল চালায় এবং এই কে মডেলগুলির গড় পায়। কীভাবে গ্যারান্টি দেওয়া যায় যে কে মডেলগুলির গড়পড়তা নিজেরাই মডেলগুলির তুলনায় ভাল হবে? আমি বুঝতে পারি যে পক্ষপাতটি "ছড়িয়ে পড়ে" বা "গড়" হয়। যাইহোক, যদি এনামেবলে দুটি মডেল থাকে (অর্থাত্ কে = 2) এবং এর মধ্যে একটির তুলনায় অন্যটি খারাপ হয় - তবে নকশাকৃত পোশাকগুলি কি আরও ভাল মডেলের চেয়ে খারাপ হতে পারে না?

Comments

স্ট্যাকিং সম্পর্কিত: স্ট্যাকিং: আরও বেস ক্লাসিফায়ারগুলি কি সর্বদা নির্ভুলতার উন্নতি করে?

— ফ্রাঙ্ক ডারননকোর্ট

এই থ্রেডটি আমার আগ্রহী, তবে এর উত্তরের চেয়ে আরও বেশি প্রশ্ন উত্থাপন করেছে। আমরা কী ব্যবহার করছি এই সমস্ত শব্দকে আরও কঠোরভাবে সংজ্ঞায়িত করতে আমরা আরও কিছুটা more ব্যবহার করতে পারি? $\LaTeX$

— টেলর

Answer 1

এটির নিশ্চয়তা নেই। আপনি যেমনটি বলেছিলেন, নকশাটি পৃথক মডেলের চেয়েও খারাপ হতে পারে। উদাহরণস্বরূপ, সত্যিকারের মডেল এবং একটি খারাপ মডেলের গড় নেওয়া মোটামুটি খারাপ মডেল দেয়।

মডেলগুলির একে অপরের থেকে স্বতন্ত্র (মডেলগুলি) কিছুটা স্বাধীন হলে কেবলমাত্র মডেলের গড়পড়তা কেবল উন্নতি হতে চলেছে। উদাহরণস্বরূপ, ব্যাগিংয়ে প্রতিটি মডেল ডেটাগুলির এলোমেলো উপসেট থেকে তৈরি করা হয়, তাই কিছু স্বাধীনতা অন্তর্নির্মিত হয় models$k$

এছাড়াও, পৃথক মডেলগুলির উচ্চতর বৈকল্পিকতা থাকলে কেবল মডেলের গড় ভাল কাজ করে। এ কারণেই খুব বড় বড় গাছ ব্যবহার করে একটি এলোমেলো বন তৈরি করা হয়। অন্যদিকে, একত্রে লিনিয়ার রিগ্রেশন মডেল গড়ে তুলতে আপনাকে একটি রৈখিক মডেল দেয় যা আপনি শুরু করেছেন এমন মডেলগুলির চেয়ে ভাল হওয়ার সম্ভাবনা নেই (এটি চেষ্টা করুন!)

অন্যান্য সংগ্রহের পদ্ধতি যেমন বুস্টিং এবং ব্লেন্ডিং, পৃথক মডেলগুলির আউটপুটগুলি প্রশিক্ষণ ডেটার সাথে একত্রে একটি বড় মডেলের ইনপুট হিসাবে নিয়ে কাজ করে। এই ক্ষেত্রে, এটি আশ্চর্যজনক নয় যে তারা প্রায়শই পৃথক মডেলগুলির চেয়ে ভাল কাজ করে, যেহেতু তারা আসলে আরও জটিল, এবং তারা এখনও প্রশিক্ষণের ডেটা ব্যবহার করে।

Comments

আপনি কি বোঝাতে চাইছেন না যে আরএফ বড় বৈচিত্র্য অর্জনের জন্য প্রচুর পরিমাণে গাছ ব্যবহার করে? আমি আশা করছিলাম যে গাছগুলি বড় হওয়ার সাথে সাথে তাদের বেশিরভাগ বৈশিষ্ট্য বিস্তৃত হবে এবং মডেলগুলির মধ্যে পার্থক্য হ্রাস পাবে।

— ইটামার

না, @ ফ্লাউন্ডারিয়ারটি সঠিক। সিদ্ধান্ত গাছগুলিকে অস্থির মডেল বলা হয়। আপনি যদি কিছুটা ডেটা পরিবর্তন করেন তবে আপনি খুব আলাদা গাছ পাবেন। এলোমেলো বন মানে তাদের স্থিতিশীল করা। আপনি যদি ডেটার সামান্য ভিন্ন নমুনা সহ দুটি আরএফ প্রশিক্ষণ দেন তবে তারা অনুরূপ মডেল তৈরি করবে।

— রিকার্ডো ক্রুজ 23

"একগুচ্ছ লিনিয়ার রিগ্রেশন মডেল গড়ে এখনও আপনাকে একটি রৈখিক মডেল দেয়" <- এখানে গড় গড় বলতে কী বোঝ? এছাড়াও আপনি কোন বৈকল্পিকতার কথা বলছেন?

— টেলর

Answer 2

আপনার উদাহরণে, দুটি মডেলের আপনার সংযোজন একটি একক মডেলের চেয়েও খারাপ হতে পারে। তবে আপনার উদাহরণটি কৃত্রিম, আমরা সাধারণত আমাদের পোশাকের মধ্যে দুটিরও বেশি তৈরি করি।

কোনও নকশাকৃত মডেল কোনও পৃথক মডেলের চেয়ে ভাল পারফরম্যান্সের কোনও গ্যারান্টি নেই, তবে আপনি যদি এর মধ্যে অনেকগুলি তৈরি করেন এবং আপনার পৃথক শ্রেণিবদ্ধ দুর্বল । আপনার সামগ্রিক পারফরম্যান্স পৃথক মডেলের চেয়ে ভাল হওয়া উচিত।

মেশিন লার্নিংয়ে, একাধিক মডেলকে প্রশিক্ষণ সাধারণভাবে একটি একক মডেলকে প্রশিক্ষণ দেয়। কারণ আপনার টিউন করার জন্য আরও বেশি প্যারামিটার রয়েছে।

Answer 3

আমি কেবল এই প্রসঙ্গে খুব কম আলোচনা করা কিছু ফেলে দিতে চাই এবং এটি আপনাকে চিন্তার জন্য খাবার দেওয়া উচিত।

উপহারও মানুষের সাথে কাজ করে!

দেখা গেছে যে গড় মানুষের ভবিষ্যদ্বাণীগুলি কোনও পৃথক পূর্বাভাসের চেয়ে ভাল পূর্বাভাস দেয়। এটি জনতার বুদ্ধি হিসাবে পরিচিত ।

এখন, আপনি তর্ক করতে পারেন যে এটি কারণ কিছু লোকের বিভিন্ন তথ্য থাকে, তাই আপনি কার্যকরভাবে তথ্য গড় করছেন। তবে না, এটি কোনও জারে শিমের সংখ্যা অনুমান করার মতো কাজের জন্যও সত্য।

এটিতে প্রচুর বই এবং পরীক্ষাগুলি লেখা রয়েছে এবং ঘটনাটি এখনও গবেষকদের ধাঁধা দেয়।

এটি বলা হচ্ছে, যেমন @ ফ্লাউন্ডারিয়ার উল্লেখ করেছেন, বাস্তব লাভগুলি সিদ্ধান্ত গাছের মতো তথাকথিত অস্থির মডেলগুলি থেকে আসে, যেখানে প্রতিটি পর্যবেক্ষণ সাধারণত সিদ্ধান্তের সীমানায় প্রভাব ফেলে। এসভিএমগুলির মতো আরও স্থিতিশীলগুলি ততটা লাভ করে না কারণ পুনরায় মডেলিং করা সাধারণত সমর্থন ভেক্টরকে বেশি প্রভাবিত করে না।

Comments

এ কারণেই আমি সবসময় এমন লোকদের নিয়োগের চেষ্টা করতাম যারা আমার মতো ছিল না। নমনীয় এবং কার্যকর দল গঠনের জন্য ভাল পরামর্শ।

— ম্যাথু ড্রুরি

Answer 4

নকশাগুলি থেকে ভাল হওয়া একক মডেলগুলির পক্ষে আসলে বেশ সম্ভব।

আপনার ডেটাতে এমন কোনও পয়েন্ট না থাকলেও যেখানে আপনার কয়েকটি মডেল অতিরিক্ত বিবেচনাধীন এবং কিছুটি অবমূল্যায়ন করছে (সেক্ষেত্রে আপনি আশা করতে পারেন যে গড় ত্রুটি উপেক্ষিত হবে), বেশ কয়েকটি জনপ্রিয় লোকস ফাংশন (যেমন স্কোয়ার ক্ষতি হিসাবে) শাস্তি দিচ্ছে কিছু সংখ্যক মাঝারি বিচ্যুতির চেয়ে একক বড় বিচ্যুতি। যদি আপনার গড় গড় মডেলগুলি কিছুটা আলাদা হয় তবে আপনি আশা করতে পারেন যে গড় বকেয়া বিচ্যুতি হত্যার ফলে বৈকল্পিকতা "কম" হয়ে যায়। সম্ভবত এটি সঙ্গে ব্যাখ্যাযোগ্য হয় যে ।

Answer 5

হ্যাঁ, এটি হতে পারে তবে একত্রিত হওয়ার ধারণাটি হ'ল বিভিন্ন নকশাগুলি থেকে ডেটা বিভিন্ন বৈশিষ্ট্য ক্যাপচার করার সময় ওভার ফিটিং এড়াতে সহজ মডেলদের প্রশিক্ষণ দেওয়া। অবশ্যই একই প্রশিক্ষণের ডেটা দিয়ে প্রশিক্ষিত হয়ে একটি একক মডেলকে ছাড়িয়ে যাওয়ার জন্য কোনও নকশাকৃত মডেলের কোনও গ্যারান্টি নেই। ছড়িয়ে পড়া মডেলগুলির সংমিশ্রণ এবং বুস্টিং (উদাহরণস্বরূপ অ্যাডাবোস্ট) দ্বারা আউটপ্রেমেন্স অর্জন করা যায়। প্রতিটি ডেটা পয়েন্টের ওজন নির্ধারণ করে এবং ত্রুটি অনুসারে আপডেট করে আপনি প্রতিটি পরবর্তী এনসেমেল মডেলকে প্রশিক্ষণ দিয়ে। সুতরাং এটি একটি সমন্বিত বংশদ্ভুত অ্যালগরিদম হিসাবে মনে করুন, এটি ধ্রুবক গড়ের গড় মডেল জটিলতা বজায় রেখে প্রতিটি পুনরাবৃত্তির সাথে প্রশিক্ষণ ত্রুটিটি নীচে যেতে দেয়। সামগ্রিকভাবে এটি পারফরম্যান্সের উপর প্রভাব ফেলে। এখানে অনেক