লজিস্টিক রিগ্রেশন এবং এলোমেলো বনের ফলাফলগুলি কীভাবে একত্রিত করবেন?


12

আমি মেশিন লার্নিংয়ে নতুন। আমি একই ডেটাসেটে লজিস্টিক রিগ্রেশন এবং এলোমেলো বন প্রয়োগ করেছি। সুতরাং আমি পরিবর্তনশীল গুরুত্ব (লজিস্টিক রিগ্রেশন জন্য নিখুঁত সহগ এবং এলোমেলো বনের জন্য পরিবর্তনশীল গুরুত্ব) পাই। আমি চূড়ান্ত পরিবর্তনশীল গুরুত্ব পেতে দুটিকে একত্রিত করার জন্য ভাবছি। কেউ কি তার অভিজ্ঞতা শেয়ার করতে পারবেন? আমি ব্যাগিং, বুস্টিং, ইনসাম্বল মডেলিং পরীক্ষা করে দেখেছি তবে তারা আমার যা প্রয়োজন তা নয়। তারা প্রতিলিপি জুড়ে একই মডেলের জন্য তথ্য একত্রিত আরও। আমি যা খুঁজছি তা হ'ল একাধিক মডেলের ফলাফল একত্রিত করা।


5
এনসেম্বল মডেলিং মডেলগুলিকে একত্রিত করতে পারে। উদাহরণস্বরূপ সংখ্যাগরিষ্ঠ ভোটদানের দিকে নজর দিন। এছাড়াও দেখুন, স্ট্যাকিং।
প্যাট

4
আসলে, সহগের আকার ব্যবহার করা লজিস্টিক রিগ্রেশনে "পরিবর্তনশীল গুরুত্ব" নির্ধারণের জন্য ভাল উপায় নয়। এমনকি যদি আপনি মানক সহগগুলি দেখুন তবে এটি কোনও ভাল পদ্ধতি নয়। কেন? মনে রাখবেন যে সহগগুলি কেবল অনুমান এবং তাদের সাথে যুক্ত একটি ত্রুটি। আকার অনুসারে সহগ বাছাই করার অর্থ হ'ল আপনি যেগুলি সহগের আকারের চেয়ে বেশি-অনুমান করেছেন এবং সেইগুলি ফেলেছেন যার জন্য আপনি সহগের আকারের তুলনায় কম অনুমান করেছেন।
user765195

উত্তর:


12

এটি সম্ভবত আপনি কী জন্য পরিবর্তনশীল আমদানি ব্যবহার করতে চান তার উপর নির্ভর করে। এটি কি তৃতীয় শ্রেণিবিন্যাসের মডেলটির জন্য বৈশিষ্ট্য নির্বাচনের মানদণ্ড হিসাবে ব্যবহৃত হবে? সেক্ষেত্রে আপনি বিভিন্ন মান এবং গড় ওজনের গড় ওজনের জন্য ভেরিয়েবল আমদানিগুলি (সম্ভবত প্রতিটি পৃথক পরিবর্তনশীল গুরুত্ব ভেক্টরকে ইউনিট দৈর্ঘ্যতে স্বাভাবিক করার পরে) গণনা করার চেষ্টা করতে পারেন এবং তারপরে ফাইনালের জন্য সেরা ক্রস-বৈধিত স্কোর অর্জনকারী মানটি বেছে নিতে পারেন মডেল.

লজিস্টিক রিগ্রেশন মডেল এবং এলোমেলো বন মডেল (পরিবর্তনশীল আমদানি বিবেচনা না করে) এর ফলাফলের সংমিশ্রণের জন্য, নিম্নলিখিত ব্লগ পোস্টটি খুব তথ্যবহুল এবং প্রমাণ করে যে আউটপুটটির একক গড় গড়ে তোলা রিগ্রেশন মডেলগুলির জন্য একটি সহজ তবে খুব কার্যকর জড়ো পদ্ধতি।


1
ধন্যবাদ তোমার উত্তরের জন্য. আপনার উল্লিখিত ব্লগটি সত্যই আকর্ষণীয় অধ্যয়ন। আমি ধারণা পেয়েছি। কেবল উদ্বেগ তার ক্রস এনট্রপি সূত্র। আমি অনলাইনে যেটি খুঁজে পেয়েছি তার সাথে এটি আলাদা বলে মনে হচ্ছে। তার ব্যবহার: ক্রস.এন্ট্রপি <- ফাংশন (লক্ষ্য, পূর্বাভাস) icted পূর্বাভাস = পিএমএক্স (1e-10, pmin (1-1e-10, পূর্বাভাস)) - যোগফল (লক্ষ্য * লগ (পূর্বাভাস) + (1 - লক্ষ্য) * লগ (1 - পূর্বাভাস)}
ব্যবহারকারী 1946504

2
এবং যখন আমি আমার নিজস্ব ডেটাসেটে একই ধারণাটি প্রয়োগ করেছি, তখন আমি মানদণ্ড হিসাবে ভুল সংশোধন ত্রুটি ব্যবহার করেছি, প্লটটি তেমন কিছুই নয়। র্যান্ডম অরণ্য লজিস্টিক রিগ্রেশন থেকে অনেক ভাল পরিণত হয়। আরএফ এর ভুল শ্রেণিবিন্যাস ত্রুটি 0.2, এলআর 0.4 হয় 0 একই সময়ে, আরএফের জন্য এউসি 0.8, এলআরের জন্য 0.73।
ব্যবহারকারী 1946504

5

(উপরের প্রতিক্রিয়া এবং প্রতিক্রিয়া সম্পর্কে মন্তব্য করা)

ব্লগ পড়ার জন্য ধন্যবাদ!

লস ফাংশনগুলিতে ত্রুটি প্রতিরোধের একটি সস্তা এবং সহজ উপায় হিসাবে ক্রস-এন্ট্রপি ত্রুটি ফাংশনটিতে কিছুটা প্রতারণা রয়েছে, [1e-10, 1-1e-10] এর পূর্বাভাসিত মানগুলি ছাঁটাই করা হয়। অন্যথায়, এটি স্ট্যান্ডার্ড সূত্র।

ডেটাসেটের জন্য, ডেটাসেটগুলি পাওয়া খুব সম্ভব যেখানে একটি লগের চেয়ে এলোমেলো বন একটি উচ্চতর। REG। এবং লগ। REG। টীকাগুলিতে কিছুই জুড়েনি। অবশ্যই নিশ্চিত হয়ে নিন যে আপনি হোল্ড-আউট ডেটা ব্যবহার করছেন - অনেক বেশি কার্যকর পরামিতি থাকার কারণে এলোমেলো বনের প্রায় সবসময় প্রশিক্ষণের ডেটাতে উচ্চতর ফলাফল হবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.