ফলাফলগুলি কীভাবে ব্যাখ্যা করতে হয় যখন উভয় রিজ এবং লাসো পৃথকভাবে ভাল সম্পাদন করে তবে বিভিন্ন সহগ উত্পাদন করে


11

আমি লাসো এবং রিজ উভয়ের সাথেই একটি রিগ্রেশন মডেল চালাচ্ছি (0-5 এর মধ্যে একটি পৃথক ফলাফলের পরিবর্তনশীল ভবিষ্যদ্বাণী করতে)। মডেলটি চালানোর আগে, আমি বৈশিষ্ট্যটি সেটটি 250 থেকে 25 এ হ্রাস করার SelectKBestপদ্ধতি ব্যবহার করি । প্রাথমিক বৈশিষ্ট্য নির্বাচন ছাড়া লাসো এবং রিজ উভয়ই যথাযথ স্কোরকে কমিয়ে দেয় [যা ছোট নমুনার আকারের কারণে হতে পারে 600০০]] এছাড়াও লক্ষ করুন যে কয়েকটি বৈশিষ্ট্য পারস্পরিক সম্পর্কযুক্ত।scikit-learn

মডেলটি চালানোর পরে, আমি পর্যবেক্ষণ করেছি যে পূর্বাভাসের সঠিকতা লাসো এবং রিজের সাথে প্রায় একই রকম। যাইহোক, আমি যখন সহগের সম্পূর্ণরূপে মান দ্বারা অর্ডার করার পরে প্রথম 10 টি বৈশিষ্ট্য পরীক্ষা করি, তখন আমি দেখতে পাই যে সেখানে সর্বাধিক% 50 ওভারল্যাপ রয়েছে।

এটি হ'ল প্রতিটি পদ্ধতি অনুসারে বৈশিষ্ট্যের বিভিন্ন গুরুত্ব দেওয়া হয়েছিল, আমি যে মডেলটি পছন্দ করি তার উপর আমার সম্পূর্ণ ভিন্ন ব্যাখ্যা থাকতে পারে।

সাধারণত, বৈশিষ্ট্যগুলি কোনও ওয়েবসাইটে ব্যবহারকারীর আচরণের কিছু দিক উপস্থাপন করে। অতএব, আমি শক্তিশালী ভবিষ্যদ্বাণীমূলক দক্ষতা বনাম দুর্বল বৈশিষ্ট্যগুলি (ব্যবহারকারীর আচরণ) সহ বৈশিষ্ট্যগুলি (ব্যবহারকারীর আচরণ) হাইলাইট করে ফলাফলগুলি ব্যাখ্যা করতে চাই। তবে এই মুহুর্তে কীভাবে এগিয়ে যেতে হবে তা আমার জানা নেই। মডেলটির ব্যাখ্যা দেওয়ার জন্য আমার কীভাবে যোগাযোগ করা উচিত? উদাহরণস্বরূপ, উভয়কে একত্রিত করা এবং ওভারল্যাপিং একটিকে হাইলাইট করা উচিত, বা লাসোর সাথে আরও বেশি ব্যাখ্যা করার কারণেই আমার সাথে যাওয়া উচিত?


3
(+1) নতুন প্রতিক্রিয়ার পূর্বাভাস দেওয়ার ক্ষেত্রে তাদের যৌথ কর্মক্ষমতা উন্নত করার সময় নিয়মিতকরণকে পৃথক সহগের অনুমানকে আরও খারাপ করে দেখা যায়। আপনি আপনার ব্যাখ্যা দিয়ে কী অর্জন করার চেষ্টা করছেন?
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

1
@ স্কার্টচি সাড়া দেওয়ার জন্য ধন্যবাদ। আমি এটি যুক্ত করেছিNormally, the features represent some aspects of user behavior in a web site. Therefore, I want to explain the findings by highlighting the features (user behaviors) with stronger predictive ability vs weaker features (user behaviors) .
রেনাক্রে

3
+1 আফাইক রিজ সহগ এবং ল্যাম্বদার মধ্যে সম্পর্ক একঘেয়ে হতে হবে না, যদিও লাসোতে এটি। সুতরাং, নির্দিষ্ট সংকোচনের স্তরে রিজ এবং লসোর সহগের সম্পূর্ণ মূল্য অনেক বেশি হতে পারে। এই কথাটি বলে, আমি যদি কৃতজ্ঞ যে কেউ যদি এর একটি প্রমাণ স্কেচ করতে পারে বা শীঘ্রই এটি গাণিতিকভাবে ব্যাখ্যা করতে পারে
Łukasz Grad

নিশ্চিত করুন যে আপনি "বিটা" সহগগুলি বাছাই করছেন। Stats.stackexchange.com/a/243439/70282 দেখুন আপনি মানক ভেরিয়েবলগুলি প্রশিক্ষণ দিয়ে বা পরে লিঙ্কে বর্ণিত হিসাবে সামঞ্জস্য করে পেতে পারেন।
ক্রিস

1
λ

উত্তর:


7

রিজ রিগ্রেশন সমস্ত সহগকে ছোট হওয়ার জন্য উত্সাহ দেয়। লাসো অনেক / সর্বাধিক [**] সহগকে শূন্য এবং কিছু অ-শূন্য হতে উত্সাহ দেয়। উভয়ই প্রশিক্ষণের সেটটিতে যথার্থতা হ্রাস করবে, তবে কোনওভাবে ভবিষ্যদ্বাণীকে উন্নত করবে:

  • রিজ রিগ্রেশন ওভারফিট হ্রাস করে টেস্টিং সেটটিতে সাধারণীকরণের উন্নতি করার চেষ্টা করে
  • লাসো শূন্য-সহগের সংখ্যা কমিয়ে দেবে, এমনকি যদি এটি উভয় প্রশিক্ষণ এবং পরীক্ষার সেটগুলিতে পারফরম্যান্সকে শাস্তি দেয়

আপনার ডেটা অত্যন্ত সংযুক্ত থাকলে আপনি সহগের বিভিন্ন পছন্দ পেতে পারেন get সুতরাং, আপনার 5 টি বৈশিষ্ট্য থাকতে পারে যা সম্পর্কিত হয়:

  • এই সমস্ত বৈশিষ্ট্যগুলিকে ছোট কিন্তু অ-শূন্য সহগকে নির্ধারণের মাধ্যমে, রিজ রিগ্রেশন প্রশিক্ষণ সংস্থায় কম ক্ষতি অর্জন করতে পারে, যা সম্ভবত পরীক্ষার সেটকে সাধারণভাবে কার্যকর করতে পারে
  • লাসো এইগুলির মধ্যে একটি মাত্র একটি বেছে নিতে পারে, যা অন্য চারটির সাথে ভালভাবে সংযুক্ত থাকে। এবং রিজ রিগ্রেশন সংস্করণে সর্বোচ্চ সহগ সহ বৈশিষ্ট্যটি বেছে নেওয়ার কোনও কারণ নেই

[*] 'চয়ন' অর্থের সংজ্ঞায়নের জন্য: একটি শূন্য-সহগকে নির্ধারণ করে, যা এখনও কিছুটা হাত বোলানো, যেহেতু রিজ রিগ্রেশন সহগতিগুলি সমস্তই শূন্য নয়, তবে উদাহরণস্বরূপ কিছু 1e-8 এর মতো হতে পারে , এবং অন্যদের উদাহরণ হতে পারে 0.01

λ


ভাল পরামর্শ। পারস্পরিক সম্পর্ক ম্যাট্রিক্স করার জন্য একটি ভাল চেক আউট। অ-ওভারল্যাপিং ভেরিয়েবলগুলি খুব বেশি সংযুক্ত হতে পারে।
ক্রিস

3
ভাল উত্তর! যাইহোক, আমি নিশ্চিত নই যে লসোর জন্য একই কথা না বলায় রিজ সর্বজনীনভাবে পরীক্ষামূলক পারফরম্যান্সকে আরও বাড়িয়ে তোলার চেষ্টা করে বলে মনে করা উপযুক্ত suggest উদাহরণস্বরূপ, সত্যিকারের মডেলটি যদি কমই থাকে (এবং আমাদের ভবিষ্যদ্বাণীকারীদের
সাবসেটে

এটি 'স্পর্শের উপর বাজি' নীতি। উদাহরণস্বরূপ, এখানে প্রথম প্লট দেখুন: অনুষদ .bscb.cornell.edu
~

2
তথ্যের একাধিক বুটস্ট্র্যাপ নমুনাগুলির মধ্যে চলক পছন্দগুলির (লাসো) এবং রিগ্রেশন সহগের তুলনাগুলি এই বিষয়গুলি সুন্দরভাবে চিত্রিত করতে পারে। পারস্পরিক সম্পর্কযুক্ত ভবিষ্যদ্বাণীগুলির সাথে, লাসো বিভিন্ন বুটস্ট্র্যাপগুলি থেকে বেছে নেওয়া একইরকম ভবিষ্যদ্বাণীপূর্ণ কার্য সম্পাদন করার সময় একেবারেই আলাদা হতে পারে। আদর্শভাবে, প্রাথমিক বৈশিষ্ট্য-সেট হ্রাস সহ পুরো মডেল-বিল্ডিং প্রক্রিয়াটি প্রক্রিয়াটির মানের ডকুমেন্ট করার জন্য একাধিক বুটস্ট্র্যাপে পুনরাবৃত্তি করা উচিত।
এডিএম

λ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.