রিগ্রেশন বিশ্লেষণে লাসো কী?


81

আমি লাসোর একটি প্রযুক্তিগত সংজ্ঞা এবং এটির জন্য কী ব্যবহার করা হচ্ছে তা সন্ধান করছি।


রবার্ট তিবশিরানির (মূল লাসো পেপারের লেখক) পৃষ্ঠা থেকে: লাসো এবং ন্যূনতম অ্যাঙ্গেল রিগ্রেশন সম্পর্কিত একটি সহজ ব্যাখ্যা ।

উত্তর:


112

লাসো (সর্বনিম্ন সংক্ষিপ্ত সঙ্কোচন এবং নির্বাচন অপারেটর) একটি রিগ্রেশন পদ্ধতি যা রিগ্রেশন সহগের নিখুঁত আকারকে দণ্ডিত করে।

জরিমানা করে (বা সমানভাবে অনুমানের নিখুঁত মানের যোগফলকে সীমাবদ্ধ করে) আপনি এমন পরিস্থিতিতে পৌঁছান যেখানে প্যারামিটারের কিছু অনুমান হ'ল শূন্য হতে পারে। যত বড় জরিমানা প্রয়োগ করা হয় ততই আরও অনুমানগুলি শূন্যের দিকে সঙ্কুচিত হয়।

যখন আমরা কিছু স্বয়ংক্রিয় বৈশিষ্ট্য / পরিবর্তনশীল নির্বাচন চাই বা উচ্চতর সম্পর্কিত সম্পর্কিত পূর্বাভাসকারীদের সাথে কাজ করি তখন এটি সুবিধাজনক হয় যেখানে স্ট্যান্ডার্ড রিগ্রেশনটিতে সাধারণত 'খুব বড়' রিগ্রেশন সহগ থাকে।

https://web.stanford.edu/~hastie/ElemStatLearn/ (ফ্রি ডাউনলোড) এর লাসো এবং সম্পর্কিত পদ্ধতিগুলির একটি ভাল বর্ণনা রয়েছে।


আমি সাইটে নতুন; এটি হ'ল তথ্য যা আমি সন্ধান করছিলাম; অনেক ধন্যবাদ.
— পল ভোগট

দ্বৈত সমস্যা ব্যবহার করে কীভাবে এটি সমাধান করবেন সে সম্পর্কে কোনও পিডিএফ আছে?
— রয়ি 3'15

লিঙ্কটি নষ্ট হয়েছে
— অলিভার অ্যাঞ্জেলিল

3

লাসো রিগ্রেশন একধরণের রিগ্রেশন বিশ্লেষণ যা ভেরিয়েবল নির্বাচন এবং নিয়ন্ত্রন উভয়ই একই সাথে ঘটে। এই পদ্ধতিটি একটি পেনাল্টি ব্যবহার করে যা তাদের প্রতিরোধের সহগের মানকে প্রভাবিত করে। পেনাল্টি বৃদ্ধি পাওয়ার সাথে সাথে আরও সহগ গুণগুলি শূন্য এবং তদ্বিপরীত হয়। এটি এল 1 নরমালাইজেশন কৌশল ব্যবহার করে যাতে সংকোচন পরিমাণ হিসাবে টিউনিং প্যারামিটার ব্যবহার করা হয়। টিউনিং প্যারামিটার বাড়ার সাথে সাথে পক্ষপাত বাড়তে থাকে এবং যেমন হ্রাস হয় ততই ভেরিয়েন্স বৃদ্ধি পায়। যদি এটি স্থির থাকে তবে কোনও সহগগুলি শূন্য নয় এবং যেমন অনন্তের দিকে ঝোঁক থাকে তবে সমস্ত সহগটি শূন্য হবে।


2

"স্বাভাবিক" রিগ্রেশন (ওএলএস) তে লক্ষ্যটি হ'ল সহগের অনুমানের জন্য স্কোয়ারের অবশিষ্টাংশগুলি (আরএসএস) হ্রাস করা to

argminβ∈আরপিΣআমি=1এন(ওয়াইআমি-Σঞ=1পিএক্সআমিঞβঞ)2

লাসো রিগ্রেশনের ক্ষেত্রে আপনি সহগের কিছুটা আলাদা পদ্ধতির সাথে অনুমান করেন:

argminβ∈আরপিΣআমি=1এন(ওয়াইআমি-Σঞ=1পিএক্সআমিঞβঞ)2+ +λΣঞ=1পি|βঞ|

λλ

λ=0argminλ=1λসহগের উপর আরও বেশি জরিমানা প্রয়োগ করা হবে এবং ছোটটি সহগ হবে, কিছু শূন্য হতে পারে। তার মানে লাসো বৈশিষ্ট্য নির্বাচন করে পার্সিমোনিয়াস মডেলগুলির ফলাফল করতে পারে এবং এটি মডেলকে ওভারফিট করা থেকে বাধা দেয়। এটি বলেছিল, আপনার অনেক বৈশিষ্ট্য থাকলে আপনি লাসোটি ব্যবহার করতে পারেন এবং আপনার লক্ষ্যটি আপনার মডেলের সহগগুলি ব্যাখ্যা করার চেয়ে ডেটা পূর্বাভাস দেওয়া।


1
আপনার উত্তর (+1) জন্য ধন্যবাদ। এই সাইটটি সমর্থন করেটিইএক্সটিইএক্স

@ টিম: এর জন্য আপনাকে অনেক ধন্যবাদ! এটি কীভাবে সম্পন্ন হয়েছে তা দেখতে এটি সম্পাদনা ক্লিক করার দুর্দান্ত পরামর্শ ছিল।
— পাথর
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.