LARS বনাম লাসোর জন্য স্থায়ী বংশোদ্ভূত


13

L1- নিয়মিত লিনিয়ার রিগ্রেশন ফিটিংয়ের জন্য স্থানাঙ্ক বংশোদ্ভূত ব্যবহারের তুলনায় LARS [1] ব্যবহারের পক্ষে কি কি?

আমি মূলত পারফরম্যান্সের দিকগুলিতে আগ্রহী (আমার সমস্যাগুলি Nকয়েক হাজার এবং p<20 এর মধ্যে থাকে) তবে তবে অন্য কোনও অন্তর্দৃষ্টিও প্রশংসা হবে।

সম্পাদনা: যেহেতু আমি প্রশ্ন পোস্ট করেছি, চিএল ফ্রেডম্যান এট আল দ্বারা একটি কাগজ [2] বিনয় সহকারে দেখিয়েছেন যেখানে স্থানাঙ্কন বংশোদ্ভূত অন্যান্য পদ্ধতির তুলনায় বেশ দ্রুত গতিতে দেখানো হয়েছে। যদি এটি হয়, তবে আমি একজন চিকিত্সক হিসাবে স্থায়ী বংশদ্ভুত পক্ষে LARS সম্পর্কে কেবল ভুলে যাওয়া উচিত?

[1] ইফ্রন, ব্র্যাডলি; হস্টি, ট্রেভর; জনস্টোন, আইয়ন এবং তিবশিরানী, রবার্ট (2004)। "কমপক্ষে অ্যাঙ্গেল রিগ্রেশন"। পরিসংখ্যানসমূহের 32 (2): পিপি 407–499।
[২] জেরোম এইচ। ফ্রেডম্যান, ট্রেভর হ্যাসিটি, রব তিবশিরানী, "জেনারেলাইজড লিনিয়ার মডেলের মাধ্যমে সমন্বিত বংশদ্ভুতের জন্য নিয়মিতকরণের পথ", পরিসংখ্যান সংক্রান্ত সফটওয়্যার, খণ্ড। 33, সংখ্যা 1, ফেব্রুয়ারী 2010।

উত্তর:


13

বিজ্ঞান-শিখতে স্থায়ী বংশদ্ভুত সহ লাসোর প্রয়োগ আমাদের LARS বাস্তবায়নের চেয়ে দ্রুততর হতে থাকে যদিও ছোট পি (যেমন আপনার ক্ষেত্রে) তারা মোটামুটি সমান (লারস এমনকি সাম্প্রতিকতম অপ্টিমাইজেশনে উপলব্ধ আরও কিছুটা দ্রুত হতে পারে) মাস্টার রেপো)। অধিকতর স্থানাঙ্ক বংশোদ্ভূত স্থিতিস্থাপক নেট নিয়মিত সমস্যাগুলির কার্যকর প্রয়োগের জন্য অনুমতি দেয়। এটি লারসের ক্ষেত্রে নয় (এটি কেবল লাসো, ওরফে এল 1 দণ্ডিত সমস্যাগুলি সমাধান করে)।

ইলাস্টিক নেট পেনালাইজেশন লাসোর (তদারকিত বৈশিষ্ট্য নির্বাচন) চমৎকার স্পারসিটি প্ররোচিত বৈশিষ্ট্যগুলি রাখার সময় লাসোর (রিজ রিগ্রেশনটির সমাধানের সমাধানের কাছাকাছি) থেকে আরও ভাল সাধারণীকরণের ঝোঁক দেয়।

বৃহত্তর এন (এবং বৃহত পি, বিচ্ছিন্ন বা না) এর জন্য আপনি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত (এল 1 বা ইলাস্টিক নেট পেনাল্টি সহ) একটি চেষ্টাও করতে পারেন (বিজ্ঞান-শিখেও প্রয়োগ করা হয়েছে)।

সম্পাদনা করুন : লাসোএলআরএস এবং স্কাইকিট-লার্নে সমন্বিত বংশদ্ভুত বাস্তবায়ন তুলনা করার জন্য এখানে কিছু মানদণ্ড রয়েছে


(+1) @ogrisel অনেক ধন্যবাদ! যেহেতু আমি সম্ভবত এটিকে নিজের কোড করে ফেলব (জাভাতে এটি প্রয়োজন, এবং এখনও কোনও মুক্ত-উত্স জাভা বাস্তবায়ন দেখা যায়নি), আপনি কোন অ্যালগরিদমটি বলবেন এটি কার্যকর করা সহজ?
এনপিই

1
সমন্বিত বংশোদ্ভূত এবং এসজিডি উভয়ই কার্যকর করা সহজ (এসজিডির একটি দুর্দান্ত পরিচয়ের জন্য লিওন বোটোয়ের ওয়েবপৃষ্ঠাটি দেখুন)। LARS ডান পেতে সম্ভবত কৌশলযুক্ত।
ogrisel

দুর্দান্ত, ধন্যবাদ! আমি লোন বোটোর সাইটটি পরীক্ষা করে দেখব।
এনপিই

@ogrisel (+1) আপনাকে সেখানে দেখতে ভাল লাগল।
chl

2
@ অ্যাক্স আমি বিজ্ঞান-শিখায় বর্তমান বাস্তবায়নের বিষয়ে কিছু মানদণ্ড যুক্ত করার জন্য আমার উত্তর সম্পাদনা করেছি। এছাড়াও চেকআউট liblinear জাভা সংস্করণ আপনার নিজের তুল্য বংশদ্ভুত বাস্তবায়নে আগের মতই এটা আপনার জন্য ভাল যথেষ্ট হতে পারে (যদিও আপনি একই সময়ে উভয় L1 ও L2 REG থাকতে পারে না)।
ogrisel
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.