সবচেয়ে কম কোণ রিগ্রেশন বনাম লাসো o

Question

স্বল্প-কোণে রিগ্রেশন এবং লাসো খুব একই নিয়মিত পাথ তৈরি করতে পারে (যখন সহগ শূন্যকে ছাড়িয়ে যায় তখন অভিন্ন))

এটি উভয়ই কার্যত অভিন্ন অ্যালগরিদমে দক্ষতার সাথে ফিট করতে পারেন।

অন্য পদ্ধতির চেয়ে কোনও পদ্ধতির পছন্দ করার জন্য কি কখনও ব্যবহারিক কারণ রয়েছে?

Comments

আপনি যদি এই সময়ে উত্তরগুলি পুনরায় মূল্যায়ন করেন, আপনি কি আলাদা "স্বীকৃত" উত্তরটি বেছে নেবেন?

— অ্যারন হল

Answer 1

"কোনও নিখরচায় মধ্যাহ্নভোজ" তাত্ত্বিক পরামর্শ দেয় যে পরিসংখ্যানগত অনুক্রমের অ্যালগরিদমগুলির মধ্যে কোনও পূর্ব-পূর্বের পার্থক্য নেই, যেমন লারস বা লাসো সেরা ডেটাসেটের প্রকৃতির উপর নির্ভর করে। তখন অনুশীলনে, উভয়ই ব্যবহার করা ভাল এবং জেনারালাইজেশন পারফরম্যান্সের কিছু নির্ভরযোগ্য অনুমানকারীকে অপারেশনে কোনটি ব্যবহার করবেন তা স্থির করার জন্য (বা একটি টোপ ব্যবহার করুন) ব্যবহার করা ভাল। LARS এবং লাসোর মধ্যে পার্থক্য যেমন সামান্য, তত পারফরম্যান্সের পার্থক্যগুলিও বরং সামান্য হওয়ার সম্ভাবনা রয়েছে, তবে সাধারণভাবে নিশ্চিত হওয়ার জন্য এটির একমাত্র উপায় আছে!

Comments

আপনি এই বিশেষ ক্ষেত্রে সম্ভাব্য 'ensemble পদ্ধতি' প্রসারিত করতে পারেন?

— chl

Answer 2

পর্যায় অনুসারে মোডে ব্যবহার করার সময়, এলএআরএস অ্যালগরিদম একটি লোভী পদ্ধতি যা প্রমাণিত ধারাবাহিক অনুমানকারী লাভ করে না (অন্য কথায়, আপনি নমুনার সংখ্যা বাড়ানোর সময় এটি একটি স্থিতিশীল ফলাফলে রূপান্তরিত হয় না)।

বিপরীতে, লাসো (এবং এভাবে লাসো মোডে ব্যবহৃত হলে লারস অ্যালগরিদম) একটি উত্তল ডেটা ফিটিংয়ের সমস্যা সমাধান করে। বিশেষত, এই সমস্যাটি (এল 1 জরিমানাযুক্ত লিনিয়ার অনুমানকারী) এর প্রচুর চমৎকার প্রমাণিত বৈশিষ্ট্য রয়েছে (ধারাবাহিকতা, স্পারসিসটেন্সি)।

আমি এভাবেই সর্বদা লাসো মোডে লার্স ব্যবহার করার চেষ্টা করব (বা লাসোর জন্য আর একটি সমাধানকারী ব্যবহার করুন), যদি না আপনার কাছে পর্যায়েজনিত পছন্দ করার পক্ষে খুব ভাল কারণ থাকে।

Answer 3

লাসো হ'ল প্রতি এলগরিদম নয়, তবে অপারেটর।

নিয়মিত সমস্যাগুলির জন্য দক্ষ অ্যালগরিদম অর্জনের বিভিন্ন উপায় রয়েছে । উদাহরণস্বরূপ, কেউ তাদের সাথে সরাসরি মোকাবেলা করতে চতুর্ভুজ প্রোগ্রামিং ব্যবহার করতে পারেন। আমার ধারণা আপনি এটিই লাসো হিসাবে উল্লেখ করেছেন।$\ell_1$

আর একটি হ'ল লারস, এর সরলতার কারণে, সামনের পদ্ধতিগুলির সাথে সংযোগের কারণে (এখনও খুব লোভী নয়), খুব গঠনমূলক প্রমাণ এবং সহজ সাধারণীকরণের কারণে খুব জনপ্রিয়।

এমনকি শিল্প চতুর্ভুজ প্রোগ্রামিং সলভারগুলির রাষ্ট্রের সাথে তুলনা করলে LARS আরও বেশি দক্ষ হতে পারে।

Answer 4

আগেই বলা হয়েছে Lars, Lasso সমস্যা সমাধানের জন্য একটি নির্দিষ্ট পদ্ধতি, অর্থাত লিস্ট স্কোয়ার সমস্যা -regularized। এর সাফল্যটি স্ট্যান্ডার্ড ন্যূনতম-স্কোয়ার রিগ্রেশনের সাথে তুলনামূলক একটি অ্যাসিম্পটিক প্রচেষ্টা প্রয়োজন এবং এর ফলে চতুর্ভুজ প্রোগ্রামিং সমস্যার সমাধানের চেয়ে প্রয়োজনীয় একটি উচ্চতর পারফরম্যান্স প্রয়োজন ste LARS এর পরে বর্ধিতকরণগুলি আরও সাধারণ স্থিতিস্থাপক নেট সমস্যাটিকেও সজ্জিত করে যেখানে আপনি কমপক্ষে মধ্যে এবং নিয়মিত শর্তাদি যোগ করেন।l 1 l $l_1$$l_1$$l_2$

এই উত্তরের উদ্দেশ্যটি উল্লেখ করা যায় যে আজকাল লারসকে স্থানাঙ্ক-বংশদ্ভূত এবং স্টোকাস্টিক সমন্বয়-বংশোদ্ভূত পদ্ধতি দ্বারা ছাড়িয়ে গেছে বলে মনে হয় । এই পদ্ধতিগুলি বিশেষত সাধারণ অ্যালগরিদমগুলির উপর ভিত্তি করে তৈরি করা হয়, একই সময়ে কর্মক্ষমতা LARS এর চেয়ে বেশি বলে মনে হয় (প্রায়শই এক বা দুটি আদেশ প্রস্থের দ্রুত হয়)। উদাহরণস্বরূপ ফ্রেডম্যান এট এর এই কাগজটি দেখুন ।

সুতরাং, আপনি যদি এলএআরএস বাস্তবায়ন করার পরিকল্পনা করেন তবে করবেন না। স্থানাঙ্ক-বংশদ্ভুত ব্যবহার করুন যা কয়েক ঘন্টা সময় নেয়।

Comments

এলএআরএস বাস্তবায়নের জন্য নয় তবে সমজাতীয় বংশোদ্ভূতকরণের জন্য +1: এটির সমন্বয় বংশোদ্ভূত হওয়ার চেয়ে সেটিংস খুব কম রয়েছে (উদাহরণস্বরূপ, ছোট এবং মোড-আকারের সমস্যাগুলি যা খুব কম বিস্ফোরক হয়, অনুশীলনমূলক তুলনার জন্য জুলিয়েন মাইরালের থিসিস দেখুন), তবে এটি ডান বাস্তবায়ন করা খুব শক্ত, সমন্বিত বংশদ্ভুতের চেয়ে অনেক বেশি শক্ত।

— গাইল ভেরোকউক্স

Answer 5

লাসো সলিউশনগুলির গণনা একটি চতুর্ভুজ প্রোগ্রামিং সমস্যা এবং মান সংখ্যার বিশ্লেষণ অ্যালগরিদম দ্বারা মোকাবেলা করা যেতে পারে। তবে কমপক্ষে অ্যাঙ্গেল রিগ্রেশন পদ্ধতিটি আরও ভাল পদ্ধতির। এই অ্যালগরিদম Lasso সমস্যা বিশেষ কাঠামো শোষণ, এবং সব মানের জন্য একযোগে সমাধান গনা একটি দক্ষ উপায় প্রদান করে ।$\lambda$

---

এখানে আমার মতামত:

আপনার প্রশ্ন দুটি ভাগে বিভক্ত করা যেতে পারে। উচ্চ মাত্রিক ক্ষেত্রে এবং নিম্ন মাত্রিক ক্ষেত্রে। অন্যদিকে এটি সর্বোত্তম মডেল বাছাই করার জন্য আপনি কোন মানদণ্ডটি ব্যবহার করছেন তার উপর নির্ভর করে। লারসের মূল কাগজে, এটি সেরা মডেল বাছাইয়ের জন্য মানদণ্ড হিসাবে প্রমাণিত এবং আপনি কাগজের 'আলোচনায়' কোনও এসভিএস এবং সিভি মানদণ্ডও দেখতে পাবেন। সাধারণত, এলএআরএস এবং লাসোর মধ্যে ক্ষুদ্র পার্থক্য রয়েছে এবং এটিকে সম্পূর্ণ উপেক্ষা করা যেতে পারে।$C_p$

এছাড়াও LARS কম্পিউটেশনালি দ্রুত এবং নির্ভরযোগ্য। লাসো দ্রুত তবে অ্যালগরিদমের মধ্যে একটি ক্ষুদ্র পার্থক্য রয়েছে যার কারণে এলআরএস গতির চ্যালেঞ্জ জিততে পারে। অন্যদিকে আর-তে বিকল্প প্যাকেজ রয়েছে, যাকে বলা হয় 'গ্ল্যামনেট' যা লার্স প্যাকেজের চেয়ে বেশি নির্ভরযোগ্য কাজ করে (কারণ এটি আরও সাধারণ)।

মোট কথা, লারস এবং লাসো সম্পর্কে বিবেচনা করা যায় এমন উল্লেখযোগ্য কিছুই নেই। এটি আপনি যে মডেলটি ব্যবহার করতে চলেছেন তার উপর নির্ভর করে।

আমি ব্যক্তিগতভাবে উচ্চ এবং নিম্ন মাত্রিক উভয় ক্ষেত্রে আর তে গ্ল্যামনেট ব্যবহার করার পরামর্শ দিই। বা আপনি যদি বিভিন্ন মানদণ্ডে আগ্রহী হন তবে আপনি http://cran.r-project.org/web/packages/msgps/ প্যাকেজটি ব্যবহার করতে পারেন ।

Answer 6

কিছু প্রসঙ্গে কমপক্ষে স্কোয়ার সমাধানের একটি নিয়মিত সংস্করণ পছন্দনীয় হতে পারে। লাসো (কমপক্ষে নিখুঁত সংকোচন এবং নির্বাচন অপারেটর) অ্যালগরিদম, উদাহরণস্বরূপ, সীমাবদ্ধতার সাথে একটি ন্যূনতম-স্কোয়ার সমাধান আবিষ্কার করে যে | β | 1, প্যারামিটার ভেক্টরের এল 1-আদর্শ, প্রদত্ত মানের চেয়ে বড় নয়। সমানভাবে, এটি α | দিয়ে সর্বনিম্ন-বর্গক্ষেত্রের জরিমানাবিধি নিয়ন্ত্রণহীন সমাধান করতে পারে। | β | 1 যোগ করা হয়েছে, যেখানে a একটি ধ্রুবক (এটি সীমিত সমস্যার ল্যাঙ্গরজিয়ান ফর্ম)) এই সমস্যাটি চতুর্ভুজ প্রোগ্রামিং বা আরও সাধারণ উত্তল অপ্টিমাইজেশন পদ্ধতিগুলি ব্যবহার করে, সেইসাথে নির্দিষ্ট অ্যালগরিদমে যেমন ন্যূনতম কোণ রিগ্রেশন অ্যালগরিদম দ্বারা সমাধান করা যেতে পারে। অল্প ননজারো প্যারামিটার মানগুলির সাথে সমাধানগুলি পছন্দ করার প্রবণতার কারণে এল 1-নিয়ন্ত্রিত সূত্রটি কিছু প্রসঙ্গে প্রযোজ্য, প্রদত্ত সমাধান নির্ভর করে ভেরিয়েবলের সংখ্যা কার্যকরভাবে হ্রাস করে [[১১] এই কারণে, ল্যাসো এবং এর রূপগুলি সংকুচিত সংবেদনের ক্ষেত্রে মৌলিক।

Comments

সম্মানের সাথে, এটি উইকিপিডিয়া থেকে সরাসরি অনুলিপি-পেস্টের মতো দেখায় এবং সত্যই প্রশ্নের উত্তর দেয় না।

— এনপিই

(-1) খুব কমপক্ষে, আপনার উইকিপিডিয়া থেকে উদ্ধৃতিটি স্বীকার করা উচিত, LA ল্যাসো পদ্ধতিতে এন.ইউইকিপিডিয়া.আর / উইকি / লেস্ট_সকেয়ার্স !!! বিটিডাব্লু আপনি 11 তম রেফারেন্সটি পেস্ট করতে ভুলে গেছেন।

— chl

আমি লিঙ্কটি রাখতে ভুলে গেছি, এটি সত্য, তবে যাইহোক আমি মনে করি এটি এই প্রশ্নের একটি ভাল উত্তর। দুঃখিত যদি আমি আপনাকে মনে করি যে আমি এটি লিখেছি

— মারিওনা সফটওয়্যার

$n\ll p$