ল্যাসো সমাধানের কম্পিউটিংয়ের জন্য জিএলএমনেট বা লারস?

13

আমি লাসো সমস্যার জন্য সহগগুলি পেতে চাই

| | Y - X β | | + λ | | β | |_{1} .

$||Y-X\beta||+\lambda ||\beta||_1.$

সমস্যাটি হ'ল গ্ল্যামনেট এবং লারস ফাংশনগুলি বিভিন্ন উত্তর দেয়। গ্ল্যামনেট ফাংশনের জন্য আমি ল্যাম্বদা এর সহগের জন্য জিজ্ঞাসা করি কেবলমাত্র পরিবর্তে , তবে আমি এখনও বিভিন্ন উত্তর পাই। $\lambda/||Y||$ $\lambda$

এটি কি প্রত্যাশিত? Lars মধ্যে সম্পর্ক কি এবং glmnet ? আমি বুঝতে পারি যে ল্যাসো সমস্যার জন্য গ্ল্যামনেট দ্রুততর তবে আমি জানতে চাই কোন পদ্ধতিটি আরও শক্তিশালী? $\lambda$ $\lambda$

Deps_stats আমি ভীত যে আমার ডেটাसेटের আকার এত বড় যে LARS এটি পরিচালনা করতে পারে না, অন্যদিকে গ্ল্যামনেট আমার বড় ডেটাसेटটি পরিচালনা করতে পারে।

mpiktas আমি (Y-Xb) ^ 2 + L \ যোগের সমাধান খুঁজতে চাই | বি_জে | তবে আমি যখন সেই বিশেষ এল এর জন্য গণনা করা সহগের জন্য দুটি অ্যালগরিদম (লারস এবং গ্ল্যামনেট) থেকে জিজ্ঞাসা করি, তখন আমি বিভিন্ন উত্তর পাই ... এবং আমি ভাবছি যে এটি সঠিক / প্রত্যাশিত? অথবা আমি দুটি ফাংশনের জন্য একটি ভুল ল্যাম্বদা ব্যবহার করছি।

— গ্লেন_বি -রাইনস্টেট মনিকা
সূত্র

1

আপনার সমস্যা চিত্রিত একটি উদাহরণ প্রদান করুন। এছাড়াও আপনি কীভাবে অ্যালগরিদমের শক্তি সংজ্ঞায়িত করেন?

— এমপিটিকাস

1

আমি বেশ কয়েকটি প্রকল্পে গ্ল্যামনেট এবং লার প্যাকেজ ব্যবহার করেছি। আমার সীমিত অভিজ্ঞতায় গ্ল্যামনেট প্রয়োগ করতে আমার প্রচুর সমস্যা হয়েছে। আমি মনে করি যে ডেটা ফ্রেমে ব্যবহৃত ভেরিয়েবলের ধরণের বিষয়ে গ্ল্যামনেটের কিছু বাগ ফিক্স দরকার। এছাড়াও, গ্ল্যামনেটের বিভ্রান্তিকর ডকুমেন্টেশন রয়েছে। আমি লার্স ব্যবহার করে শেষ করেছি এবং ফলাফলগুলি নিয়ে আমি অত্যন্ত সন্তুষ্ট। আপনার সমস্যার আকারটি মনে রাখবেন না, আমি মনে করি লার্স এটি পরিচালনা করতে পারে।

— deps_stats

"সমস্যাটি হ'ল গ্ল্যামনেট এবং লারস ফাংশনগুলি বিভিন্ন উত্তর দেয়" " আমি একই সমস্যা আছে. কোন উত্তর?

— অনুদান দিন

সহগের জন্য মারাত্মকভাবে পৃথক উত্তর? এবং কেবল আসল পোস্টটি পড়া থেকে, আপনার সত্যিই একটি ল্যাম্বডা সমাধানের জন্য জিজ্ঞাসা করা উচিত নয় glmnetএবং সম্ভবত কোনও এলআরএস বাস্তবায়ন থেকে নয়। তারা পক্ষপাত বনাম বৈকল্পিকের বর্ণালী জুড়ে একটি সম্পূর্ণ পরিসর সমাধান সরবরাহ করে। যা প্রকৃত সহগের তুলনা করা শক্ত করে। কিন্তু তবুও, একই ভেরিয়েবলগুলি সম্ভবত অনুরূপ ক্রমে অ-শূন্য হয়ে উঠতে হবে।

— শেয়া পার্কস

14

আমার অভিজ্ঞতায়, লারস ছোট সমস্যা, খুব স্পার সমস্যা বা খুব 'প্রশস্ত' সমস্যার (নমুনাগুলির চেয়ে অনেক বেশি বৈশিষ্ট্য) জন্য দ্রুত। প্রকৃতপক্ষে, যদি আপনি সম্পূর্ণ নিয়মিতকরণের পথটি গণনা না করেন তবে তার গণ্যমূল্যটি নির্বাচিত বৈশিষ্ট্যগুলির সংখ্যার দ্বারা সীমাবদ্ধ। অন্যদিকে, বড় সমস্যার জন্য, গ্ল্যামনেট (সমন্বিত বংশদ্ভুত অপ্টিমাইজেশন) দ্রুত হয়। অন্যান্য জিনিসের মধ্যে, স্থানাঙ্ক বংশোদ্ভূত একটি ভাল ডেটা অ্যাক্সেস প্যাটার্ন (মেমরি-বান্ধব) রয়েছে এবং এটি আংশিক ফিটগুলির সাথে রূপান্তরিত হওয়ায় এটি খুব বড় ডেটাসেটের ডেটাগুলিতে রিডানডেন্সির থেকে উপকার পেতে পারে। বিশেষত, এটি ভারী সংযুক্ত ডেটাসেটগুলি থেকে ভোগেন না।

আমরা ( সাইকিট-শিখার মূল বিকাশকারী ) খুব উপসংহারে এসেছি যে, যদি আপনার কাছে আপনার ডেটা সম্পর্কে দৃi় জ্ঞান না থাকে তবে আপনার পরিবর্তে একটি অ্যালগরিদম সম্পর্কে কথা বলার জন্য গ্ল্যামনেট (বা বংশদ্ভুত অপ্টিমাইজেশন সমন্বয় করা) করা উচিত একটি বাস্তবায়ন চেয়ে)।

জুলিয়েন মাইরালের থিসিসে আকর্ষণীয় মানদণ্ডের তুলনা করা যেতে পারে:

http://www.di.ens.fr/~mairal/resources/pdf/phd_thesis.pdf

বিভাগ 1.4, বিশেষত 1.4.5 (পৃষ্ঠা 22)

জুলিয়েন কিছুটা ভিন্ন সিদ্ধান্তে এসেছেন, যদিও তার সমস্যার বিশ্লেষণটি একই রকম similar আমি সন্দেহ করি এটি হ'ল কারণ তিনি খুব বিস্তীর্ণ সমস্যায় খুব আগ্রহী ছিলেন।

— গ্যেল ভারোকুয়াক্স
সূত্র

আপনার বেশিরভাগ প্রতিক্রিয়া সিডব্লিউ করা হয়েছে (এখানে, তবে মেটাওপিটিমাইজড / কিএএও) ... কোনও কারণেই কেন?

— chl

1

কারণ আমি মনে করি যে লোকেরা টাইপস, ভুল শব্দবন্ধগুলি ঠিক করতে পারলে ভাল ... আমি উত্তরগুলির ক্রমাগত উন্নতির ধারণা পছন্দ করি। এটি কি সেরা অনুশীলনের বিরুদ্ধে?

— গ্যাল ভেরাকোয়াক্স

2

আমি পাসিংয়ে দুটি বা তিনটি টাইপ ঠিক করেছিলাম। প্রতি সেউবুকের সাথে কিছুই করার নেই, যদি না আপনি নিজের পোস্টটি সম্পাদনা করার জন্য প্রয়োজনীয় নিম্ন প্রতিনিধির কথা ভাবেন! ব্যবহারকারীরা যে কোনও সম্পাদনার পরামর্শ দিতে পারেন; তবে আপনার প্রতিক্রিয়া সিডব্লিউ তৈরি করা আপনাকে সেগুলি থেকে কোনও অর্থ উপার্জন করতে দেয় না। আমি অনুমান করি যে আপনি প্রতিবেদনের পরে নন, তবে আপনার প্রতিক্রিয়া সর্বদা ভালভাবেই ছড়িয়ে পড়েছিল, আমি কেবল ভাবছিলাম ... চিয়ার্স।

— chl

1

লাসো এমন ক্ষেত্রে অ-স্বতন্ত্র যেখানে একাধিক বৈশিষ্ট্যগুলির নিখুঁত সমান্তরালতা রয়েছে। এটি প্রমাণ করার জন্য এখানে একটি সাধারণ চিন্তার পরীক্ষা।

ধরা যাক আপনার কাছে তিনটি এলোমেলো ভেক্টর , , । আপনি , থেকে পূর্বাভাস দেওয়ার চেষ্টা করছেন । এখন ধরে নিন = = । একটি সর্বোত্তম লাসো সমাধান , , যেখানে লাসো দণ্ডের প্রভাব of তবে, সর্বোত্তম হতে হবে , । $y$ $x_1$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x1$ $x2$ $\beta_1 = 1 - P$ $\beta_2 = 0$ $P$ $\beta_1 = 0$ $\beta_2 - 1 - P$

— dsimcha
সূত্র

2

@ ডিএসএমচা, এটি বলার জন্য দুঃখিত, তবে আমি মনে করি না যে আমি উদাহরণটি খুব বেশি পছন্দ করি। প্রতিক্রিয়া দুটি ভবিষ্যদ্বাণীকের মতো? এটি আমার দৃষ্টিতে রোগতত্ত্বের বাইরে।

— কার্ডিনাল

1

লারস এবং গ্ল্যামনেট লাসো সমস্যার জন্য বিভিন্ন সমাধান দেয়, কারণ তারা কিছুটা ভিন্ন উদ্দেশ্যমূলক ফাংশন এবং ডেটার বিভিন্ন স্ট্যান্ডারিটিশন ব্যবহার করে। সম্পর্কিত প্রশ্নে আপনি প্রজননের জন্য বিশদ কোডটি পেতে পারেন লারস এবং গ্ল্যামনেট কেন লাসো সমস্যার জন্য বিভিন্ন সমাধান দেয়?

— আন্দ্রে
সূত্র