লাসো সূত্রের মধ্যে সংযোগ

এই প্রশ্নটি বোবা হতে পারে, তবে আমি লক্ষ করেছি যে লাসোর রিগ্রেশন- এর দুটি পৃথক সূত্র রয়েছে । আমরা জানি যে লাসো সমস্যাটি বর্গক্ষেত্রের ক্ষতি এবং -1 জরিমানার মেয়াদটি নিম্নরূপে প্রকাশিত উদ্দেশ্যকে হ্রাস করতে হবে , $L$

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \;$

তবে প্রায়শই আমি যখন দেখেছি অনুমানকারীটি

{\hat{β}}_{n} (λ) = \arg min_{β} {\frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}}

$\hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \}$

আমার প্রশ্ন, সমতুল্য? the শব্দটি কোথায় আসে ? $\frac {1}{2n}$ দুটি সূত্রের মধ্যে সংযোগগুলি আমার কাছে সুস্পষ্ট নয়।

[আপডেট] আমি অনুমান করি যে আমার জিজ্ঞাসা করা উচিত প্রশ্নটি হ'ল,

দ্বিতীয় সূত্রটি কেন? তাত্ত্বিকভাবে বা গণনাগতভাবে সমস্যাটি তৈরি করার সুবিধা কী?

lasso

— হারুন জেং
সূত্র

আপনি সেট করেন তাহলে করার সমান দ্বিতীয় প্রণয়নে বার প্রথম সূত্র, তারপরে দ্বিতীয় প্রণয়নে উদ্দেশ্য ফাংশন বার প্রথম প্রণয়নে উদ্দেশ্য ফাংশন। বাস্তবে, আপনি ক্ষতির পরিমাপের ইউনিটগুলি কেবল পরিবর্তন করেছেন। আপনি কীভাবে মনে করেন যে এটি অনুকূল মানগুলি পরিবর্তন করবে ?

λ

$\lambda$

1 / (2 n)

$1/(2n)$

λ

$\lambda$

1 / (2 n)

$1/(2n)$

β

$\beta$

— whuber

ধন্যবাদ, শুভ। যে আমার জ্ঞান করে তোলে। তাহলে সেখানে কেন পরেরটি তৈরি? তাত্ত্বিকভাবে বা গণনাগতভাবে সমস্যাটি তৈরি করার সুবিধা কী?

— অ্যারন জেং

এগুলি প্রকৃতপক্ষে সমান যেহেতু আপনি সর্বদা ল্যাম্বদা পুনরুদ্ধার করতে পারেন (এছাড়াও @ হোয়াইটারের মন্তব্য দেখুন) তাত্ত্বিক দৃষ্টিকোণ থেকে এটি সুবিধার বিষয় তবে আমি যতদূর জানি এটি প্রয়োজনীয় নয় is একটি গণনামূলক দৃষ্টিকোণ থেকে, আমি আসলে বেশ বিরক্তিকর মনে করি, তাই আমি যদি নিয়মিতকরণ ব্যবহার করে এমন একটি অ্যালগরিদম ডিজাইন করি তবে আমি সাধারণত প্রথম সূত্রটি ব্যবহার করি। $\lambda$ $1/(2n)$

একটু ব্যাকস্টোরি: আমি যখন প্রথম দণ্ডিত পদ্ধতিগুলি সম্পর্কে জানতে শুরু করি, তখন আমি আমার কাজের সর্বত্র বহন করে বিরক্ত হয়েছিলাম তাই আমি এটিকে অগ্রাহ্য করা পছন্দ করি - এটি আমার কিছু গণনাও সরল করে তুলেছিল। তখন আমার কাজটি মূলত গণনামূলক ছিল। সাম্প্রতিককালে আমি তাত্ত্বিক কাজ করে চলেছি এবং আমি অনিবার্য (এমনকি বনাম, বলুন, ) খুঁজে পেয়েছি । $1/(2n)$ $1/(2n)$ $1/n$

আরো বিস্তারিত: আপনি নমুনা আকার ফাংশন হিসাবে, Lasso আচরণ বিশ্লেষণ করতে চেষ্টা যখন , আপনি ঘন ঘন IID র্যান্ডম ভেরিয়েবল অঙ্কের সঙ্গে মোকাবিলা করার জন্য আছে, এবং বাস্তবে এটি দ্বারা স্বাভাবিক পর যেমন অঙ্কের বিশ্লেষণ করতে সাধারণত আরও বেশি সুবিধাজনক হয় - বিপুল সংখ্যক / কেন্দ্রীয় সীমাবদ্ধ উপপাদ্যের আইন আইন (বা আপনি যদি অভিনব, পরিমাপের ঘনত্ব এবং অভিজ্ঞতামূলক প্রক্রিয়া তত্ত্বটি পেতে চান)। ক্ষতির সামনে যদি আপনার কাছে শব্দ না থাকে তবে আপনি শেষ পর্যন্ত বিশ্লেষণের শেষে কোনও কিছু উদ্ধার করে শেষ করেন যাতে এটি শুরু করার জন্য এটি সাধারণত ভাল হয়। সুবিধাজনক কারণ এটি কিছু বিরক্তিকর কারণের বাইরে বাতিল $n$ $n$ $1/n$ $1/2$ $2$ বিশ্লেষণে (উদাহরণস্বরূপ যখন আপনি স্কোয়ার লোকসনের পদটি ডেরাইভেটিভ নেন)।

এটি ভাবার আরেকটি উপায় হ'ল তত্ত্বটি করার সময় আমরা সাধারণত বৃদ্ধি হিসাবে সমাধানের আচরণে আগ্রহী - অর্থাৎ, কোনও নির্দিষ্ট পরিমাণ নয়। অনুশীলনে, যখন আমরা কিছু স্থির ডেটাসেটে লাসো চালাই, আসলেই অ্যালগরিদম / গণনার দৃষ্টিকোণ থেকে স্থির হয়। সুতরাং সামনে অতিরিক্ত স্বাভাবিককরণের কারণটি থাকা সমস্ত সহায়ক নয়। $n$ $n$ $n$

এগুলি সুবিধার জন্য বিরক্তিকর বিষয়গুলির মতো মনে হতে পারে তবে এই জাতীয় বৈষম্যগুলি চালিত করার জন্য যথেষ্ট সময় ব্যয় করার পরে, আমি কে ভালবাসতে শিখেছি । $1/(2n)$

— JohnA
সূত্র

একবার যখন আপনি বুঝতে পারেন যে এই সাধারণকরণের ধ্রুবকগুলি কী, আপনি সেগুলি সর্বত্র দেখতে শুরু করেন ।

— ম্যাথু ড্রিউই

এই ব্যাখ্যার জন্য আপনাকে ধন্যবাদ। এই ডোমেনে আপনার দুর্দান্ত অভিজ্ঞতাগুলি পড়ে আমরা গর্বিত। আপনাকে আবারও ধন্যবাদ

— ক্রিস্টিনা