রিজ এবং লাসো সংক্রান্ত নিয়ম

Question

এই পোস্টটি এটিকে অনুসরণ করে : ত্রিভুজটিতে ধ্রুবক যুক্ত করে কেন রিজ অনুমানটি ওএলএসের চেয়ে ভাল হয়?

এখানে আমার প্রশ্ন:

আমি যতদূর জানি, রিজ নিয়মিতকরণ একটি ell_2 -norm (ইউক্লিডিয়ান দূরত্ব) ব্যবহার করে। তবে কেন আমরা এই আদর্শের বর্গ ব্যবহার করব? ( ৩ এর সরাসরি প্রয়োগের ফলে বিটার স্কোয়ারের যোগফলের বর্গমূলের ফলাফল হবে)।$\ell_2$$\ell_2$

তুলনা হিসাবে, আমরা এটি লাসো-র জন্য করব না, যা নিয়মিত করার জন্য -norm ব্যবহার করে । তবে এখানে এটি "আসল" আদর্শ (বিটা পরম মানগুলির বর্গক্ষেত্রের সমষ্টি, এবং এই যোগফলের বর্গ নয়)।$\ell_1$$\ell_1$

কেউ আমাকে পরিষ্কার করতে সাহায্য করতে পারেন?

Comments

রিজ রিগ্রেশন এ পেনাল্টি শব্দটি স্কোয়ার এল 2 আদর্শ m (স্লাইড 7) একটি উদাহরণ হিসাবে এই সব স্লাইড Tibshirani দ্বারা লিখিত দেখুন stat.cmu.edu/~ryantibs/datamining/lectures/16-modr1.pdf আরও দেখুন এখানে en.wikipedia.org/wiki/Tikhonov_regularization

— boscovich

স্পষ্টকরণের ছোট বিষয়, এগুলি রব নয়, রায়ান তিবশিরানি থেকে স্লাইড ।

— এলিস ভ্যালেন্টাইনার

ঠিক আছে, স্পষ্টতার জন্য অনেক ধন্যবাদ। তবে আমি বুঝতে পারি না কেন এল 2 এর জন্য স্কোয়ার করা এবং এল 1 এর জন্য স্কোয়ার করা হয়নি। আমাদের কি কোনও ধরণের নিয়ন্ত্রণের জন্য সাধারণ সূত্র নেই?

— PLOTZ

@ ব্যবহারকারী 12202013: এটি নির্দেশ করার জন্য আপনাকে ধন্যবাদ। আমি তা খেয়াল করিনি।

— বোস্কোভিচ

Answer 1

রিজ এবং লাসো নিয়মিত করার দুটি উপায় এবং একটি রিগ্রেশন। লাসোর রিগ্রেশন পরম সহগের যোগফলের উপর একটি বাধা চাপিয়ে দেয়:

$\sum_i \sqrt{\beta_i^2} = ||\beta||_1$

রিজ রিগ্রেশন স্কোয়ারড পার্থক্যগুলির যোগফলের সীমাবদ্ধতা আরোপ করে:

$\sum_i \beta_i^2 = \sqrt{\sum_i \beta_i^2}^2 = ||\beta_i||_2^2$

আপনি আরও একটি আদর্শ চালু করার পরামর্শ দিয়েছেন, সহগের ইউক্যালিডিয়ান দৈর্ঘ্য:

$\sqrt{\sum_i \beta_i^2} = ||\beta_i||_2$

রিজ রিগ্রেশন এবং ইউক্যালিডিয়ান দৈর্ঘ্যের মধ্যে পার্থক্য হল স্কোয়ারিং। এটি নিয়মিতকরণের ব্যাখ্যা পরিবর্তন করে। রিজ এবং ইউক্যালিডিয়ান দৈর্ঘ্য উভয়ই শূন্যের দিকে নিয়মিত হওয়ার সময়, রিজ রিগ্রেশন নিয়মিতকরণের পরিমাণের চেয়ে পৃথকও হয়। কোয়ালিফিয়েন্টস যা শূন্য থেকে আরও শক্তিশালী শূন্যের দিকে টান। এটি শূন্যের আশেপাশে আরও স্থিতিশীল করে তোলে কারণ নিয়মিতকরণ ধীরে ধীরে শূন্যের কাছাকাছি পরিবর্তিত হয়। এটি ইউক্যালিডিয়ান দৈর্ঘ্যের ক্ষেত্রে বা বাস্তবে লাসো রিগ্রেশনের ক্ষেত্রে নয়।

Answer 2

এখন অনেক ধরণের পেনালাইড অ্যাপ্রোচ রয়েছে যেগুলিতে এখন সমস্ত ধরণের পেনাল্টি ফাংশন রয়েছে (রিজ, লাসো, এমসিপি, এসসিএডি)। একটি নির্দিষ্ট ফর্মের মধ্যে কেন একটি প্রশ্নটি মূলত "এই জাতীয় দণ্ডের কী কী সুবিধা / অসুবিধা দেয়?"।

আগ্রহের বৈশিষ্ট্যগুলি হ'ল:

1) প্রায় পক্ষপাতহীন অনুমানকারী (নোট করুন সমস্ত দণ্ডিত অনুমানকারী পক্ষপাতিত্ব করা হবে)

2) স্পারসিটি (নোট রিজ রিগ্রেশন বিরল ফলাফল দেয় না, অর্থাত্ এটি শূন্যের পুরো পথ সহগুণ সঙ্কুচিত করে না)

3) ধারাবাহিকতা (মডেল পূর্বাভাসে অস্থিরতা এড়াতে)

এই পেনাল্টি ফাংশনে আগ্রহী হতে পারে এমন কয়েকটি সম্পত্তি।

এবং তাত্ত্বিক কাজের যোগফলের সাথে কাজ করা অনেক সহজ: উদাহরণস্বরূপ এবং। কল্পনা করুন যে আমাদের যদি বা । ডেরিভেটিভস গ্রহণ করা (যা তাত্ত্বিক ফলাফলগুলি দেখানোর জন্য যেমন ধারাবাহিকতা, অ্যাসিপটোটিক স্বাভাবিকতা ইত্যাদির প্রয়োজন) এর মতো শাস্তির সাথে ব্যথা হতে পারে।| | β | | 1 = ∑ | β i | $||\beta||_2^2=\sum |\beta_i|^2$$||\beta||_1 = \sum |\beta_i|$ (∑|βi|)$\sqrt{\left(\sum |\beta_i|^2\right)}$$\left( \sum |\beta_i|\right)^2$

Comments

ঠিক আছে ধন্যবাদ. তবে কেন এল 2 এর জন্য স্কোয়ার এবং এল 1 এর জন্য স্কোয়ার নয়? আমাদের কি কোনও ধরণের নিয়ন্ত্রণের জন্য সাধারণ সূত্র নেই? এটি আমাকে

— বিস্মিত

@ প্লটজ আমি আমার উত্তরে কিছুটা যুক্ত করেছি।

— বিডিওনোভিক

অনেক ধন্যবাদ বেনিয়ামিন! নিশ্চিতভাবে এটি এখন আরও পরিষ্কার! আপনার উত্তরের আগে আমি এই তাত্ত্বিক উদ্দেশ্য পাইনি। আপনার উত্তরের জন্য অনেক ধন্যবাদ।

— PLOTZ

@Benjamin: বিন্দু # 1 তুমি করেছ আসলে গড় "( না সব শাস্তি estimators পক্ষপাতিত্বহীন হবে)"? একের নাম অনুসারে রিজ রিগ্রেশন পক্ষপাতদুষ্ট।

— বোস্কোভিচ

ওফস হ্যাঁ তা ধরার জন্য ধন্যবাদ! আমি মনে করি বাস্তবে সমস্ত দণ্ডিত অনুমানকারী পক্ষপাতদুষ্ট হবে।

— বিডিওনোভিক

Answer 3

প্রকৃতপক্ষে -norm এবং -nnorm বর্গই নিয়মিতকরণের একই শ্রেণি থেকে আসে: যখন ।$\ell_2$$\ell_1$$\|\boldsymbol{\beta}\|_p^p$$p > 0$

এরপরে রিজ রিগ্রেশন এবং লাসো ব্যবহার করছে তবে অন্য মানগুলি ব্যবহার করতে পারে ।$p=2$$p=1$$p$

উদাহরণস্বরূপ, সমস্ত মানের জন্য আপনার কাছে বিরল দ্রবণ রয়েছে , এবং দ্রবণ দ্রষ্টব্যটির স্পার্সার এর মান আরও কম ।$p \leq 1$$p$

মানগুলির জন্য আপনার উদ্দেশ্যটি আরও মসৃণ নয় যাতে অপ্টিমাইজেশন আরও শক্ত হয়ে যায়; জন্য উদ্দেশ্য অ উত্তল এবং তাই অপ্টিমাইজেশান এমনকি কঠিন হচ্ছে ...$p \leq 1$$p<1$

Answer 4

আমি বিশ্বাস করি এখানে একটি আরও সহজ উত্তর আছে, যদিও কোনও কৌশল বিকাশ হওয়ার পরে "কেন" প্রশ্নের উত্তর দেওয়া সবসময় কঠিন। স্কোয়ার্ড -norm ব্যবহার করা হয় যাতে নিয়মিতকরণ শব্দটি সহজেই পার্থক্যযোগ্য হয়। রিজ রিগ্রেশন হ্রাস করে:$l_2$

$$\|\mathbf{y - X\beta}\|^2_2+\lambda\|\beta\|_2^2$$

যা এও লেখা যেতে পারে:

$$\|\mathbf{y - X\beta}\|^2_2+\lambda\beta^T\beta$$

ক্লোজড-ফর্ম সমাধান পেতে এখন সহজেই আর্ট পার্থক্য করা যায় :$\beta$

$$\hat\beta^{\text{ridge}} = (\mathbf{X}^T\mathbf{X} + \lambda I)^{-1}\mathbf{X}^T\mathbf{y}$$

যা থেকে সমস্ত প্রকারের অনুমান পাওয়া যায়।

Answer 5

বর্গ ব্যবহার মধ্যে অন্য একটি গুরুত্বপূর্ণ পার্থক্য বিবেচনা করুন আদর্শ (অর্থাত শৈলশিরা রিগ্রেশন) এবং অপরিবর্তিত আদর্শ: ডেরিভেটিভ আদর্শ , এ দেওয়া হয় এবং তাই শূন্য ভেক্টরে পৃথক নয়। অর্থাৎ যদিও আদর্শ Lasso মত পৃথক পরিবর্তনশীল নির্বাচনের কাজটি করে না, এটি হতে পারে তাত্ত্বিক উত্পাদ সর্বাধিক শাস্তি সম্ভাবনা সমাধান হিসাবে। স্কোয়ার করে$\ell_2$$\ell_2$$\ell_2$$x$$||x||_2$$x$$\frac{x}{ ||x||_2}$$\ell_2$$\beta=0$$\ell_2$ পেনাল্টির ক্ষেত্রে আদর্শ, রিজ-ধরণের পেনাল্টি সর্বত্রই স্বতন্ত্র এবং এ জাতীয় সমাধান কখনই পাওয়া যায় না।

এই আচরণটি হ'ল (আমার বোঝার দ্বারা) কেন গ্রুপ লাসো (ইউয়ান এবং লিন) এবং স্পার্স গ্রুপ লাসো (সাইমন, এট আল।) ইত্যাদি বর্গের পরিবর্তে আদর্শ ব্যবহার করে ( পূর্বনির্ধারিত উপর) এর আদর্শ।$\ell_2$$\ell_2$