নিয়ম কী কী এবং সেগুলি কীভাবে নিয়ন্ত্রণের সাথে প্রাসঙ্গিক?

আমি ইদানীং বিচ্ছিন্ন উপস্থাপনাগুলিতে প্রচুর কাগজপত্র দেখছি এবং তাদের বেশিরভাগই আদর্শ ব্যবহার করেন এবং কিছুটা । আমার প্রশ্ন হ'ল আদর্শ এবং মিশ্রিত আদর্শ কী? এবং এগুলি কীভাবে নিয়ন্ত্রণের সাথে প্রাসঙ্গিক? $\ell_p$ $\ell_p$ $\ell_{p, q}$

ধন্যবাদ

machine-learning regularization sparse

— পানি
সূত্র

$\ell_p$ নিয়মগুলি এমন ফাংশন যা ভেক্টর নেয় এবং সংখ্যাগুলি দেয়। এগুলি হিসাবে সংজ্ঞায়িত করা হয়েছে

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$ the ক্ষেত্রে যেখানে

p = 2

$p=2$ , এটি যাকে ইউক্লিডিয়ান আদর্শ বলে। আপনি ইউক্লিডিয়ান দূরত্বটিকে

হিসাবে নির্ধারণ করতে পারেন

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$ । যখন

p = \infty

$p = \infty$ , তখন এর অর্থ কেবল

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$ (বা

max_{i} x_{i}

$\max_i x_i$ )। কড়া কথায় বলতে গেলে

একটি আদর্শ

p

$p$ হতে অবশ্যই কমপক্ষে

জন্য

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ একটি হতে হবে । যদি

, তবে

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ আসলেই আদর্শ নয়, কারণ নিয়মগুলি অবশ্যই ত্রিভুজ বৈষম্যকে মেটায়।

(এছাড়াও নিয়ম রয়েছে, যা ভেক্টর বা সিকোয়েন্সগুলির পরিবর্তে ফাংশন ব্যতীত সংজ্ঞায়িত করা হয়েছে - প্রকৃতপক্ষে এটি একই জিনিস, যেহেতু ভেক্টরগুলি সীমাবদ্ধ ডোমেন সহ ফাংশন are) $L_p$

আমি যেখানে মেশিন লার্নিং অ্যাপ্লিকেশনটিতে except ব্যতীত অন্য কোনও মেশিন লার্নিং অ্যাপ্লিকেশনটিতে কোনও আদর্শের ব্যবহার সম্পর্কে অবগত নই । সাধারণত আপনি বা দেখতে পান বা কখনও কখনও যেখানে আপনি কেস শিথিল করতে চান ; নয় কঠোরভাবে উত্তল মধ্যে কিন্তু হয়, জন্য । এটি কিছু ক্ষেত্রে সমাধানটিকে "সহজ" সন্ধান করতে পারে। $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

নিয়মিতকরণ প্রেক্ষাপটে, যদি আপনি যোগ আপনার উদ্দেশ্য ফাংশন, আপনি কি বলছে তা আপনি আশা করতে হয় হতে বিক্ষিপ্ত হলো, বেশিরভাগ শূন্য গঠিত। এটি কিছুটা প্রযুক্তিগত, তবে মূলত, যদি ঘন সমাধান হয় তবে সম্ভবত একই আদর্শের সাথে একটি স্পার্সার সমাধান রয়েছে। যদি আপনি নিজের সমাধানটি ঘন হওয়ার প্রত্যাশা করেন তবে আপনি নিজের লক্ষ্যটিতে যোগ করতে পারেন , কারণ এরপরে ডেরিভেটিভ দিয়ে কাজ করা আরও সহজ। উভয়ই খুব বেশি ওজন না হওয়া থেকে সমাধানটি রাখার উদ্দেশ্যে কাজ করে। $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

আপনি বেশ কয়েকটি উত্সকে সংহত করার চেষ্টা করার সময় মিশ্র আদর্শ চলে আসে। মূলত আপনি সলিউশন ভেক্টরটি বেশ কয়েকটি টুকরো দিয়ে তৈরি করতে চান , যেখানে কিছু উত্সের সূচক। আদর্শ ঠিক হয় সব -norm একটি ভেক্টর সংগ্রহ -norms। অর্থাত, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

এর উদ্দেশ্য "oversparsify" সমাধানের একটি সেটে নয়, ব্যবহার করে বলে । স্বতন্ত্র টুকরোগুলি বিরল, তবে আপনি সমস্ত দ্রবণগুলির -nnom গ্রহণ করে পুরো দ্রবণ ভেক্টরকে ডেকে তোলার ঝুঁকি নেন না। সুতরাং আপনি এর পরিবর্তে বাইরের বাইরের নাম ব্যবহার করেন । $\|\vec x\|_{1,2}$ $1$ $2$

আশা করি এইটি কাজ করবে.

আরও বিশদ জন্য এই কাগজ দেখুন ।

— জোসেফিন মোলার
সূত্র

মিশ্র আদর্শের ব্যাখ্যার জন্য +1। এগুলি আমি নিজেই বুঝতে পারি নি।

— সুরেশ ভেঙ্কটাসুব্রমনিয়ান

(+1) ভাল উত্তর। ক্রসভিলেটেড, জন আপনাকে স্বাগতম!

— MånsT