কার্নেল রিজ রিগ্রেশন দক্ষতা

রিজ রিগ্রেশন যেমন প্রকাশ করা যেতে পারে যেখানে হয় পূর্বাভাস ট্যাগ , , ম্যাট্রিক্স চিহ্নিত বস্তু আমরা জন্য একটি লেবেল খুঁজে বের করার চেষ্টা করছি, এবং ম্যাট্রিক্স বস্তু :

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, ঘ} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

আমরা এটি নিম্নলিখিতভাবে কার্নেলাইজ করতে পারি:

\hat{Y} = (কে + + একটি {আমি}_{ঘ})^{- 1} ট

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

যেখানে হ'ল কার্নেল ফাংশন ম্যাট্রিক্স $\mathbf{\mathcal{K}}$ $n \times n$ $K$

কে = (\begin{matrix} কে ({এক্স}_{1}, {এক্স}_{1}) & কে ({এক্স}_{1}, {এক্স}_{2}) & ... & কে ({এক্স}_{1}, {এক্স}_{এন}) \\ কে ({এক্স}_{2}, {এক্স}_{1}) & কে ({এক্স}_{2}, {এক্স}_{2}) & ... & কে ({এক্স}_{2}, {এক্স}_{এন}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ কে ({এক্স}_{এন}, {এক্স}_{1}) & কে ({এক্স}_{এন}, {এক্স}_{2}) & ... & কে ({এক্স}_{এন}, {এক্স}_{এন}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

এবং কার্নেল ফাংশন কলাম ভেক্টর $\mathbf{k}$ $n \times 1$ $K$

ট = (\begin{matrix} কে ({এক্স}_{1}, এক্স) \\ কে ({এক্স}_{2}, এক্স) \\ ⋮ \\ কে ({এক্স}_{এন}, এক্স) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

প্রশ্নাবলী:

(ক) মাত্রাগুলির চেয়ে বেশি বস্তু কার্নেলগুলি না ব্যবহার করা কী বোঝায় ? যেমন দিন একটি হতে ম্যাট্রিক্স তারপর একটি হতে হবে এবং আমরা একে ইনভার্টারিং শেষ হবে ম্যাট্রিক্স পরিবর্তে ম্যাট্রিক্সের সময় আমরা যখন কার্নেলগুলি ব্যবহার করতাম তবে আমাদের উল্টাতে হত। এর অর্থ কি আমাদের কার্নেল ব্যবহার না করে? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(খ) সহজতম কার্নেলটি ব্যবহার করা উচিত? দেখে মনে হচ্ছে যে রিজ রিগ্রেশন-এ কার্নেলগুলি মাত্রিকতার প্রভাবকে উপেক্ষা করার জন্য এবং বৈশিষ্ট্য জায়গার কিছু বৈশিষ্ট্য (সমর্থন ভেক্টর মেশিনের বিপরীতে) ব্যবহার না করার জন্য ব্যবহৃত হয়। যদিও, কার্নেলগুলি বস্তুর মধ্যে দূরত্ব পরিবর্তন করতে পারে তাই রিজ রিগ্রেশনটিতে কোন জনপ্রিয় কার্নেল ব্যবহার করা যায় না?

(গ) কি শৈলশিরা রিগ্রেশন এবং / অথবা কার্নেল শৈলশিরা রিগ্রেশন সময় জটিলতা? $O$

regression ridge-regression kernel-trick

— হেলিক্স
সূত্র

পরিসংখ্যানের 'দক্ষতা' এর আলাদা অর্থ রয়েছে। আপনি কি 'গণনামূলক জটিলতা' বোঝাতে চেয়েছিলেন? (শিরোনামে)

— স্মরণে

আমি "আলগোরিদিম দক্ষতা" বলতে চাইছিলাম। যদিও এটি সত্য যে আমার প্রশ্নগুলি মূলত এটিকে "কম্পিউটেশনাল জটিলতা" এ হ্রাস করে।

— হেলিক্স

(ক) কার্নেল ব্যবহারের উদ্দেশ্য হ'ল এই ক্ষেত্রে একটি ননলাইনার রিগ্রেশন সমস্যা সমাধান করা। একটি ভাল কার্নেল আপনাকে সম্ভবত অসীম-মাত্রিক বৈশিষ্ট্যযুক্ত স্থানে সমস্যাগুলি সমাধান করার অনুমতি দেবে। তবে, লিনিয়ার কার্নেল using ব্যবহার করে এবং দ্বৈত স্পেসে কার্নেল রিজ রিগ্রেশন করা আদি স্থানের সমস্যা সমাধানের সমান is , অর্থাত্, এটি কোনও সুবিধা নিয়ে আসে না (যেমন আপনি লক্ষ্য করেছেন নমুনার সংখ্যা বৃদ্ধি পাওয়ায় এটি কেবল ধীরে ধীরে)। $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(খ) সর্বাধিক জনপ্রিয় পছন্দগুলির মধ্যে একটি হল স্কোয়ার্ড এক্সফেনসিয়াল কার্নেল যা সর্বজনীন (নীচে রেফ দেখুন)। অনেকগুলি কার্নেল রয়েছে এবং সেগুলির প্রত্যেকটি আপনার বৈশিষ্ট্যের জায়গাতে বিভিন্ন অভ্যন্তরীণ পণ্য (এবং সেইজন্য মেট্রিক) প্রেরণা দেবে। $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

(গ) সোজাভাবে বাস্তবায়নের জন্য আকার এর রৈখিক সমীকরণ সমাধান করা দরকার , সুতরাং এটি । Nystr fasterm আনুমানিক হিসাবে অনেক দ্রুত আনুমানিক পদ্ধতি আছে। এটি সক্রিয় গবেষণার একটি ক্ষেত্র। $n$ $O(n^3)$

তথ্যসূত্র:

ভরথ শ্রেরপুম্বুদুর, কেনজি ফুকুমিজু এবং জের্ট ল্যাঙ্ক্রিয়েট। সার্বজনীনতা, বৈশিষ্ট্যযুক্ত কার্নেল এবং আরকেএইচএস ব্যবস্থার এম্বেডিংয়ের মধ্যে সম্পর্কের বিষয়ে। মেশিন লার্নিং রিসার্চ জার্নাল, 9: 773–780, 2010।
বার্নহার্ড শ্লকোফ, আলেকজান্ডার জে স্মোলা। কার্নেলগুলির সাথে শেখা: সহায়তা ভেক্টর মেশিনগুলি, নিয়মিতকরণ, অনুকূলকরণ, এবং 2002 এর বাইরে

— Memming
সূত্র