লিনিয়ার কার্নেল সহ কার্নেল পিসিএ কি স্ট্যান্ডার্ড পিসিএর সমান?

যদি কার্নেল পিসিএতে আমি একটি লিনিয়ার কার্নেল $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$ , ফলাফলটি কি সাধারণ লিনিয়ার পিসিএ থেকে আলাদা হতে চলেছে ? সমাধানগুলি কি মৌলিকভাবে আলাদা বা কিছু সংজ্ঞায়িত সম্পর্ক বিদ্যমান?

pca kernel-trick

— tgoossens
সূত্র

উত্তর:

সংক্ষিপ্তসার: লিনিয়ার কার্নেল সহ কার্নেল পিসিএ মান পিসিএর ঠিক সমান।

যাক এর কেন্দ্রিক তথ্য ম্যাট্রিক্স হতে সঙ্গে আকার কলাম এবং ভেরিয়েবল সারি ডাটা পয়েন্ট। তারপরে কোভেরিয়েন্স ম্যাট্রিক্সটি দ্বারা দেওয়া হয়েছে, এর মূল অক্ষ এবং ইগেনভ্যালুগুলি পিসি রূপগুলি। একই সময়ে, এক তথাকথিত গ্রাম ম্যাট্রিক্স বিবেচনা করতে পারেন এর মাপ। এটি সহজেই দেখতে পাওয়া যায় যে এর পর্যন্ত একই ইগেনভ্যালুগুলি (অর্থাত্ পিসি রূপগুলি) রয়েছে $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$ ফ্যাক্টর, এবং এর আইজেনভেেক্টরগুলি হ'ল ইউনিট আদর্শের আকারের মূল উপাদান।

এটি ছিল স্ট্যান্ডার্ড পিসিএ। এখন, কার্নেল পিসিএ আমরা কিছু ফাংশন বিবেচনা যে অন্য ভেক্টর স্থান সাধারণত বৃহত্তর মাত্রা আছে যা প্রতিটি ডাটা পয়েন্ট মানচিত্র এমনকি অসীম। কার্নেল পিসিএ ধারণাটি এই নতুন স্থানটিতে স্ট্যান্ডার্ড পিসিএ করা। $\phi(x)$ $D_\mathrm{new}$

যেহেতু এই নতুন স্থানটির মাত্রিকতা খুব বড় (বা অসীম), তাই কোনও covariance ম্যাট্রিক্স গণনা করা শক্ত বা অসম্ভব। তবে, আমরা উপরে বর্ণিত পিসিএতে দ্বিতীয় পদ্ধতির প্রয়োগ করতে পারি। প্রকৃতপক্ষে, গ্রাম ম্যাট্রিক্স এখনও একই পরিচালনাযোগ্য আকারের হবে। এই ম্যাট্রিক্সের উপাদানগুলি দ্বারা দেওয়া হয় , যা আমরা কার্নেল ফাংশন $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ । এটিই কার্নেল ট্রিক হিসাবে পরিচিত : প্রকৃতপক্ষে কখনই গণনা করার প্রয়োজন হয় না , তবে কেবল । এই গ্রাম ম্যাট্রিক্সের ইগেনভেেক্টরগুলি লক্ষ্য স্পেসের মূল উপাদান হবে, আমরা আগ্রহী। $\phi()$ $K()$

আপনার প্রশ্নের উত্তর এখন সুস্পষ্ট হয়ে যায়। যদি , তবে কার্নেল গ্রাম ম্যাট্রিক্সটি হ্রাস যা প্রমিত গ্রাম ম্যাট্রিক্সের সমান এবং তাই মূল উপাদানগুলি পরিবর্তন হবে না। $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

খুব পঠনযোগ্য রেফারেন্স হ'ল স্কলকফফ বি, স্মোলা এ, এবং মেলার কেআর, কার্নেল প্রধান উপাদান বিশ্লেষণ, ১৯৯ ,, এবং নোট করুন যে উদাহরণ 1-এ তারা স্পষ্টভাবে স্ট্যান্ডার্ড পিসিএকে কার্নেল ফাংশন হিসাবে ডট পণ্য ব্যবহার করে হিসাবে উল্লেখ করেছেন:

kernel PCA

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

আপনার উত্তর থেকে ছবিগুলি কি ছিল? কিছু বই থেকে?

— পিনোচিও

@ পিনোকিও, চিত্রটি স্কোলকফ এট আল থেকে নেওয়া হয়েছে। কাগজ, রেফারেন্স এবং আমার উত্তর লিঙ্ক।

— অ্যামিবা বলেছেন রোনস্টেট মনিকা

"এটি সহজেই দেখতে পাওয়া যায় যে এর এন − 1 ফ্যাক্টর পর্যন্ত একই ইগেনভ্যালুগুলি (অর্থাত পিসি রূপগুলি) রয়েছে " - এর অর্থ এই নয় যে তারা তখন সম্পূর্ণ সমতুল্য নয়? ধরা যাক আমার কাছে n = 10 নমুনা, d = 200 মাত্রা সহ একটি ম্যাট্রিক্স রয়েছে। স্ট্যান্ডার্ড পিসিএতে আমি চাইলে ডেটাটি 199 টি মাত্রায় প্রজেক্ট করতে সক্ষম হব, তবে লিনিয়ার কার্নেল সহ কার্নেল পিসিএতে আমি কেবলমাত্র 10 মাত্রা পর্যন্ত করতে পারি।

— সিজার

@ সিজার, না, আপনার যদি এন = 10 নমুনা থাকে তবে কোভারিয়েন্স ম্যাট্রিক্সের 10-1 = 9 র‌্যাঙ্ক থাকবে এবং স্ট্যান্ডার্ড পিসিএ কেবল 9 টি মাত্রা (পাশাপাশি কার্নেল পিসিএ) পাবে। এখানে দেখুন: stats.stackexchange.com/questions/123318 ।

— অ্যামিবা বলছেন রিমনস্টেট মনিকা

আমি স্কলকফফ বি, স্মোলা এ, এবং মুলার কেআর-এর রেফারেন্স লিঙ্কের জন্য ফাইল পাইনি।

— পিবিবল

অ্যামিবার চমৎকার উত্তর ছাড়াও, সমতুল্যতা দেখার আরও সহজ উপায় রয়েছে। আবার দিন এর ডেটা ম্যাট্রিক্স হতে সঙ্গে আকার কলাম এবং ভেরিয়েবল সারি ডাটা পয়েন্ট। স্ট্যান্ডার্ড পিসিএ ম্যাট্রিক্স একটি একবচন মান পচানি গ্রহণ অনুরূপ সঙ্গে প্রধান উপাদান । রৈখিক কার্নেল এর একক মান পচন $X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ একই বাম একক ভেক্টর এবং তাই একই প্রধান উপাদান রয়েছে।

— মার্থা হোয়াইট
সূত্র

স্ট্যান্ডার্ড পিসিএর জন্য, আমি ভেবেছিলাম আমরা কোভেরিয়েন্স ম্যাট্রিক্সের এসভিডি সম্পর্কে যত্ন নিয়েছি, তাই সত্যই বুঝতে পারছি না এক্স এর এসভিডি কীভাবে প্রাসঙ্গিক, আপনি দয়া করে প্রসারিত করতে পারবেন?

— m0s

@ m0s পিসিএর জন্য আমরা কোভেরিয়েন্স ম্যাট্রিক্সের ইয়েজেনডিকম্পোজেশনটি যত্ন করি যা আমরা সাধারণত (কেন্দ্রিক) ডেটা ম্যাট্রিক্সের এসভিডি দ্বারা সম্পাদন করি।

— মিঃডিআরফেনার

আমার কাছে মনে হচ্ছে যে লিনিয়ার কার্নেল সহ একটি কেপিসিএ সাধারণ পিসিএর মতো হওয়া উচিত।

আপনি যে কোভেরিয়েন্স ম্যাট্রিক্স থেকে ইগেনুয়ালগুলি পেতে চলেছেন তা হ'ল:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

You can check with more details here.

— Jundiaius
সূত্র

Your answer is correct in spirit, but the formula looks confusing. KPCA works with Gram matrix

K (x_{i}, x_{j})

$K(x_i, x_j)$ , not with covariance matrix (for many nonlinear kernels it's actually impossible to compute covariance matrix as the target space has infinite dimensionality). See page 2 of the paper you cite.

— amoeba says Reinstate Monica