পিসিএর সাথে প্রাপ্ত নিম্ন-র‌্যাঙ্কের আনুমানিক ম্যাট্রিক্স দ্বারা পুনর্গঠনের ত্রুটির কোন আদর্শটি হ্রাস করা যায়?

ম্যাট্রিক্স একটি পিসিএ (অথবা SVD) পড়তা দেওয়া সঙ্গে একটি ম্যাট্রিক্স , আমরা জানি যে শ্রেষ্ঠ কম-সারির পড়তা হয় । $X$ $\hat X$ $\hat X$ $X$

এই অনুযায়ী হয় প্ররোচক আদর্শ $\parallel \cdot \parallel_2$ (অর্থাত বৃহত্তম eigenvalue আদর্শ) অথবা অনুযায়ী Frobenius করার আদর্শ? $\parallel \cdot \parallel_F$

pca svd matrix-decomposition

— Donbeo
সূত্র

একক শব্দের উত্তর: উভয়ই।

আসুন নিয়ম সংজ্ঞা দিয়ে শুরু করা যাক। ম্যাট্রিক্স জন্য $X$ অপারেটর $2$ নরমকে

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$ এবং ফ্রোবেনিয়াস নর্ম হিসাবে

হিসাবে সংজ্ঞায়িত করা হয়েছে

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$ যেখানে

s_{i}

$s_i$ এর একক মান , অর্থাত্

তির্যক উপাদানগুলি একক মান পচন

।

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

ডেটা যখন কেন্দ্রিক হয় তখন পিসিএ একই একবাক্য মান পচন দ্বারা দেওয়া হয়। $US$ প্রধান উপাদান, $V$ প্রধান অক্ষ, সহভেদাংক ম্যাট্রিক্স অর্থাত eigenvectors, এবং পুনর্গঠন হয় $X$ শুধুমাত্র সঙ্গে $k$ প্রধান উপাদান সংশ্লিষ্ট $k$ বৃহত্তম একবচন মান দেওয়া হয় $X_k = U_k S_k V_k^\top$ ।

Eckart-ইয়াং উপপাদ্য বলছেন যে ম্যাট্রিক্স পুনর্গঠন ত্রুটির আদর্শ কমানোর হয়সকল ম্যাট্রিকের মধ্যে পদমর্যাদার । এটি ফ্রোবিনিয়াস আদর্শ এবং অপারেটর সাধারণ উভয়ের জন্যই সত্য । মন্তব্যগুলিতে @ কার্ডিনাল দ্বারা চিহ্নিত হিসাবে, এটি প্রথম ১৯০7 সালে ফ্রোবিনিয়াস মামলার জন্য শ্মিড্ট (গ্রাম-শ্মিট খ্যাতির) দ্বারা প্রমাণিত হয়েছিল। এটি পরে একার্ট এবং ইয়ং 1936 সালে নতুন আবিষ্কার করেছিলেন এবং এখন বেশিরভাগই তাদের নামের সাথে যুক্ত। মিরস্কি ১৯৫৮ সালে তাত্ত্বিককে সাধারণভাবে রূপান্তরিত করেছিলেন যে সমস্ত নিয়মাবলী একক রূপান্তরকরণের অধীনে আক্রমণাত্মক এবং এতে অপারেটর 2-আদর্শও অন্তর্ভুক্ত রয়েছে। $X_k$ $\|X-A\|$ $A$ $k$ $2$

এই উপপাদ্যটিকে কখনও কখনও এককার্ট-ইয়ং-মিরস্কি উপপাদ্য বলা হয়। স্টুয়ার্ট (1993) এটিকে শ্মিডিট আনুমানিক উপপাদ্য বলে। এমনকি আমি এটিকে শ্মিট-এককার্ট-ইয়ং-মিরস্কি উপপাদ্য বলেও দেখেছি।

এককার্ট এবং ইয়ং, ১৯৩36 , নিম্ন স্তরের আরেকজন দ্বারা একটি ম্যাট্রিক্সের সমাপ্তি
মিরস্কি, 1958, প্রতিসম गेজ ফাংশন এবং এককভাবে আক্রমণকারী নিয়ম
স্টুয়ার্ট, 1993, একক মান পচন প্রারম্ভিক ইতিহাসে

অপারেটরের জন্য প্রমাণ সাধারণ $2$

পুরো র‌্যাঙ্কের হতে দিন । যেহেতু র‌্যাঙ্ক , এর নাল স্পেসে মাত্রা রয়েছে। সবচেয়ে বড় একবাক্য মানের সাথে এর ডান একক ভেক্টর দ্বারা বিস্তৃত স্থানটির মাত্রা রয়েছে। সুতরাং এই দুটি স্পেস অবশ্যই ছেদ করা উচিত। যাক ছেদ থেকে একটি একক ভেক্টর হও। তারপরে আমরা পাই: কিউইডি। $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ এক্স - একজন ‖_{2}^{2} \geq ‖ (এক্স - একজন) W ‖_{2}^{2} = ‖ এক্স W ‖_{2}^{2} = Σ_{আমি = 1}^{ট + + 1} {গুলি}_{আমি}^{2} ({বনাম}_{আমি}^{⊤} W)^{2} \geq {গুলি}_{ট + + 1}^{2} = ‖ এক্স - {এক্স}_{ট} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

ফ্রোবিনিয়াস আদর্শের প্রমাণ

আমরা র‌্যাঙ্ক এর ম্যাট্রিক্স করতে চাই যা । আমরা উত্পাদক করতে , যেখানে হয়েছে orthonormal কলাম। স্থির জন্য কমানো সমাধান সাথে একটি রিগ্রেশন সমস্যা । এটি ইন করে, আমরা দেখতে পাচ্ছি যে এখন আমাদের যেখানে হ'ল এর কোভেরিয়েন্স ম্যাট্রিক্স , অর্থাৎ $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ এক্স - এক্স ওয়াট {ওয়াট}^{⊤} ‖^{2} = ‖ এক্স ‖^{2} - ‖ এক্স ওয়াট {ওয়াট}^{⊤} ‖^{2} = গ ণ এন গুলি টি - টি R (ওয়াট {ওয়াট}^{⊤} {এক্স}^{⊤} এক্স ওয়াট {ওয়াট}^{⊤}) = গ ণ এন গুলি টি - গ ণ এন গুলি টি \cdot টি R ({ওয়াট}^{⊤} Σ ওয়াট),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ । এর অর্থ দাঁড়ায় যে পুনর্নির্মাণের ত্রুটিটি কিছু অরথনরমাল ভেক্টরগুলির কলাম হিসাবে প্রক্ষেপণের মোট বৈকল্পিকতা সর্বাধিক করে তোলা হয়েছে।

W

$W$

k

$k$

এটি সুপরিচিত যে এগুলি কোভেরিয়েন্স ম্যাট্রিক্সের প্রথম ইগেনভেেক্টর। আসলে, যদি তবে । । লিখিত রয়েছে যার অরথনোরাল কলাম রয়েছে, আমরা পেয়েছি সর্বাধিক অর্জনের সাথে । এর পরে উপপাদ্য অবিলম্বে অনুসরণ করে। $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

টি R ({ওয়াট}^{⊤} Σ ওয়াট) = টি R ({আর}^{⊤} Λ আর) = \underset{আমি}{Σ} λ_{আমি} \underset{ঞ}{Σ} {আর}_{আমি ঞ}^{2} \leq Σ_{আমি = 1}^{ট} λ_{ট},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

নিম্নলিখিত তিনটি সম্পর্কিত থ্রেড দেখুন:

ফ্রোবিনিয়াস আদর্শের জন্য প্রমাণের প্রথম চেষ্টা

এই প্রমাণটি আমি অনলাইনে কোথাও খুঁজে পেয়েছি তবে এটি ভুল (একটি ফাঁক রয়েছে), হিসাবে মন্তব্যগুলিতে @ কার্ডিনাল দ্বারা ব্যাখ্যা করা হয়েছে।

ফ্রোবেনিয়াস রীতিটি একক রূপান্তরগুলির অধীনে আক্রমণাত্মক, কারণ তারা একক মানগুলি পরিবর্তন করে না। সুতরাং আমরা পাই: যেখানে । অবিরত: এর সমস্ত অফ-তির্যক উপাদানগুলি শূন্য হয় এবং সমস্ত তির্যক পদগুলি বৃহত্তম একক মানগুলিকে বাতিল করে [ফাঁক এখানে: এটি সুস্পষ্ট নয়] , অর্থাৎ এবং অতএব ।

‖ এক্স - একজন ‖_{এফ} = ‖ ইউ এস {ভী}^{⊤} - একজন ‖ = ‖ এস - {ইউ}^{⊤} একজন ভী ‖ = ‖ এস - বি ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ এক্স - একজন ‖_{এফ} = \underset{আমি ঞ}{Σ} ({এস}_{আমি ঞ} - {বি}_{আমি ঞ})^{2} = \underset{আমি}{Σ} ({গুলি}_{আমি} - {বি}_{আমি আমি})^{2} + + \underset{আমি \neq ঞ}{Σ} {বি}_{আমি ঞ}^{2} ।

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

ফ্রোবেনিয়াস আদর্শের ক্ষেত্রে প্রমাণটি সঠিক নয় (বা কমপক্ষে সম্পূর্ণ) কারণ এখানে যুক্তি সম্ভবত "ছোট" অফ থাকা অবস্থায় একই র‌্যাঙ্কের একটি ম্যাট্রিক্স অন্যান্য কিছু তির্যক পদ বাতিল করতে পারে- এমন সম্ভাবনাটি সরিয়ে দেয় না- কর্ণ। ফাঁকটি আরও স্পষ্টভাবে লক্ষ করুন যে ত্রিভুজগুলি ধ্রুবক হিসাবে ধরে রাখা এবং অফ-ডায়াগোনগুলি "শূন্য করা" প্রায়শই প্রশ্নের মধ্যে ম্যাট্রিক্সের পদমর্যাদা বাড়িয়ে তুলতে পারে !

— কার্ডিনাল

এছাড়াও মনে রাখবেন SVD গোড়ার দিকে যেমন 1874 যেমন Beltrami পরিচিত হয়েছিল (অন্তত একটি বেশ সাধারণভাবে, যদিও বিশেষ ক্ষেত্রে) এবং জর্ডান

— অঙ্কবাচক

@ কার্ডিনাল: হুম মিম, আমি ফাঁক দেখছি তা নিশ্চিত নই। যদি বৃহত্তম সংখ্যার পরিবর্তে কিছু অন্যান্য তির্যক পদগুলি বাতিল করে এবং এর পরিবর্তে কিছু ননজারো অফ-ডায়াগোনাল পদ থাকে, তবে উভয় এবং , বাড়তে চলেছে। সুতরাং এটি কেবল পুনর্গঠনের ত্রুটি বাড়িয়ে তুলবে। কোন? তবুও, আমি সাহিত্যে ফ্রোবিনিয়াস আদর্শের জন্য আরও একটি প্রমাণ সন্ধান করার চেষ্টা করেছি এবং পড়েছি যে এটি অপারেটরের আদর্শের ক্ষেত্রে সহজেই অনুসরণ করা উচিত। তবে এখন পর্যন্ত আমি দেখতে পাচ্ছি না এটি কীভাবে অনুসরণ করা উচিত ...

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— অ্যামিবা বলেছেন

আমি কি করতে জিডব্লিউ স্টুয়ার্ট (1993) মত, একবচন মান পচানি, এর প্রাথমিক ইতিহাসের উপর SIAM পর্যালোচনা , ভোল। 35, না। 4, 551-566 এবং historicalতিহাসিক বিষয়ে আপনার পূর্বের আগ্রহ দেখানো, আমি মনে করি আপনিও তা করবেন। দুর্ভাগ্যক্রমে, আমি মনে করি স্টুয়ার্ট অবিচ্ছিন্নভাবে শ্মিড্টের 1907 প্রমাণের কমনীয়তাটিকে অস্বীকার করছেন dism এটির মধ্যে লুকানো একটি রিগ্রেশন ব্যাখ্যা যা স্টুয়ার্ট উপেক্ষা করে এবং যা সত্যিই বেশ সুন্দর। এমন আরও একটি প্রমাণ রয়েছে যা আপনি গ্রহণ করা প্রাথমিক তির্যক পদ্ধতির অনুসরণ করে তবে শূন্যস্থানটি পূরণ করতে অতিরিক্ত কিছু কাজ প্রয়োজন। (অবিরত)

— কার্ডিনাল

@ কার্ডিনাল: হ্যাঁ, আপনি ঠিক বলেছেন, এখন আমিও ফাঁকটি দেখতে পাচ্ছি। স্টুয়ার্টের কাগজের জন্য অনেক ধন্যবাদ, এটি খুব আকর্ষণীয় পঠিত ছিল। আমি দেখতে পাচ্ছি যে স্টিয়ার্ট শ্মিড্ট এবং ওয়েইলের প্রমাণাদি উপস্থাপন করেছেন, তবে আমি এখানে যেটি অনুলিপি করতে চাই তার চেয়ে উভয়ই আরও জটিল দেখায় (এবং এখনও এগুলি সাবধানতার সাথে অধ্যয়নের জন্য আমার সময় হয়নি)। আমি অবাক: আমি এটি একটি খুব সাধারণ ফলাফল বলে প্রত্যাশা করেছি, তবে মনে হয় এটি আমার চেয়ে কম তুচ্ছ। বিশেষত, আমি আশা করতাম না যে ফ্রোবেনিয়াস কেসটি অপারেটরের আদর্শের চেয়ে অনেক জটিল। আমি এখন পোস্ট সম্পাদনা করব। শুভ নব বর্ষ!

— অ্যামিবা বলছেন

একক শব্দের উত্তর: উভয়ই।

অপারেটরের জন্য প্রমাণ সাধারণ222

ফ্রোবিনিয়াস আদর্শের প্রমাণ

ফ্রোবিনিয়াস আদর্শের জন্য প্রমাণের প্রথম চেষ্টা

অপারেটরের জন্য প্রমাণ সাধারণ $2$