জ্যামিতিক সমস্যা (দূরত্ব সহ) থেকে পিসিএ কীভাবে রৈখিক বীজগণিত সমস্যায় পরিণত হয় (ইগেনভেেক্টরগুলির সাথে) তার একটি স্বজ্ঞাত ব্যাখ্যা কী?

Question

আমি বিভিন্ন টিউটোরিয়াল এবং প্রশ্ন (যেমন সহ পিসিএ সম্পর্কে অনেক, পড়েছি এই এক , এই এক , এই এক , এবং এই এক )।

পিসিএ যে জ্যামিতিক সমস্যাটি অপ্টিমাইজ করার চেষ্টা করছে তা আমার কাছে স্পষ্ট: পিসিএ পুনর্নির্মাণের (প্রক্ষেপণ) ত্রুটিটি হ্রাস করে প্রথম প্রধান উপাদানটি অনুসন্ধান করার চেষ্টা করে, যা একই সাথে অভিক্ষিপ্ত তথ্যের বৈচিত্রকে সর্বাধিক করে তোলে।

আমি যখন প্রথম এটি পড়ি, আমি ততক্ষনে লিনিয়ার রিগ্রেশন জাতীয় কিছু ভেবেছিলাম; যদি আপনি প্রয়োজন হয় গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে এটি সমাধান করতে পারেন।

যাইহোক, তখন আমি যখন পড়ি যে লিনিয়ার বীজগণিত ব্যবহার করে এবং আইজেনভেেক্টর এবং ইগেনভ্যালুগুলি খুঁজে পেয়ে অপ্টিমাইজেশনের সমস্যাটি সমাধান করা হয়েছে তখন আমার মনটি ফুঁসে উঠল। লিনিয়ার বীজগণিতের এই ব্যবহারটি কীভাবে কার্যকর হয় তা আমি কেবল বুঝতে পারি না।

সুতরাং আমার প্রশ্নটি: পিসিএ জ্যামিতিক অপ্টিমাইজেশন সমস্যা থেকে রৈখিক বীজগণিত সমস্যার দিকে কীভাবে ফিরে যেতে পারে? কেউ কি একটি স্বজ্ঞাত ব্যাখ্যা দিতে পারেন?

আমি কোন উত্তর না খোঁজ করছি এই এক বলে "আপনি যখন পিসিএ গাণিতিক সমস্যা সমাধানের, এটা eigenvalues এবং সহভেদাংক ম্যাট্রিক্স eigenvectors খোঁজার সমতূল্য হচ্ছে শেষ পর্যন্ত।" দয়া করে ব্যাখ্যা করুন কেন ইগেনভেেক্টরগুলি মূল উপাদান হিসাবে বেরিয়ে আসে এবং এগনভ্যালুগুলি কেন তাদের উপর উপস্থাপিত তথ্যের বৈকল্পিকতা হিসাবে উপস্থিত হয়

আমি কোনও সফটওয়্যার ইঞ্জিনিয়ার এবং কোনও গণিতবিদ নই, উপায় দ্বারা।

দ্রষ্টব্য: উপরের চিত্রটি এই পিসিএ টিউটোরিয়াল থেকে নেওয়া এবং সংশোধিত হয়েছিল ।

Comments

আপনার প্রথম লিঙ্কটির পিছনে দীর্ঘ থ্রেডে অ্যানিমেশন সহ @ অ্যামিবার উত্তর রয়েছে, যা মূল বিষয়টিকে ব্যাখ্যা করে। পিসিএ হ'ল ডেটা ভ্যাক্টর (ভেরিয়েবল) হিসাবে অসম্পর্কিত না হওয়া অবধি ডেটা অ্যাক্সেস (কলাম) এর প্রবর্তন । এ জাতীয় ঘূর্ণন ম্যাট্রিক্স আইজেন্ডেকম্পোজিশন বা একক মান ভলনের মাধ্যমে পাওয়া যায় এবং ইগেনভেেক্টর ম্যাট্রিক্স নামে পরিচিত।

— ttnphns

এ ছাড়া, আপনি যদি কোনও গণিতবিদ না হন (তবে আমি খুব বেশি নই) আপনি সম্ভবত শুনেছেন যে লিনিয়ার বীজগণিত এবং ইউক্লিডিয়ান জ্যামিতি খুব গণিতের ঘনিষ্ঠভাবে আবদ্ধ ক্ষেত্র; এমনকি তারা বিশ্লেষণাত্মক জ্যামিতি নামে একটি শৃঙ্খলা হিসাবে একসাথে অধ্যয়ন করা হয়।

— ttnphns

optimization problemহ্যাঁ পিসিএ সমস্যাটি (পুনরাবৃত্ত, অভিজাত) অপ্টিমাইজেশান পদ্ধতির মাধ্যমে সমাধান করা যেতে পারে, আমি বিশ্বাস করি। তবে যেহেতু এটি গণিতের মাধ্যমে ফর্ম সমাধানটি বন্ধ করে দিয়েছে কেন সেই সহজ, দক্ষ সমাধানটি ব্যবহার করবেন না?

— ttnphns

আপনি জিজ্ঞাসা করুন provide an intuitive explanation। আমি আশ্চর্য হই যে কেন আমি লিঙ্কযুক্ত অ্যামিবা দ্বারা স্বজ্ঞাত এবং স্পষ্ট উত্তর আপনার পক্ষে উপযুক্ত হবে না। তুমি জিজ্ঞাসা _why_ eigenvectors come out to be the principal components...করছ কেন? সংজ্ঞানুসারে! Eigenvectors হয় একটি ডাটা মেঘ অধ্যক্ষ দিকনির্দেশ।

— ttnphns

$C$$w$$Cw=\lambda w$

Answer 1

সমস্যা বিবৃতি

পিসিএ যে জ্যামিতিক সমস্যাটি অপ্টিমাইজ করার চেষ্টা করছে তা আমার কাছে স্পষ্ট: পিসিএ পুনর্নির্মাণের (প্রক্ষেপণ) ত্রুটিটি হ্রাস করে প্রথম প্রধান উপাদানটি অনুসন্ধান করার চেষ্টা করে, যা একই সাথে অভিক্ষিপ্ত তথ্যের বৈচিত্রকে সর্বাধিক করে তোলে।

সেটা ঠিক. আমি এই দুই গঠন মধ্যে আমার উত্তর সংযোগ ব্যাখ্যা এখানে (Math ছাড়া) অথবা এখানে (Math সহ)।

$\mathbf C$$\mathbf w$$\|\mathbf w\|=1$$\mathbf w^\top \mathbf{Cw}$

(কেবলমাত্র যদি এটি পরিষ্কার হয় না: যদি কেন্দ্রের ডেটা ম্যাট্রিক্স হয় তবে প্রজেকশনটি by দ্বারা দেওয়া হয় এবং এর ।)$\mathbf X$$\mathbf{Xw}$$\frac{1}{n-1}(\mathbf{Xw})^\top \cdot \mathbf{Xw} = \mathbf w^\top\cdot (\frac{1}{n-1}\mathbf X^\top\mathbf X)\cdot \mathbf w = \mathbf w^\top \mathbf{Cw}$

অন্যদিকে , সংজ্ঞা অনুসারে এর একটি আইজেনভেেক্টর হ'ল যে কোনও ভেক্টর যেমন ।$\mathbf C$$\mathbf v$$\mathbf{Cv}=\lambda \mathbf v$

দেখা যাচ্ছে যে প্রথম মূল দিকনির্দেশটি ইগেনভেક્ટર দ্বারা বৃহত্তম ইগেনভ্যালু দিয়ে দেওয়া হয়েছে। এটি একটি অনানুষ্ঠানিক এবং অবাক করা বিবৃতি।

---

proofs

পিসিএ-তে যদি কোনও বই বা টিউটোরিয়াল খোলে, সেখানে উপরের বিবৃতিটির নীচের প্রায় এক-লাইনের প্রমাণ খুঁজে পেতে পারেন। আমরা ; সীমাবদ্ধতার অধীনে সর্বোচ্চ করতে চাইএটি একটি ল্যাঞ্জরেঞ্জ গুণক প্রবর্তন এবং সর্বোচ্চ ; পার্থক্যগতভাবে আমরা পাই যা ইগেনভেেক্টর সমীকরণ। আমরা দেখি যে আসলে হয়েছে উদ্দেশ্য ফাংশন, যা দেয় মধ্যে এই সমাধান দ্বারা substituting বৃহত্তম eigenvalue হতে$\mathbf w^\top \mathbf{Cw}$$\|\mathbf w\|=\mathbf w^\top \mathbf w=1$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1)$$\mathbf{Cw}-\lambda\mathbf w=0$$\lambda$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1) = \mathbf w^\top \mathbf{Cw} = \lambda\mathbf w^\top \mathbf{w} = \lambda$ । এই উদ্দেশ্যমূলক ফাংশনটি সর্বাধিক করা উচিত এই কারণে , mb অবশ্যই বৃহত্তম ইগন্যাল্যু, কিউইডি হতে হবে।$\lambda$

এটি বেশিরভাগ মানুষের পক্ষে খুব স্বজ্ঞাত নয়।

আরও ভাল প্রমাণ (উদাহরণস্বরূপ @ কার্ডিনাল দ্বারা এই পরিষ্কার উত্তর দেখুন ) বলে যে ম্যাথবিএফ সমমিত ম্যাট্রিক্স তাই এটি এর ইগেনভেક્ટર ভিত্তিতে তির্যক। (এই আসলে বলা হয় ভুতুড়ে উপপাদ্য ।) সুতরাং আমরা একটি লম্ব ভিত্তিতে, যথা eigenvectors কর্তৃক প্রদত্ত এক, যেখানে নির্বাচন করতে পারবেন তির্যক এবং eigenvalues হয়েছে তির্যক উপর। সেই ভিত্তিতে, সরল করে , বা অন্য কথায় ওজনযুক্ত যোগফল দ্বারা দেওয়া হয়। এটি প্রায় তাত্ক্ষণিক যে এই অভিব্যক্তিটি সর্বাধিকতর করা উচিত one নেওয়া উচিত$\mathbf C$$\mathbf C$$\lambda_i$$\mathbf w^\top \mathbf{C w}$$\sum \lambda_i w_i^2$$\mathbf w = (1,0,0,\ldots, 0)$, অর্থাত্ প্রথম , (প্রকৃতপক্ষে, এই সমাধান থেকে বিচ্যুত হওয়া এবং ছোট ব্যবসায়ের অংশগুলির জন্য বৃহত্তম "ট্রেডিং" অংশগুলি কেবলমাত্র সামগ্রিক ভিন্নতার দিকে পরিচালিত করবে)। মনে রাখবেন যে of এর মান ভিত্তির উপর নির্ভর করে না! ইগেনভেেক্টর ভিত্তিতে পরিবর্তন করা একটি ঘূর্ণনের সমান, তাই 2 ডি-তে কোনও ব্যক্তি কেবল স্ক্রেটারপ্লট দিয়ে কাগজের টুকরো ঘোরানোর কল্পনা করতে পারেন; স্পষ্টতই এটি কোনও রূপ পরিবর্তন করতে পারে না।$\lambda_1$$\mathbf w^\top \mathbf{C w}$

আমি মনে করি এটি একটি খুব স্বজ্ঞাত এবং খুব দরকারী যুক্তি, তবে এটি বর্ণালী উপপাদ্যের উপর নির্ভর করে। সুতরাং এখানে আসল বিষয়টি আমার মনে হয়: বর্ণালী উপপাদ্যের পিছনে অন্তর্নিহিততা কী?

---

বর্ণালী উপপাদ্য

একটি প্রতিসম ম্যাট্রিক্স । তার eigenvector নিন বৃহত্তম eigenvalue সঙ্গে । এই ইগেনভেেক্টরটিকে প্রথম ভিত্তিতে ভেক্টর করুন এবং এলোমেলোভাবে অন্যান্য ভিত্তি ভেক্টরগুলি চয়ন করুন (যেমন এটি সমস্তই অর্থনরমাল)। এই ভিত্তিতে কীভাবে দেখবে ?$\mathbf C$$\mathbf w_1$$\lambda_1$$\mathbf C$

উপরের-বাম কোণে থাকবে , কারণ এই ভিত্তিতে এবং এর সাথে সমান হতে হবে ।$\lambda_1$$\mathbf w_1=(1,0,0\ldots 0)$$\mathbf {Cw}_1=(C_{11}, C_{21}, \ldots C_{p1})$$\lambda_1\mathbf w_1 = (\lambda_1,0,0 \ldots 0)$

একই যুক্তি অনুসারে এটিতে column অধীনে প্রথম কলামে শূন্য ।$\lambda_1$

তবে এটি প্রতিসাম্যযুক্ত হওয়ায় এটিতে row পরে প্রথম সারিতে জিরো থাকবে । সুতরাং এটি দেখতে হবে:$\lambda_1$

$$\mathbf C=\begin{pmatrix}\lambda_1 & 0 & \ldots & 0 \\ 0 & & & \\ \vdots & & & \\ 0 & & & \end{pmatrix},$$

যেখানে খালি জায়গার অর্থ সেখানে কিছু উপাদান রয়েছে block কারণ ম্যাট্রিক্স প্রতিসম হয়, এই ব্লকটিও প্রতিসাম্যপূর্ণ হবে। সুতরাং আমরা ঠিক একই যুক্তি প্রয়োগ করতে পারেন, কার্যকরীভাবে দ্বিতীয় ভিত্তি বাহক হিসেবে দ্বিতীয় eigenvector ব্যবহার করে, এবং পেয়ে এবং তির্যক উপর। তির্যক না হওয়া অবধি এটি অবিরত থাকতে পারে । এটি মূলত বর্ণালী উপপাদ্য। (এটি কীভাবে কেবল কাজ করে তা লক্ষ্য করুন কারণ প্রতিসম হয় is)$\lambda_1$$\lambda_2$$\mathbf C$$\mathbf C$

---

ঠিক একই যুক্তির আরও বিমূর্ত সংস্কার এখানে reform

আমরা জানি যে , তাই প্রথম একটি 1-মাত্রিক সংজ্ঞায়িত করে যেখানে একটি স্কেলার গুণক হিসাবে কাজ করে। আসুন এখন যেকোন ভেক্টর orthogonal নেওয়া যাক । তারপরে এটি প্রায় অবিলম্বে যে এছাড়াও কাছে অরথোগোনাল । প্রকৃতপক্ষে:$\mathbf{Cw}_1 = \lambda_1 \mathbf w_1$$\mathbf C$$\mathbf v$$\mathbf w_1$$\mathbf {Cv}$$\mathbf w_1$

$$\mathbf w_1^\top \mathbf{Cv} = (\mathbf w_1^\top \mathbf{Cv})^\top = \mathbf v^\top \mathbf C^\top \mathbf w_1 = \mathbf v^\top \mathbf {Cw}_1=\lambda_1 \mathbf v^\top \mathbf w_1 = \lambda_1\cdot 0 = 0.$$

এর অর্থ হ'ল পুরো অবশিষ্ট উপর যে এটি থেকে পৃথক থাকে । এটি প্রতিসম ম্যাট্রিকগুলির গুরুত্বপূর্ণ সম্পত্তি। সুতরাং আমরা সেখানে বৃহত্তম খুঁজে পেতে পারি, , এবং একই পদ্ধতিতে এগিয়ে চলতে পারি, অবশেষে eigenvectors এর একটি orthonormal ভিত্তি নির্মাণ করে।$\mathbf C$$\mathbf w_1$$\mathbf w_1$$\mathbf w_2$

Comments

"ল্যাংরেঞ্জ গুণক" সত্যিই আমার পক্ষে পরিষ্কার। তবে, আপনি আমাকে বলতে পারবেন কেন আমাদের একক দৈর্ঘ্যের সীমাবদ্ধতা প্রয়োজন? ধন্যবাদ

— হাইটাও দু

@ hxd1011 এই প্রশ্নের ঠিক এখানে ইতিমধ্যে কিন্তু সংক্ষেপে: যে কারণ অন্যথায় আপনি সংখ্যাবৃদ্ধি করতে পারেন কোন সংখ্যা দ্বারা এবং এই সংখ্যা বর্গ দ্বারা বৃদ্ধি হবে। সুতরাং সমস্যাটি সংজ্ঞায়িত হয়ে যায়: এই প্রকাশের সর্বাধিক অসীম। বস্তুত, দিকের উপর অভিক্ষেপ ভ্যারিয়েন্স হয় শুধুমাত্র যদি ইউনিট দৈর্ঘ্য হল। $w$$w^\top Cw$$w$$w^\top Cw$$w$

— অ্যামিবা বলেছেন মোনিকা

আমি অনুমান করি যে বেশিরভাগ পাঠকের কাছে কিছুটা বেশি পরিচিত; আমি এটি এখানে প্রতিস্থাপন। ধন্যবাদ। $n-1$

— অ্যামিবা বলেছেন মোনিকা

@ আমেবা: উত্তরের জন্য আপনাকে ধন্যবাদ আমি আপনার কিছু স্বীকৃতি দ্বারা বিভ্রান্ত। আপনি ইউনিট-দৈর্ঘ্যের ভেক্টরকে নির্দেশ করতে ডাব্লু ব্যবহার করেন যা প্রথম ইগেনভেક્ટર (মূল উপাদান) হিসাবে দেখা দেয়। আমি যখন আর সি (যেমন prcomp(iris[,1:4], center=T, scale=T)) তে পিসিএ চালাই, তখন আমি ইউনিট-দৈর্ঘ্যের ইগেনভেেক্টরগুলিকে দেখতে ভাসতে ভাসতে চাই (0.521, -0.269, 0.580, 0.564)। যাইহোক, "প্রুফস" এর অধীনে আপনার উত্তরে আপনি লিখেন এটি প্রায় অবিলম্বে যে এই অভিব্যক্তিটি সর্বাধিকতর করা উচিত কেবল ডাব্লু = (1,0,0,…, 0), অর্থাৎ প্রথম ইগেনভেেক্টর গ্রহণ করা উচিত । আপনার প্রুফের আইজেনভেেক্টরটি কেন এতটা সুগঠিত দেখাচ্ছে?

— stackoverflowuser2010

হাই @ ইউজার ৫৮৮65৫, ন্যাজ দেওয়ার জন্য ধন্যবাদ: আমি প্রথম বারের মত উত্তর দিতে সহজভাবেই ভুলে গেছি। সরু, একটি স্কেলার - এটি কেবল একটি সংখ্যা। যে কোনও সংখ্যা হ'ল "প্রতিসম": এবং এটি এর ট্রান্সপোসের সমান। এটা কি কোন মানে আছে? $w^\top_1 C v$

— অ্যামিবা বলছে মনিকাকে

Answer 2

এককার্ট এবং ইয়ং (১৯ps36 সালে https://ccrma.stanford.edu/~dattorro/eckart%26young.1936.pdf ) এর 1936 সালের ফলাফল রয়েছে , যা নিম্নলিখিতটি জানিয়েছে

$\sum_1^r d_k u_k v_k^T = arg min_{\hat{X} \epsilon M(r)} ||X-\hat{X}||_F^2$

যেখানে এম (আর) হ'ল র‌্যাঙ্ক-আর ম্যাট্রিক্সের সেট, যার অর্থ হ'ল এক্স এর এসভিডির প্রথম আর উপাদানগুলি এক্সের সেরা নিম্ন-র‌্যাঙ্কের ম্যাট্রিক্সের প্রায় অনুমান দেয় এবং সেরাটি স্কোয়ার ফ্রোবেনিয়াস রীতি অনুসারে সংজ্ঞায়িত হয় - বর্গের যোগফল একটি ম্যাট্রিক্স উপাদান।

এটি ম্যাট্রিক্সের জন্য একটি সাধারণ ফলাফল এবং ডেটা সেট বা মাত্রিকতা হ্রাসের সাথে প্রথম দর্শনের কোনও সম্পর্ক নেই।

তবে আপনি যদি ম্যাট্রিক্স হিসাবে না ভাবেন তবে বরং ম্যাট্রিক্স কলামগুলি ডেটা পয়েন্টের ভেক্টরকে উপস্থাপন করে মনে করেন তবে হল স্কোয়ার ত্রুটির পার্থক্যের ক্ষেত্রে ন্যূনতম উপস্থাপনা ত্রুটির সাথে সান্নিধ্য।$X$$X$$\hat{X}$

Answer 3

এটি আমার পিসিএর পিছনে লিনিয়ার বীজগণিত গ্রহণ take রৈখিক বীজগণিত, কী উপপাদ্য অন্যতম । এটিতে বলা হয় যে যদি এস এর কোনও সহমিত এন এবং মেট্রিক্স সহ বাস্তব সহগ রয়েছে তবে এস এর সমস্ত ইগেনভ্যালুগুলি আসল হওয়ার সাথে এন এর আইজেনভেেক্টর রয়েছে। এর অর্থ আমরা ধনাত্মক এন্ট্রি সহ ডি একটি তির্যক ম্যাট্রিক্স দিয়ে write লিখতে পারি । এটি এবং ধরে নিতে কোনও ক্ষতি নেই । এ হ'ল বেস ম্যাট্রিক্সের পরিবর্তন। এটি হ'ল যদি আমাদের মূল ভিত্তিটি , তবে প্রদত্ত ভিত্তির প্রতি সম্মান সহ$\textit{Spectral Theorem}$$S = ADA^{-1}$$D = \mbox{diag} (\lambda_1, \lambda_2, \ldots, \lambda_n)$$\lambda_1 \geq \lambda_2 \geq \ldots \geq \lambda_n$$x_1,x_2, \ldots, x_n$$A(x_1), A(x_2), \ldots A(x_n)$, এস এর ক্রিয়াটি তির্যক। এর অর্থ হ'ল অর্থোন্নত ভিত্তি হিসাবে বিবেচনা করা যেতে পারে যদি আমাদের কোভেরিয়েন্স ম্যাট্রিক্স এন ভেরিয়েবলের n পর্যবেক্ষণের জন্য হয় তবে আমরা সম্পন্ন হয়ে যাব। দ্বারা সরবরাহিত ভিত্তি হ'ল পিসিএ ভিত্তি। এটি লিনিয়ার বীজগণিত তথ্য থেকে অনুসরণ করে। সংক্ষেপে এটি সত্য কারণ একটি পিসিএ ভিত্তি ইগেনভেেক্টরগুলির ভিত্তি এবং সেখানে মাপের এন বর্গক্ষেত্রের ম্যাট্রিক্সের প্রায় N ইগেনভেেক্টর রয়েছে। অবশ্যই বেশিরভাগ ডেটা ম্যাট্রিকগুলি বর্গক্ষেত্র নয়। এক্স যদি পি ভেরিয়েবলের এন পর্যবেক্ষণ সহ ডেটা ম্যাট্রিক্স হয় তবে এক্স পি দ্বারা পি আকারের এন। আমি ধরে নেব যে (ভেরিয়েবলের চেয়ে আরও বেশি পর্যবেক্ষণ) এবং সেই$A(x_i)$$||A(x_i)|| = \lambda_i$$A(x_i)$
$n>p$$rk(X) = p$(সমস্ত ভেরিয়েবলগুলি লৈখিক স্বতন্ত্র)। উভয়ই অনুমান প্রয়োজনীয় নয়, তবে এটি অন্তর্দৃষ্টি দিয়ে সহায়তা করবে। লিনিয়ার বীজগণিত বর্ণালী উপপাদ্য থেকে একটি সাধারণীকরণ আছে যা একক মান পচন বলে। এই জাতীয় এক্সের জন্য এটিতে বলা হয়েছে যে U এর সাথে ইউ, ভি অরথনোরমাল (বর্গ) মাপের ম্যাট্রিক্স এন এবং পি এবং একটি অ-নেতিবাচক সহ একটি আসল তির্যক ম্যাট্রিক্স তির্যক এন্ট্রি। আবার আমরা ভি এর ভিত্তিতে পুনর্বিন্যাস করতে পারি যাতে ম্যাট্রিক্সের ক্ষেত্রে, এর অর্থ যদি এবং যদি । $X = U \Sigma V^{t}$$\Sigma = (s_{ij})$$s_{11} \geq s_{22} \geq \ldots s_{pp}> 0$ i ≤ p s i i = 0 i > n v i Σ V $X(v_i) = s_{ii} u_i$$i \leq p$$s_{ii} = 0$$i> n$$v_i$পিসিএ পচিয়ে দিন। আরও স্পষ্টভাবে হ'ল পিসিএ পচা। কেন? আবার, লিনিয়ার বীজগণিত বলছে যে কেবলমাত্র পি আইজেনভেেক্টর থাকতে পারে। এসভিডি নতুন ভেরিয়েবল দেয় (ভি এর কলাম দ্বারা প্রদত্ত) যা অরথোগোনাল এবং নিয়ম হ্রাস পেয়েছে। $\Sigma V^{t}$

Answer 4

"যা একই সাথে অনুমান করা তথ্যের বৈকল্পিকতা সর্বাধিক করে তোলে" " আপনি কি রায়লেগের কথা শুনেছেন ? এটি এটি দেখার এক উপায়। কোভরিয়েন্স ম্যাট্রিক্সের রাইলেগ ভাগফল আপনাকে প্রত্যাশিত ডেটার বৈচিত্র দেয়। (এবং উইকির পৃষ্ঠা ব্যাখ্যা করে যে ইগেনভেেক্টররা কেন রেলেইগ ভাগফলকে সর্বোচ্চ করে তোলে)

Answer 5

@ আমেবা ঝরঝরে আনুষ্ঠানিককরণ এবং এর প্রমাণ দেয়:

আমরা নিম্নরূপে এটি আনুষ্ঠানিক করতে পারি: কোভেরিয়েন্স ম্যাট্রিক্স সি দেওয়া, আমরা একক দৈর্ঘ্যের ভেক্টরের সন্ধান করছি, ডাব্লু = 1, যেমন ডাব্লু ^টি সিডাব্লু সর্বোচ্চ।

তবে আমি মনে করি এটির একটি স্বজ্ঞাত প্রমাণ রয়েছে:

দেখা যাচ্ছে যে প্রথম মূল দিকনির্দেশটি ইগেনভেક્ટર দ্বারা বৃহত্তম ইগেনভ্যালু দিয়ে দেওয়া হয়েছে। এটি একটি অনানুষ্ঠানিক এবং অবাক করা বিবৃতি।

আমরা ডাব্লু ^টি সিডব্লিকে ভেক্টর ডাব্লু এবং সিডাব্লুয়ের মধ্যে একটি ডট পণ্য হিসাবে ব্যাখ্যা করতে পারি , যা ডাব্লু রূপান্তর সি এর মাধ্যমে প্রাপ্ত হয় :

w ^T Cw = ‖ww * ‖Cw‖ * cos (w, Cw)

যেহেতু ডাব্লু এর দৈর্ঘ্য স্থির থাকে, ডাব্লু ^টি সিডব্লিউ সর্বোচ্চ করতে , আমাদের প্রয়োজন:

1. সর্বোচ্চ Cw‖
2. কোস সর্বাধিক (ডাব্লু, সিডাব্লু)

এটি সক্রিয় হয় যদি আমরা ডব্লিউকে বৃহত্তম ইগেনুভ্যালু দিয়ে সি এর ইগেনভেেক্টর হতে পারি, আমরা একই সাথে উভয়ই সংরক্ষণাগারভুক্ত করতে পারি:

1. ‖Cw‖ সর্বাধিক, (যদি আপনি এই আইজেনভেেক্টর থেকে বিচ্যুত হন, orthogonal eigenvectors বরাবর এটি দ্রবীভূত করুন, আপনি দেখতে হবে - কমানো।)
2. ডাব্লু এবং সিডব্লিউ একই দিকে, কারণ (ডাব্লু, সিডাব্লু) = 1, সর্বোচ্চ

যেহেতু ইগেনভেেক্টরগুলি অর্থোগোনাল, তাই সি এর অন্যান্য আইজেনভেেক্টরগুলির সাথে তারা এক্সে মূল উপাদানগুলির একটি সেট তৈরি করে।

---

প্রমাণ 1

অরথোগোনাল প্রাথমিক এবং গৌণ আইজেনভেেক্টর ভি 1 এবং ভি 2 তে বিচ্ছিন্ন ডাব্লু , ধরুন তাদের দৈর্ঘ্য যথাক্রমে v1 এবং v2 হয়। আমরা প্রমাণ করতে চাই

(λ ₁ ডাব্লু) ² > ((λ ₁ ভি ₁ ) ² + (v ₂ ভি ² ) ² )

λ ₁ > λ _{2 থেকে} , আমাদের আছে

((λ ₁ ভি ₁ ) ² + (v ₂ ভি ² ) ² )

<((λ ₁ ভি ₁ ) ² + (v ₁ ভি ² ) ² )

= (λ ₁ ) ² * (ভি ^{1 2} + ভি ^{2 2} )

= (λ ₁ ) ² * ডাব্লু ²