পিসিএর লিনিয়ারিটি

Question

পিসিএ একটি লিনিয়ার পদ্ধতি হিসাবে বিবেচিত হয়, তবে:

$$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$$

যেখানে । এই বলতে চাই যে eigenvectors ডেটার উপর PCAs দ্বারা প্রাপ্ত ম্যাট্রিক্স হয় ডেটার সমষ্টি উপর eigenvectors পিসিএ দ্বারা প্রাপ্ত সমান পর্যন্ত যোগফল না ম্যাট্রিক্স । তবে লিনিয়ার ফাংশন এর সংজ্ঞা নয় যে:এক্স আই এক্স আই$X=X_1+X_2+\ldots+X_n$$X_i$$X_i$$f$

$$f(x+y)=f(x)+f(y)?$$

সুতরাং পিসিএকে কেন রৈখিকতার এই প্রাথমিক শর্তটি পূরণ না করলে "লিনিয়ার" হিসাবে বিবেচনা করা হয়?

Comments

আমি একবার লিখেছি বা শুনেছি (দুঃখিত, আমি কখন এবং কখন মনে করতে পারি না), যে পিসিএ "রৈখিক পদ্ধতি পরিবারের মধ্যে" কারণ এটি ভেরিয়েবলের মধ্যে লিনিয়ার নির্ভরতার উপর নির্ভর করে। এটি পিয়ারসন পারস্পরিক সম্পর্ক ম্যাট্রিক্স ব্যবহার করে এবং সর্বোচ্চ বৈকল্পিকের লিনিয়ার সংমিশ্রনের জন্য সন্ধান করে।

— asukasz Deryło

সাধারণ ন্যূনতম স্কোয়ার রিগ্রেশন-এর খুব সহজ এবং রুটিন সেটিং বিবেচনা করে এই প্রশ্নের প্রকৃতি কিছুটা স্পষ্ট হয়ে উঠতে পারে: এটি লিনিয়ার স্ট্যাটিস্টিকাল পদ্ধতির প্রত্নতত্ব। তবুও, সর্বনিম্ন স্কোয়ার সহগের অনুমানের প্রক্রিয়াটি ডাটা ম্যাট্রিক্স একটি সুস্পষ্টভাবে ননলাইনার ফাংশন এর সূত্র দ্বারা প্রমাণিত । (লক্ষ করুন যে প্রতিক্রিয়া ভেক্টরের একটি রৈখিক ফাংশন ।)β = ( এক্স ' এক্স ) - 1 এক্স ' Y $X$$\hat\beta = (X^\prime X)^{-1}X^\prime y$$y$

— whuber

এটি মনে রাখার মতো হতে পারে যে f (x) = x + 1 একটি "লিনিয়ার ফাংশন "ও ... তবে আপনি কেবল যা বলেছেন তা সন্তুষ্ট হয় না ... যা কিছু ব্যাখ্যা করা উচিত।

— মেহরদাদ

কারণ$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— গ্যাব্রিয়েল

Answer 1

যখন আমরা বলি পিসিএ একটি রৈখিক পদ্ধতি, আমরা মাত্রা হ্রাস ম্যাপিং পড়ুন উচ্চ মাত্রিক স্থান থেকে একটি নিম্ন-মাত্রিক স্থান থেকে । পিসিএ-তে, এই ম্যাপিংটি পিসিএ ইগেনভেেক্টরগুলির ম্যাট্রিক্স দ্বারা গুণ দ্বারা দেওয়া হয় এবং এটি সুস্পষ্টভাবে লিনিয়ার (ম্যাট্রিক্স গুণিত রৈখিক হয়):এটি মাত্রিকতা হ্রাসের অলৈখিক পদ্ধতিগুলির সাথে বিপরীত যেখানে ম্যাপিংটি মাত্রিকতা হ্রাস করার ক্ষেত্রে অফলাইন হতে পারে।আর পি আর কে x z = ফ ( এক্স ) = ভি ⊤ এক্স$f:\mathbf x\mapsto \mathbf z$$\mathbb R^p$$\mathbb R^k$$\mathbf x$

$$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$$

অন্যদিকে, শীর্ষ eigenvectors তথ্য থেকে নির্ণিত হয় ম্যাট্রিক্স ব্যবহার করে আপনি কি বলা আপনার প্রশ্নের : এবং এই ম্যাপিং অবশ্যই অ-রৈখিক: এটি কোভরিয়েন্স ম্যাট্রিক্সের কম্পিউটিং ইগেনভেেক্টরকে জড়িত, যা একটি অ-রৈখিক পদ্ধতি । (একটি তুচ্ছ উদাহরণ হিসাবে, দ্বারা গুণ করা কোভেরিয়েন্স ম্যাট্রিক্সকে দ্বারা বৃদ্ধি করে তবে এর আইজেনভেেক্টরগুলি ইউনিটের দৈর্ঘ্য হিসাবে স্বাভাবিক হওয়ার মতোই থাকে))$k$$\mathbf V\in \mathbb R^{p\times k}$$\mathbf X\in \mathbb R^{n\times p}$$\mathrm{PCA}()$

$$\mathbf V = \mathrm{PCA}(\mathbf X),$$ $\mathbf X$$2$$4$

Comments

এই তুচ্ছ উত্তরের জন্য যে আমি 35 টি upvotes পেয়েছি তা বেশ হাস্যকর (এবং বেশিরভাগ ক্ষেত্রে এই থ্রেডটি হট নেটওয়ার্ক প্রশ্নগুলিতে কিছু সময়ের জন্য থাকার কারণে)।

— অ্যামিবা বলছেন মনিকাকে

Answer 2

"লিনিয়ার" এর অর্থ অনেকগুলি হতে পারে, এবং এটি কেবল কোনও আনুষ্ঠানিক পদ্ধতিতে নিযুক্ত হয় না।

পিসিএ প্রায়শই আনুষ্ঠানিক অর্থে একটি ফাংশন হিসাবে সংজ্ঞায়িত হয় না, এবং তাই এটি বর্ণিত যখন একটি রৈখিক ফাংশন প্রয়োজনীয়তা পূরণ করা আশা করা হয় না। এটি প্রায়শই বর্ণনা করা হয়, যেমনটি আপনি বলেছিলেন একটি প্রক্রিয়া হিসাবে এবং কখনও কখনও একটি অ্যালগরিদম (যদিও আমি এই শেষ বিকল্পটি পছন্দ করি না)। এটি প্রায়শই বলা হয় অনানুষ্ঠানিকভাবে লিনিয়ার, সঠিকভাবে সংজ্ঞায়িত উপায়ে নয়।

পিসিএটিকে নিম্নরূপে বিবেচনা করা যেতে পারে, উদাহরণস্বরূপ, নিম্নলিখিত অর্থে। এটি এমন একটি পদ্ধতির পরিবারের সাথে সম্পর্কিত যা বিবেচনা করে যে প্রতিটি পরিবর্তনশীল একটি ফাংশন দ্বারা যেতে পারে যেখানে এবং মধ্যে কিছু পরিবর্তনযোগ্য একটি ভেরিয়েবলের সেট সম্পত্তি। পিসিএর ক্ষেত্রে হ'ল স্বাধীন ভেরিয়েবলগুলির একটি সেট যা একটি নির্দিষ্ট অর্থে আনুমানিক নির্ভুলতায় ন্যূনতম ক্ষতির সাথে কার্ডিনালিটিতে হ্রাস করা যায়। এগুলি অসংখ্য সেটিংসে পছন্দসই বৈশিষ্ট্য।$X_i$

$$X_i \approx f_Y(\alpha)$$ $\alpha \in \mathbb{R}^k$$Y$$k$$Y$

এখন, পিসিএ জন্য, প্রতিটি ফর্ম অবধি সীমিত থাকবে যে, এ যৌগের একটি রৈখিক সমন্বয় ।$f_i$

$$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$$ $Y$

এই বিধিনিষেধ দেওয়া হয়েছে, এটি এর সর্বোত্তম (কিছু অর্থে) মান এবং 'র সন্ধান করার জন্য একটি পদ্ধতি সরবরাহ করে । যে, পিসিএ কেবল রৈখিক ফাংশনকে কলুষিত অনুমান হিসাবে বিবেচনা করে। এই অর্থে, আমি মনে করি এটি বৈধভাবে "রৈখিক" হিসাবে বর্ণনা করা যেতে পারে।$Y$$\alpha_{ij}$

Answer 3

পিসিএ একটি লিনিয়ার রূপান্তর সরবরাহ করে / দেয়।

যদি আপনি কোনও বিশ্লেষণের সাথে যুক্ত মানচিত্রটি নিয়ে যান তবে তবে ।$\mathbf{M} \equiv PCA(X_1 + X_2)$$\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

অভিযুক্ত ব্যক্তি যে , এবং নয় একই রৈখিক রূপান্তরের।$PCA(X_1 + X_2)$$PCA(X_1)$$PCA(X_2)$

---

তুলনা হিসাবে প্রক্রিয়াটির একটি খুব সাধারণ উদাহরণ যা রৈখিক রূপান্তর ব্যবহার করে তবে এটি নিজেই লিনিয়ার রূপান্তর নয়:

ঘূর্ণন যা কোনও ভেক্টরের কোণ দ্বিগুণ করে (কিছু বলুন 2-d ইউক্যালিডিয়ান স্পেসে) সাথে কিছু রেফারেন্স ভেক্টর (বলুন , রৈখিক রূপান্তর নয়। উদাহরণ স্বরূপ$D(\mathbf{v})$$\mathbf{v}$$\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

এবং

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

কিন্তু

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

এই কোণটি দ্বিগুণ করা, যার মধ্যে কোণগুলির গণনা জড়িত, লিনিয়ার নয়, এবং অ্যামিবার বক্তব্যের সাথে সাদৃশ্যপূর্ণ, যে ইগেনভেেক্টরের গণনা রৈখিক নয়