পিসিএ উদ্দেশ্য ফাংশন: সর্বাধিক বৈকল্পিক এবং ত্রুটি হ্রাস করার মধ্যে সংযোগ কী?

Question

পারস্পরিক সম্পর্কের ক্ষেত্রে পিসিএ অ্যালগরিদম তৈরি করা যেতে পারে (ধরে নিন ডেটা ইতিমধ্যে স্বাভাবিক করা হয়েছে এবং আমরা কেবল প্রথম পিসিতে প্রক্ষেপণ বিবেচনা করছি)। উদ্দেশ্য ফাংশন হিসাবে লেখা যেতে পারে:$X$

$$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$$

এটি ঠিক আছে, এবং আমরা এটি সমাধান করার জন্য ল্যাঙ্গরজিয়ান গুণকগুলি ব্যবহার করি, অর্থাৎ এটিকে আবার লিখতে:

$$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$$

যা সমান

$$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$$

এবং তাই ( ম্যাথওয়ার্ল্ডে এখানে দেখুন ) \ সর্বোচ্চ_আউ \ যোগ_ {i = 1} ^ n \ পাঠ্য {(বিন্দু $ x_i $ থেকে রেখা $ w $)} ^ 2 এর সমান বলে মনে হচ্ছে

$$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$$

তবে এটি পয়েন্ট এবং রেখার মধ্যে দূরত্ব সর্বাধিক করার জন্য বলছে এবং আমি এখানে যা পড়েছি তা থেকে এটি ভুল - এটি সর্বোচ্চ not $\min$ নয়, সর্বোচ্চ not হওয়া উচিত $\max$। আমার ত্রুটি কোথায়?

অথবা, কেউ আমাকে অনুমান করা স্থানে সর্বাধিকতর বৈকল্পিকতা এবং বিন্দু এবং লাইনের মধ্যবর্তী দূরত্বকে হ্রাস করার মধ্যবর্তী লিঙ্কটি প্রদর্শন করতে পারেন ?

Comments

আমি মনে করি উপাদানগুলির জন্য orthogonality এর মানদণ্ড পূরণ করতে সর্বনিম্ন দূরত্ব ব্যবহার করা হয়। পয়েন্টগুলি পিসিগুলিতে প্রজেক্ট করা হয় যা একে অপরের কাছে অরথগোনাল তবে প্রতিটি ধারাবাহিক উপাদানগুলিতে অবশিষ্ট বৈকল্পিকতা সর্বাধিক হয়।

— মাইকেল আর চেরনিক

ইঙ্গিত: আপনি যখন সবচেয়ে ছোটটির তুলনায় প্রথমে ক্ষুদ্রতম এগেনভ্যালু বিবেচনা করবেন তখন কী হবে ?

— whuber

@ হুইবার সবচেয়ে ছোট এগেনুয়ালুতে সম্ভবত পিসি থাকে যা চূড়ান্ত উদ্দেশ্যমূলক কার্যের সমাধান। তবে এই পিসি মূল উদ্দেশ্য কার্যটি সর্বাধিক করে না।

— ক্যাম.ড্যাভিডসন.পিলন

"চূড়ান্ত" এবং "মূল" উদ্দেশ্যমূলক ফাংশন, ক্যামের অর্থ আপনি কী বোঝেন তা আমি নিশ্চিত নই। পিসিএ একটি (অনুকূল ধারণা) একটি অপ্টিমাইজেশন প্রোগ্রাম নয়। এর আউটপুটটি মূল দিকনির্দেশগুলির একটি সেট, কেবল একটি নয়। এটি একটি (আকর্ষণীয়) গাণিতিক উপপাদ্য যে সীমাবদ্ধ চতুষ্কোণ প্রোগ্রামগুলির ক্রম সমাধান করে এই দিকনির্দেশগুলি পাওয়া যেতে পারে, তবে এটি ধারণা বা পিসিএ অনুশীলনের মৌলিক নয়। আমি কেবলমাত্র এই পরামর্শ দিচ্ছি যে, বৃহত্তমটির চেয়ে ক্ষুদ্রতম এগেনুয়ালুতে মনোনিবেশ করে আপনি (1) দূরত্বকে হ্রাস করার এবং (2) পিসিএর অনুকূলিতকরণের দৃষ্টিভঙ্গি গ্রহণের দুটি ধারণার পুনর্মিলন করতে পারেন।

— whuber

এটি ঠিক আছে - আপনার উত্তরটি আমি যা করার চেষ্টা করছিলাম তার ভুল-সংস্করণ ছিল।

— ক্যাম.ড্যাভিডসন.পিলন

Answer 1

যাক একটি কেন্দ্রিক ডেটার সাথে ম্যাট্রিক্স হতে সারিতে পর্যবেক্ষণ। আসুন এর কোভেরিয়েন্স ম্যাট্রিক্স হয়। আসুন চলক স্থানের অক্ষটি নির্দিষ্ট করে এমন একক ভেক্টর হওয়া যাক। আমরা চাই প্রথম অধ্যক্ষ অক্ষ যাবে।$\newcommand{\X}{\mathbf X}\X$$n$$\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$$\newcommand{\w}{\mathbf w}\w$$\w$

প্রথম পদ্ধতির অনুসারে, প্রথম প্রধান অক্ষটি প্রজেকশন (প্রথম প্রধান উপাদানটির বৈকল্পিক )টির বৈচিত্রকে সর্বাধিক করে তোলে । এই বৈকল্পিকতাটি$\X \w$

$$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$$

দ্বিতীয় পদ্ধতির অনুসারে, প্রথম প্রধান অক্ষটি এবং এর পুনর্গঠন মধ্যে পুনর্গঠনের ত্রুটিটি হ্রাস করে , অর্থাত্ মূল বিন্দু এবং তাদের অনুমানগুলির মধ্যে বর্গক্ষেত্রের দূরত্বের যোগফল । পুনর্গঠন ত্রুটির $\X$$\X\w\w^\top$$\w$

$$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$$

মূল শব্দটির আগে বিয়োগ চিহ্নটি লক্ষ্য করুন। তার কারণে, পুনর্গঠনের ত্রুটিটি হ্রাস করা সর্বাধিক ডাব্লু এর পরিমাণ , যা বৈকল্পিক। সুতরাং পুনর্গঠনের ত্রুটি হ্রাস করা বৈকল্পিকতা সর্বাধিকের সমান; উভয় গঠন একই উত্পাদ ।$\w^\top \S \w$$\w$

Comments

কিছু আমি লক্ষ্য করেছি, একটি উত্তল ক্রিয়াকলাপ নয় ( হিসাবে শ্রদ্ধার সাথে With পিএসডি হ'ল আমরা কীভাবে এটি আরও বাড়ানোর চেষ্টা করব?${w}^{T} \Sigma w$$w$$\Sigma$

— রায় রায়

@ আমেবা কীভাবে আপনি ব্যাখ্যা করতে পারবেন যে আপনি কীভাবে ট্র () থেকে শেষ ধাপে যান?

— আলবার্তো

@ আলবার্তো ট্রেসের ভিতরে যা রয়েছে তা হ'ল একটি সংখ্যা (1x1 ম্যাট্রিক্স); একটি সংখ্যার একটি ট্রেস হ'ল এটি নিজেই, সুতরাং ট্রেসটি মুছে ফেলা যায়। ধ্রুবকটি উপস্থিত হয় কারণ সমান , সুতরাং এই ফ্যাক্টরটি রয়েছে। $\Sigma$$X^\top X/n$$1/n$

— অ্যামিবা বলেছেন মনিকা পুনরায়

@ লেউল্লেম গণনা জন্য ভারব্যাটিম রাখবে যদি এটি অর্টনোরমাল কলামগুলির সাথে ম্যাট্রিক্স হয়। আপনার লাইন # 3 থেকে লাইন # 4 এ যেতে চাই। যদি ম্যাট্রিক্স কলাম থাকে, তবে প্রকৃতপক্ষে এর কলামগুলির দ্বারা বিস্তৃত প্রক্ষেপণ হবে (এখানে একটি সারি ভেক্টর)। $W$$W^\top W = I$$W$$xWW^\top$$x$$W$$x$

— অ্যামিবা বলছেন মনিকা পুনরায়

@ ড্যানিয়েললিপেজ ওয়েল, আমরা পুনর্গঠনের ত্রুটি হ্রাস করে একটি 1-মাত্রিক সাবস্পেস খুঁজছি। একটি 1-মাত্রিক উপ-স্থানটি তার ইউনিট-আদর্শ ভেক্টর দ্বারা নির্দেশিত করে তার দিক নির্দেশ করে, যা হতে নেওয়া হয়। এটি নির্মাণের মাধ্যমে ইউনিট আদর্শ রয়েছে। $w$

— অ্যামিবা