পিসিএ অপ্টিমাইজেশন উত্তল হয়?

Question

প্রধান উপাদান বিশ্লেষণ (পিসিএ) উদ্দেশ্য ফাংশন ও L2 আদর্শ মধ্যে পুনর্গঠন ত্রুটি কমানোর হয় (অধ্যায় 2.12 দেখতে এখানে আরেকটি দৃশ্য অভিক্ষেপ উপর ভ্যারিয়েন্স পূর্ণবিস্তার করার চেষ্টা করছে আমরা একটি চমৎকার পোস্ট এখানে।। পিসিএ উদ্দেশ্য কাজ কি ? )।

আমার প্রশ্নটি হ'ল পিসিএ অপটিমাইজেশন উত্তল? (আমি কিছু আলোচনা পাওয়া এখানে কিন্তু ইচ্ছা কেউ সিভি এখানে একটা চমৎকার প্রমাণ প্রদান করতে পারে)।

Comments

নং তুমি পূর্ণবিস্তার একটি উত্তল ফাংশন (সীমাবদ্ধতা অধীনে)।

— ব্যবহারকারী 60

আমি মনে করি আপনার "পিসিএ অপ্টিমাইজেশন" বলতে কী বোঝায় সে সম্পর্কে আপনার নির্দিষ্ট হওয়া দরকার। একটি মানক সূত্রটি হ'ল সাপেক্ষে । সমস্যাটি হল যে উত্তলতাটি এমনকি কোনও অর্থবোধ করে না: ডোমেনটি একটি গোলক, ইউক্লিডিয়ান স্থান নয়। $x^\prime\mathbb{A}x$$x^\prime x=1$$x^\prime x=1$

— whuber

@ আপনার মন্তব্যের জন্য ধন্যবাদ, আমি সীমিত জ্ঞানের কারণে প্রশ্নটি পরিষ্কার করতে পারব না। আমি কিছু উত্তরের জন্য অপেক্ষা করতে পারি যা আমাকে একই সাথে প্রশ্নটি পরিষ্কার করতে সহায়তা করতে পারে।

— হাইটাও ডু

আপনার সাথে পরিচিত "উত্তল" এর যে কোনও সংজ্ঞা আমি আপনাকে উল্লেখ করব। এগুলি কি সমস্ত পয়েন্টের মধ্যে অন্য পয়েন্টগুলির মধ্যে থাকা "ফাংশন" এর ডোমেনের ধারণার সাথে জড়িত নয়? এটি মনে রাখার মতো, কারণ এটি আপনাকে ফাংশনের ডোমেনের জ্যামিতি এবং ফাংশনের মানগুলির কোনও বীজগণিত বা বিশ্লেষণমূলক বৈশিষ্ট্য বিবেচনা করার জন্য মনে করিয়ে দেয়। এই আলোকে, আমার কাছে এটি ঘটে যে ডোমেন জন্য বৈকল্পিক-সর্বাধিক কিছুটা পরিবর্তন করা যেতে পারে: কেবল পরিবর্তে । সমাধানটি একই - এবং উত্তরটি বেশ পরিষ্কার হয়ে যায়। $x^\prime x\le1$$x^\prime x=1$

— whuber

Answer 1

না, পিসিএ স্বাভাবিক গঠন হয় না উত্তল সমস্যা। তবে এগুলি উত্তল অপ্টিমাইজেশান সমস্যায় রূপান্তরিত হতে পারে।

এর অন্তর্দৃষ্টি এবং মজাটি কেবল উত্তর পাওয়ার পরিবর্তে রূপান্তরের ক্রমটি অনুসরণ এবং দৃশ্যায়ন করছে: এটি গন্তব্যে নয়, যাত্রায় রয়েছে। এই যাত্রার প্রধান পদক্ষেপগুলি হ'ল

1. উদ্দেশ্যমূলক কার্যের জন্য একটি সহজ অভিব্যক্তি অর্জন করুন।

2. এর ডোমেনটি, যা উত্তল নয়, একটিতে প্রসারিত করুন।

3. উদ্দেশ্যটি, যা উত্তল নয়, এমনভাবে পরিবর্তিত করুন যা এমনভাবে হয় যাতে স্পষ্টতই পয়েন্টগুলি পরিবর্তিত হয় না যেখানে এটি তার অনুকূল মানগুলি অর্জন করে।

আপনি যদি নিবিড় নজর রাখেন, আপনি এসভিডি এবং ল্যাঞ্জরান্জ মাল্টিপ্লায়ারদেরকে লুকিয়ে থাকতে দেখছেন - তবে তারা কেবলমাত্র একটি সিডো শো, সেখানে প্রাকৃতিক আগ্রহের জন্য, এবং আমি তাদের সম্পর্কে আরও মন্তব্য করব না।

---

পিসিএর স্ট্যান্ডার্ড ভেরিয়েন্স-সর্বাধিক গঠন (বা কমপক্ষে এটির মূল পদক্ষেপ) is

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

যেখানে ম্যাট্রিক্স একটি সমান্তরাল, ধনাত্মক-সেমিডাইফিনেট ম্যাট্রিক্স যা ডেটা থেকে তৈরি হয় (সাধারণত এটির স্কোয়ার এবং পণ্যগুলির ম্যাট্রিক্স, এর কোভেরিয়েন্স ম্যাট্রিক্স বা এর পারস্পরিক সম্পর্ক ম্যাট্রিক্স)।$n\times n$$\mathbb A$

(সমতুল্যভাবে, আমরা অসংলগ্ন উদ্দেশ্য সর্বাধিক করার চেষ্টা করতে পারি only এটি কেবল নাস্তিরের অভিব্যক্তিই নয় - এটি আর একটি চতুর্ভুজযুক্ত ক্রিয়াকলাপ নয় - তবে বিশেষ ক্ষেত্রে গ্রাফিং করা হবে দ্রুত দেন এটি একটি উত্তল ফাংশন নয়, হয়। সাধারণত এক লক্ষ্য এই ফাংশন rescalings অধীনে পরিবর্তিত হয় এবং তারপর সবাধ তৈয়ার থেকে হ্রাস ।)$x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

যে কোনও অপ্টিমাইজেশান সমস্যাটি বিমূর্তভাবে হিসাবে তৈরি করা যেতে পারে

কমপক্ষে একটি Find সন্ধান করুন যা ফাংশনটি possible যতটা সম্ভব বড় করে তোলে ।$x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

মনে রাখবেন যে দুটি অনুকূল বৈশিষ্ট্য উপভোগ করার সময় একটি অপ্টিমাইজেশান সমস্যা উত্তল হয় :

1. ডোমেইন উত্তল হয়। $\mathcal{X}\subset\mathbb{R}^n$ এটি বিভিন্নভাবে তৈরি করা যেতে পারে। এক যে যখনই এবং এবং , এছাড়াও । জ্যামিতিকভাবে: যখনই লাইন বিভাগের দুটি প্রান্ত বিন্দুতে , পুরো বিভাগটি ।$x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. ফাংশন উত্তল হয়। $f$ এটি বিভিন্ন উপায়েও তৈরি করা যেতে পারে। একটি হ'ল যখনই এবং এবং ,( এই অবস্থার কোনও ধারণা দেওয়ার জন্য আমাদের উত্তল হতে হবে al) জ্যামিতিকভাবে: যখনই কোনও কোনও রেখাংশ থাকে , এর গ্রাফ (এই বিভাগে সীমাবদ্ধ হিসাবে) উপরে থাকে above বা সেগমেন্ট সংযোগ উপর এবং মধ্যে ।$x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$$\bar{xy}$$\mathcal X$$f$$(x,f(x))$$(y,f(y))$$\mathbb{R}^{n+1}$

   উত্তল ক্রিয়াকলাপের ধনুচিহ্ন স্থানীয়ভাবে সর্বত্র অ-ইতিবাচক অগ্রণী সহগ সহ প্যারাবলিক: যে কোনও লাইন বিভাগে এটি আকারে সহ প্রকাশ করা যেতে পারে$y\to a y^2 + b y + c$$a \le 0.$

সাথে অসুবিধা হ'ল হ'ল একক গোলক , যা স্থিরভাবে উত্তল নয় is $(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ তবে আমরা ছোট ভেক্টরগুলি অন্তর্ভুক্ত করে এই সমস্যাটি সংশোধন করতে পারি। কারণ আমরা যখন একটি ফ্যাক্টর স্কেল করি , তখন দ্বারা গুণিত হয় । যখন , আমরা আকার পরিবর্তন করতে পারেন ইউনিট দৈর্ঘ্য পর্যন্ত দ্বারা এটি গুন দ্বারা ফলে বৃদ্ধি কিন্তু মধ্যে স্থিত ইউনিট বল ।$x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ সুতরাং আসুন আমরা হিসাবে সংশোধন করি$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

এর ডোমেনটি হ'ল যা সুস্পষ্টভাবে উত্তল, তাই আমরা সেখানে অর্ধেক। এটি এর গ্রাফের জঞ্জালতা বিবেচনা করা অবশেষ ।$\mathcal{X}=D^n$$f$

একটি ভাল উপায় করার চিন্তা সমস্যাটি সম্পর্কে --even যদি আপনি সংশ্লিষ্ট গণনার চালায় মনস্থ করা না - স্পেকট্রাল উপপাদ্য পরিপ্রেক্ষিতে হয়। $(**)$ এটি বলে যে একটি অরথোগোনাল রূপান্তর আপনি এর কমপক্ষে একটি ভিত্তি খুঁজে পেতে পারেন যার মধ্যে তির্যক: যা,$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

যেখানে ig সমস্ত অফ-ডায়াগোনাল এন্ট্রি শূন্য। of এর এই ধরণের পছন্দটি সম্পর্কে কিছুই বদলানো হিসাবে ধারণা করা যেতে পারে , তবে কেবল কীভাবে আপনি এটি বর্ণনা করেন তা পরিবর্তন করে : আপনি যখন আপনার দৃষ্টিকোণটি ঘোরান, তখন function ফাংশনের স্তরের হাইপারস্পেসফেসগুলির অক্ষগুলি (যা সর্বদা উপবৃত্ত ছিল) স্থানাঙ্ক অক্ষের সাথে প্রান্তিককরণ করুন।$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

যেহেতু ধনাত্মক-সেমিডেফিনেন্ট, তাই সমস্ত তির্যক এন্ট্রি অবশ্যই নেতিবাচক হবে। আমরা অক্ষগুলি আরও ছাড়িয়ে দিতে পারি (যা কেবলমাত্র অন্য একটি অরথোগোনাল রূপান্তর, এবং তাই এটি শোষিত হতে পারে )$\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

যদি আমরা কে নতুন স্থানাঙ্ক (প্রযোজ্য$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$ ), ফাংশন হয়$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

এই ফাংশন স্থিরভাবে উত্তল নয় ! একটি hyperparaboloid অংশ মত তার গ্রাফ দেখায়: অভ্যন্তর প্রতি সময়ে , আসলে সব যে σ আমি নন-নেগেটিভ তোলে আছেন কিনা, কার্ল উর্ধ্বগামী বদলে নিম্নগামী । $\mathcal X$$\sigma_i$

যাইহোক, আমরা চালু করতে পারেন এক খুব দরকারী কৌশল নিয়ে একটি উত্তল সমস্যার মধ্যে। $(**)$ জেনে সর্বাধিক ঘটবে যেখানে , ধ্রুবক বিয়োগ দিন σ 1 থেকে চ , অন্তত সীমানা উপর পয়েন্টের জন্য এক্স । যে কোনো পয়েন্ট স্থান পরিবর্তন করবে না সীমানা যা চ , অপ্টিমাইজ করা হয়, কারণ এটা সব মান কমে যায় চ একই মান দ্বারা সীমানা উপর σ 1 । এটি ফাংশনটি পরীক্ষা করার পরামর্শ দেয়$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

এই প্রকৃতপক্ষে ধ্রুবক subtracts থেকে চ সীমানা বিন্দুতে, ও অভ্যন্তরীণ বিন্দুতে subtracts ছোট মান। এটি নিশ্চিত করবে যে এফ এর সাথে তুলনা করে জি এর এক্স অভ্যন্তরে কোনও নতুন গ্লোবাল ম্যাক্সিমা নেই ।$\sigma_1$$f$$g$$f$$\mathcal X$

আসুন পরীক্ষা করে দেখি প্রতিস্থাপনের এই অন্ধকারের সাথে কী হয়েছে বাই - σ 1 y ′ y । কারণ পি অরথোগোনাল, y ′ y = x ′ x । (এটি কার্যত অর্থেগোনাল রূপান্তরের সংজ্ঞা)) সুতরাং x স্থানাঙ্কের ক্ষেত্রে জি লিখতে পারবেন$-\sigma_1$$-\sigma_1 y^\prime y$$\mathbb P$$y^\prime y = x^\prime x$$x$$g$

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

কারণ সবার জন্য আমি , কোফিসিয়েন্টস প্রতিটি শূন্য বা নেতিবাচক। ফলস্বরূপ, (ক) জি উত্তল হয় এবং (খ) জি যখন x 2 = x 3 = ⋯ = x n = 0 হয় তখন অনুকূলিত হয় । ( x ′ x = 1 এরপরে x 1 = ± 1 কে বোঝায় এবং y = পি ( optim 1 , 0 $\sigma_1 \ge \sigma_i$$i$$g$$g$$x_2=x_3=\cdots=x_n=0$$x^\prime x=1$$x_1=\pm 1$ , যা - সাইন আপ করতে - পি এর প্রথম কলাম)$y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$$\mathbb P$

এর যুক্তি পুনরায় চিত্রিত করা যাক। কারণ উপর সীমানা অপ্টিমাইজ করা হয় ∂ ডি এন = এস এন - 1 যেখানে Y ' Y = 1 , কারণ চ থেকে পৃথক গ্রাম নিছক ধ্রুবক দ্বারা σ 1 যে সীমানা, এবং কারণ মান ছ এমনকি কাছাকাছি এর মান ডি এন এনের অভ্যন্তরে চ , ম্যাক্সিমার চ অবশ্যই জি এর ম্যাক্সিমার সাথে মিলিত হতে পারে ।$g$$\partial D^n=S^{n-1}$$y^\prime y = 1$$f$$g$$\sigma_1$$g$$f$$D^n$$f$$g$

Comments

+1 খুব সুন্দর। আমি আপনাকে কী বলে মনে করি তার একটি সূত্র ঠিক করার জন্য সম্পাদনা করেছি (তবে দয়া করে পরীক্ষা করুন)। তদন্য, আমি বাক্য, প্রথমে বিভ্রান্তিকর করা "এই কোন সীমানা মান যা চ অপ্টিমাইজ করা হয় পরিবর্তন করবে না" কারণ সীমানা মান পাওয়া না আপনি বিয়োগ করা হয়: পরিবর্তনের । কিছুটা সংস্কার করা বোধগম্য হতে পারে? $\sigma_1$

— অ্যামিবা বলছেন মনিকা পুনরায় স্থাপন করুন

@ অ্যামিবা ঠিক সমস্ত গণনা; ধন্যবাদ. আমি point দফার আলোচনাকে প্রশস্ত করেছি।

— whuber

(+1) আপনার উত্তরে আপনি একটি উত্তল ক্রিয়াকে সংজ্ঞায়িত বলে মনে করছেন যা বেশিরভাগ লোকেরা অবতল ফাংশন হিসাবে বিবেচনা করে (সম্ভবত যেহেতু উত্তল অপ্টিমাইজেশান সমস্যার একটি উত্তল ডোমেন এবং একটি অবতল ফাংশন রয়েছে যার উপরে সর্বাধিক গণনা করা হয় (বা একটি উত্তল ফাংশন যার উপর সর্বনিম্ন গণনা করা হয়))

— ব্যবহারকারী 795305

@ আমেবা এটি একটি সূক্ষ্ম যুক্তি। তবে নোট করুন, নতুন ম্যাক্সিমা - গ্রেগুলির কেবলমাত্র সীমানায় দেখা গেছে। এটি আপনার পাল্টা উদাহরণগুলিকে বাতিল করে দেয়। আরেকটি বিষয় লক্ষণীয় যে, শেষ পর্যন্ত আমরা এক্সের অভ্যন্তরে নতুন স্থানীয় (বা এমনকি বিশ্বব্যাপী) ম্যাক্সিমা প্রদর্শিত হবে কিনা তা সত্যই যত্নশীল করি না , কারণ আমরা মূলত কেবল তার সীমাতে স্থানীয় ম্যাক্সিমা সম্পর্কে উদ্বিগ্ন। সুতরাং আমরা পরিবর্তন করতে মুক্ত চ কোন ভাবেই ঐ স্থানীয় সীমানা ম্যাক্সিমা পদক্ষেপ কোনো না বা অদৃশ্য হবে। $g$$\mathcal X$$f$

— whuber

হ্যা আমি রাজি. এটা ব্যাপার কিভাবে , ভেতরের রুপান্তরিত করা হয়েছে যদি ফলে গ্রাম "উত্তল" এবং সীমানা উপর ম্যাক্সিমা আছে ঘটবে। আপনার জি- র সীমানায় ম্যাক্সিমা থাকার ঘটনা ঘটে এবং এটি পুরো আর্গুমেন্টটিকে কাজ করে। বোধ হয়। $f$$g$$g$

— অ্যামিবা বলছেন মনিকাকে

Answer 2

না।

ম্যাট্রিক্স এম এর র‌্যাঙ্ক পিসিএ হিসাবে তৈরি করা যেতে পারে$k$$M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

( হ'ল ফ্রোবেনিয়াস আদর্শ )। উপার্জনের জন্য এককার্ট-ইয়ং উপপাদ্যটি দেখুন ।$\|\cdot\|_F$

যদিও আদর্শ উত্তল, তবে সেটটি যেটি ওভারটিমাইজড হয়েছে এটি ননকনভেক্স।

---

পিসিএর সমস্যার এক উত্তল শিথিলকরণকে উত্তল লো র্যাঙ্ক অ্যাজেক্সিমেশন বলা হয়

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

( হয় পারমাণবিক আদর্শ এটা পদে উত্তল শিথিলকরণ নেই -। ঠিক ‖ ⋅ ‖ 1 হয় উত্তল ভেক্টরের জন্য অশূন্য উপাদানের সংখ্যা শিথিলকরণ)$\|\cdot\|_*$$\|\cdot\|_1$

আপনি স্পারসিটি সহ স্ট্যাটিস্টিকাল লার্নিং দেখতে পারেন , ch 6 (ম্যাট্রিক্স পচে যাওয়া) বিশদের জন্য।

আপনি যদি আরও সাধারণ সমস্যাগুলিতে আগ্রহী হন এবং সেগুলি কীভাবে উত্সর্গের সাথে সম্পর্কিত, সাধারণ লো লো রেঙ্ক মডেলগুলি দেখুন ।

Answer 3

অস্বীকৃতি: পূর্ববর্তী উত্তরগুলি পিসিএর মূল সূচনায় কীভাবে উত্তল নয় তবে উত্তল অপ্টিমাইজেশান সমস্যায় রূপান্তরিত হতে পারে তা ব্যাখ্যা করার জন্য এটি বেশ ভাল কাজ করে। আমার উত্তরটি কেবলমাত্র সেই দরিদ্র আত্মার জন্য (যেমন আমার মতো) যারা ইউনিট স্পেরেস এবং এসভিডি-র জারগনের সাথে এতটা পরিচিত নয় - যা বিটিডব্লিউ, জানা ভাল।

আমার উত্স অধ্যাপক তিবশিরানী এই বক্তৃতা নোট

উত্তল অপ্টিমাইজেশান কৌশলগুলি সমাধান করার জন্য একটি অপ্টিমাইজেশান সমস্যার জন্য, দুটি পূর্বশর্ত রয়েছে।

1. উদ্দেশ্য ফাংশন উত্তল হতে হবে।
2. সীমাবদ্ধ ফাংশনগুলি উত্তল হওয়া উচিত।

পিসিএর বেশিরভাগ সূত্রগুলি ম্যাট্রিক্সের পদমর্যাদায় বাধা জড়িত।

এই ধরণের পিসিএ সূত্রগুলিতে শর্ত 2 লঙ্ঘন করা হয়। কারণ, যে সীমাবদ্ধতা উত্তল নয়। উদাহরণস্বরূপ, জে 11 , জে 22 যথাক্রমে উপরের বাম কোণে এবং নীচের ডান কোণায় একক 1 সহ 2 × 2 শূন্য ম্যাট্রিক হোক। তারপরে, এগুলির প্রত্যেকের র‌্যাঙ্ক 1 রয়েছে তবে তাদের গড় র‌্যাঙ্ক 2 2$rank(X) = k,$$J_{11}$$J_{22}$

Comments

আপনি কি দয়া করে ব্যাখ্যা করতে পারবেন যে " " বলতে কী বোঝায় এবং এর পদমর্যাদায় কেন কোনও বাধা আছে? এটি পিসিএ সম্পর্কে আমার বোঝার সাথে সামঞ্জস্য করে না, তবে সম্ভবত আপনি আরও বেশি বিশেষায়িত সংস্করণটির কথা ভাবছেন যেখানে কেবল কে প্রধান উপাদান অনুসন্ধান করা হয়েছে। $X$$k$

— whuber

হ্যাঁ, হ'ল রূপান্তরিত (ঘোরানো) ডেটা ম্যাট্রিক্স। এই সূত্র, আমরা ম্যাট্রিক্স যে পদে অন্তত চেষ্টা ট । আরও সঠিক বিবরণের জন্য আপনি আমার উত্তরের লিঙ্কটি উল্লেখ করতে পারেন। $X$$k$

— মধুবাজার