না, পিসিএ স্বাভাবিক গঠন হয় না উত্তল সমস্যা। তবে এগুলি উত্তল অপ্টিমাইজেশান সমস্যায় রূপান্তরিত হতে পারে।
এর অন্তর্দৃষ্টি এবং মজাটি কেবল উত্তর পাওয়ার পরিবর্তে রূপান্তরের ক্রমটি অনুসরণ এবং দৃশ্যায়ন করছে: এটি গন্তব্যে নয়, যাত্রায় রয়েছে। এই যাত্রার প্রধান পদক্ষেপগুলি হ'ল
উদ্দেশ্যমূলক কার্যের জন্য একটি সহজ অভিব্যক্তি অর্জন করুন।
এর ডোমেনটি, যা উত্তল নয়, একটিতে প্রসারিত করুন।
উদ্দেশ্যটি, যা উত্তল নয়, এমনভাবে পরিবর্তিত করুন যা এমনভাবে হয় যাতে স্পষ্টতই পয়েন্টগুলি পরিবর্তিত হয় না যেখানে এটি তার অনুকূল মানগুলি অর্জন করে।
আপনি যদি নিবিড় নজর রাখেন, আপনি এসভিডি এবং ল্যাঞ্জরান্জ মাল্টিপ্লায়ারদেরকে লুকিয়ে থাকতে দেখছেন - তবে তারা কেবলমাত্র একটি সিডো শো, সেখানে প্রাকৃতিক আগ্রহের জন্য, এবং আমি তাদের সম্পর্কে আরও মন্তব্য করব না।
পিসিএর স্ট্যান্ডার্ড ভেরিয়েন্স-সর্বাধিক গঠন (বা কমপক্ষে এটির মূল পদক্ষেপ) is
Maximize f(x)= x′Ax subject to x′x=1(*)
যেখানে ম্যাট্রিক্স একটি সমান্তরাল, ধনাত্মক-সেমিডাইফিনেট ম্যাট্রিক্স যা ডেটা থেকে তৈরি হয় (সাধারণত এটির স্কোয়ার এবং পণ্যগুলির ম্যাট্রিক্স, এর কোভেরিয়েন্স ম্যাট্রিক্স বা এর পারস্পরিক সম্পর্ক ম্যাট্রিক্স)।n×nA
(সমতুল্যভাবে, আমরা অসংলগ্ন উদ্দেশ্য সর্বাধিক করার চেষ্টা করতে পারি only এটি কেবল নাস্তিরের অভিব্যক্তিই নয় - এটি আর একটি চতুর্ভুজযুক্ত ক্রিয়াকলাপ নয় - তবে বিশেষ ক্ষেত্রে গ্রাফিং করা হবে দ্রুত দেন এটি একটি উত্তল ফাংশন নয়, হয়। সাধারণত এক লক্ষ্য এই ফাংশন rescalings অধীনে পরিবর্তিত হয় এবং তারপর সবাধ তৈয়ার থেকে হ্রাস ।)x′Ax/x′xx→λx(∗)
যে কোনও অপ্টিমাইজেশান সমস্যাটি বিমূর্তভাবে হিসাবে তৈরি করা যেতে পারে
কমপক্ষে একটি Find সন্ধান করুন যা ফাংশনটি possible যতটা সম্ভব বড় করে তোলে ।x∈Xf:X→R
মনে রাখবেন যে দুটি অনুকূল বৈশিষ্ট্য উপভোগ করার সময় একটি অপ্টিমাইজেশান সমস্যা উত্তল হয় :
ডোমেইন উত্তল হয়। X⊂Rn এটি বিভিন্নভাবে তৈরি করা যেতে পারে। এক যে যখনই এবং এবং , এছাড়াও । জ্যামিতিকভাবে: যখনই লাইন বিভাগের দুটি প্রান্ত বিন্দুতে , পুরো বিভাগটি ।x∈Xy∈X0≤λ≤1λx+(1−λ)y∈XXX
ফাংশন উত্তল হয়। f এটি বিভিন্ন উপায়েও তৈরি করা যেতে পারে। একটি হ'ল যখনই এবং এবং ,( এই অবস্থার কোনও ধারণা দেওয়ার জন্য আমাদের উত্তল হতে হবে al) জ্যামিতিকভাবে: যখনই কোনও কোনও রেখাংশ থাকে , এর গ্রাফ (এই বিভাগে সীমাবদ্ধ হিসাবে) উপরে থাকে above বা সেগমেন্ট সংযোগ উপর এবং মধ্যে ।x∈Xy∈X0≤λ≤1
f(λx+(1−λ)y)≥λf(x)+(1−λ)f(y).
Xxy¯Xf(x,f(x))(y,f(y))Rn+1
উত্তল ক্রিয়াকলাপের ধনুচিহ্ন স্থানীয়ভাবে সর্বত্র অ-ইতিবাচক অগ্রণী সহগ সহ প্যারাবলিক: যে কোনও লাইন বিভাগে এটি আকারে সহ প্রকাশ করা যেতে পারেy→ay2+by+ca≤0.
সাথে অসুবিধা হ'ল হ'ল একক গোলক , যা স্থিরভাবে উত্তল নয় is (∗)XSn−1⊂Rn তবে আমরা ছোট ভেক্টরগুলি অন্তর্ভুক্ত করে এই সমস্যাটি সংশোধন করতে পারি। কারণ আমরা যখন একটি ফ্যাক্টর স্কেল করি , তখন দ্বারা গুণিত হয় । যখন , আমরা আকার পরিবর্তন করতে পারেন ইউনিট দৈর্ঘ্য পর্যন্ত দ্বারা এটি গুন দ্বারা ফলে বৃদ্ধি কিন্তু মধ্যে স্থিত ইউনিট বল ।xλfλ20<x′x<1xλ=1/x′x−−−√>1f Dn={x∈Rn∣x′x≤1} সুতরাং আসুন আমরা হিসাবে সংশোধন করি(∗)
Maximize f(x)= x′Ax subject to x′x≤1(**)
এর ডোমেনটি হ'ল যা সুস্পষ্টভাবে উত্তল, তাই আমরা সেখানে অর্ধেক। এটি এর গ্রাফের জঞ্জালতা বিবেচনা করা অবশেষ ।X=Dnf
একটি ভাল উপায় করার চিন্তা সমস্যাটি সম্পর্কে --even যদি আপনি সংশ্লিষ্ট গণনার চালায় মনস্থ করা না - স্পেকট্রাল উপপাদ্য পরিপ্রেক্ষিতে হয়। (∗∗) এটি বলে যে একটি অরথোগোনাল রূপান্তর আপনি এর কমপক্ষে একটি ভিত্তি খুঁজে পেতে পারেন যার মধ্যে তির্যক: যা,PRnA
A=P′ΣP
যেখানে ig সমস্ত অফ-ডায়াগোনাল এন্ট্রি শূন্য। of এর এই ধরণের পছন্দটি সম্পর্কে কিছুই বদলানো হিসাবে ধারণা করা যেতে পারে , তবে কেবল কীভাবে আপনি এটি বর্ণনা করেন তা পরিবর্তন করে : আপনি যখন আপনার দৃষ্টিকোণটি ঘোরান, তখন function ফাংশনের স্তরের হাইপারস্পেসফেসগুলির অক্ষগুলি (যা সর্বদা উপবৃত্ত ছিল) স্থানাঙ্ক অক্ষের সাথে প্রান্তিককরণ করুন।ΣPAx→x′Ax
যেহেতু ধনাত্মক-সেমিডেফিনেন্ট, তাই সমস্ত তির্যক এন্ট্রি অবশ্যই নেতিবাচক হবে। আমরা অক্ষগুলি আরও ছাড়িয়ে দিতে পারি (যা কেবলমাত্র অন্য একটি অরথোগোনাল রূপান্তর, এবং তাই এটি শোষিত হতে পারে )AΣP
σ1≥σ2≥⋯≥σn≥0.
যদি আমরা কে নতুন স্থানাঙ্ক (প্রযোজ্যx=P′yxy=Px ), ফাংশন হয়f
f(y)=y′Ay=x′P′APx=x′Σx=σ1x21+σ2x22+⋯+σnx2n.
এই ফাংশন স্থিরভাবে উত্তল নয় ! একটি hyperparaboloid অংশ মত তার গ্রাফ দেখায়: অভ্যন্তর প্রতি সময়ে , আসলে সব যে σ আমি নন-নেগেটিভ তোলে আছেন কিনা, কার্ল উর্ধ্বগামী বদলে নিম্নগামী । Xσi
যাইহোক, আমরা চালু করতে পারেন এক খুব দরকারী কৌশল নিয়ে একটি উত্তল সমস্যার মধ্যে। (∗∗) জেনে সর্বাধিক ঘটবে যেখানে , ধ্রুবক বিয়োগ দিন σ 1 থেকে চ , অন্তত সীমানা উপর পয়েন্টের জন্য এক্স । যে কোনো পয়েন্ট স্থান পরিবর্তন করবে না সীমানা যা চ , অপ্টিমাইজ করা হয়, কারণ এটা সব মান কমে যায় চ একই মান দ্বারা সীমানা উপর σ 1 । এটি ফাংশনটি পরীক্ষা করার পরামর্শ দেয়x′x=1σ1fXffσ1
g(y)=f(y)−σ1y′y.
এই প্রকৃতপক্ষে ধ্রুবক subtracts থেকে চ সীমানা বিন্দুতে, ও অভ্যন্তরীণ বিন্দুতে subtracts ছোট মান। এটি নিশ্চিত করবে যে এফ এর সাথে তুলনা করে জি এর এক্স অভ্যন্তরে কোনও নতুন গ্লোবাল ম্যাক্সিমা নেই ।σ1fgfX
আসুন পরীক্ষা করে দেখি প্রতিস্থাপনের এই অন্ধকারের সাথে কী হয়েছে বাই - σ 1 y ′ y । কারণ পি অরথোগোনাল, y ′ y = x ′ x । (এটি কার্যত অর্থেগোনাল রূপান্তরের সংজ্ঞা)) সুতরাং x স্থানাঙ্কের ক্ষেত্রে জি লিখতে পারবেন−σ1−σ1y′yPy′y=x′xxg
g(y)=σ1x21+⋯+σnx2n−σ1(x21+⋯+x2n)=(σ2−σ1)x22+⋯+(σn−σ1)x2n.
কারণ সবার জন্য আমি , কোফিসিয়েন্টস প্রতিটি শূন্য বা নেতিবাচক। ফলস্বরূপ, (ক) জি উত্তল হয় এবং (খ) জি যখন x 2 = x 3 = ⋯ = x n = 0 হয় তখন অনুকূলিত হয় । ( x ′ x = 1 এরপরে x 1 = ± 1 কে বোঝায় এবং y = পি ( optim 1 , 0 ,σ1≥σiiggx2=x3=⋯=xn=0x′x=1x1=±1 , যা - সাইন আপ করতে - পি এর প্রথম কলাম)y=P(±1,0,…,0)′P
এর যুক্তি পুনরায় চিত্রিত করা যাক। কারণ উপর সীমানা অপ্টিমাইজ করা হয় ∂ ডি এন = এস এন - 1 যেখানে Y ' Y = 1 , কারণ চ থেকে পৃথক গ্রাম নিছক ধ্রুবক দ্বারা σ 1 যে সীমানা, এবং কারণ মান ছ এমনকি কাছাকাছি এর মান ডি এন এনের অভ্যন্তরে চ , ম্যাক্সিমার চ অবশ্যই জি এর ম্যাক্সিমার সাথে মিলিত হতে পারে ।g∂Dn=Sn−1y′y=1fgσ1gfDnfg