পিসিএর সাথে প্রাপ্ত নিম্ন-র‌্যাঙ্কের আনুমানিক ম্যাট্রিক্স দ্বারা পুনর্গঠনের ত্রুটির কোন আদর্শটি হ্রাস করা যায়?


26

ম্যাট্রিক্স একটি পিসিএ (অথবা SVD) পড়তা দেওয়া সঙ্গে একটি ম্যাট্রিক্স , আমরা জানি যে শ্রেষ্ঠ কম-সারির পড়তা হয় ।এক্সXএক্স এক্সX^X^X

এই অনুযায়ী হয় প্ররোচক আদর্শ2এফ (অর্থাত বৃহত্তম eigenvalue আদর্শ) অথবা অনুযায়ী Frobenius করার আদর্শ?F

উত্তর:


30

একক শব্দের উত্তর: উভয়ই।


আসুন নিয়ম সংজ্ঞা দিয়ে শুরু করা যাক। ম্যাট্রিক্স জন্য Xঅপারেটর 2 নরমকে

X2=supXv2v2=max(si)
এবং ফ্রোবেনিয়াস নর্ম হিসাবে \ | এক্স \ | _ এফ = \ স্কয়ার্ট {\ সম_ {আইজে} এক্স_ {আইজ} ^ 2} = \ ম্যাথার্ম {ট্র} (এক্স ^ \ \ শীর্ষ) হিসাবে সংজ্ঞায়িত করা হয়েছে X) = \ sqrt {\ যোগফল s_i ^ 2},
XF=ijXij2=tr(XX)=si2,
যেখানে s_i Xsi এর একক মান , অর্থাত্ S এর তির্যক উপাদানগুলি একক মান পচন X = USV ^ \ শীর্ষে থাকেXSX=USV

ডেটা যখন কেন্দ্রিক হয় তখন পিসিএ একই একবাক্য মান পচন দ্বারা দেওয়া হয়। US প্রধান উপাদান, V প্রধান অক্ষ, সহভেদাংক ম্যাট্রিক্স অর্থাত eigenvectors, এবং পুনর্গঠন হয় X শুধুমাত্র সঙ্গে k প্রধান উপাদান সংশ্লিষ্ট k বৃহত্তম একবচন মান দেওয়া হয় Xk=UkSkVk

Eckart-ইয়াং উপপাদ্য বলছেন যে ম্যাট্রিক্স পুনর্গঠন ত্রুটির আদর্শ কমানোর হয়সকল ম্যাট্রিকের মধ্যে পদমর্যাদার । এটি ফ্রোবিনিয়াস আদর্শ এবং অপারেটর সাধারণ উভয়ের জন্যই সত্য । মন্তব্যগুলিতে @ কার্ডিনাল দ্বারা চিহ্নিত হিসাবে, এটি প্রথম ১৯০7 সালে ফ্রোবিনিয়াস মামলার জন্য শ্মিড্ট (গ্রাম-শ্মিট খ্যাতির) দ্বারা প্রমাণিত হয়েছিল। এটি পরে একার্ট এবং ইয়ং 1936 সালে নতুন আবিষ্কার করেছিলেন এবং এখন বেশিরভাগই তাদের নামের সাথে যুক্ত। মিরস্কি ১৯৫৮ সালে তাত্ত্বিককে সাধারণভাবে রূপান্তরিত করেছিলেন যে সমস্ত নিয়মাবলী একক রূপান্তরকরণের অধীনে আক্রমণাত্মক এবং এতে অপারেটর 2-আদর্শও অন্তর্ভুক্ত রয়েছে।এক্স - XkXAকে 2Ak2

এই উপপাদ্যটিকে কখনও কখনও এককার্ট-ইয়ং-মিরস্কি উপপাদ্য বলা হয়। স্টুয়ার্ট (1993) এটিকে শ্মিডিট আনুমানিক উপপাদ্য বলে। এমনকি আমি এটিকে শ্মিট-এককার্ট-ইয়ং-মিরস্কি উপপাদ্য বলেও দেখেছি।


অপারেটরের জন্য প্রমাণ সাধারণ2

পুরো র‌্যাঙ্কের হতে দিন । যেহেতু র‌্যাঙ্ক , এর নাল স্পেসে মাত্রা রয়েছে। সবচেয়ে বড় একবাক্য মানের সাথে এর ডান একক ভেক্টর দ্বারা বিস্তৃত স্থানটির মাত্রা রয়েছে। সুতরাং এই দুটি স্পেস অবশ্যই ছেদ করা উচিত। যাক ছেদ থেকে একটি একক ভেক্টর হও। তারপরে আমরা পাই: কিউইডি।এন এন - + + 1 এক্স + + 1 W এক্স - একটি 2 2( এক্স - একজন ) W 2 2 = এক্স W 2 2 = + + 1 Σ আমি = 1 গুলি 2 i ( v i w ) 2s 2XnAknk+ +1এক্স+ +1W

এক্স-একজন22(এক্স-একজন)W22=এক্সW22=Σআমি=1+ +1গুলিআমি2(বনামআমিW)2গুলি+ +12=এক্স-এক্স22,

ফ্রোবিনিয়াস আদর্শের প্রমাণ

আমরা র‌্যাঙ্ক এর ম্যাট্রিক্স করতে চাই যা । আমরা উত্পাদক করতে , যেখানে হয়েছে orthonormal কলাম। স্থির জন্য কমানো সমাধান সাথে একটি রিগ্রেশন সমস্যা । এটি ইন করে, আমরা দেখতে পাচ্ছি যে এখন আমাদের যেখানে হ'ল এর কোভেরিয়েন্স ম্যাট্রিক্স , অর্থাৎএক্স - একটি 2 এফ একজন = বি ডব্লিউ ডব্লিউ এক্স - বি ডব্লিউ 2 ওয়াট বি = এক্স ওয়াট এক্স - এক্স ওয়াট ডব্লিউ 2 = এক্স 2 - এক্স ওয়াট ডব্লিউ 2 = সি এন এস টি - টি আর (একজনএক্স-একজনএফ2একজন=বিওয়াটওয়াটএক্স-বিওয়াট2ওয়াটবি=এক্সওয়াটΣ এক্স Σ = এক্স এক্স / ( এন - 1 ) ডব্লিউ

এক্স-এক্সওয়াটওয়াট2=এক্স2-এক্সওয়াটওয়াট2=এনগুলিটি-টিR(ওয়াটওয়াটএক্সএক্সওয়াটওয়াট)=এনগুলিটি-এনগুলিটিটিR(ওয়াটΣওয়াট),
Σএক্সΣ=এক্সএক্স/(এন-1)। এর অর্থ দাঁড়ায় যে পুনর্নির্মাণের ত্রুটিটি কিছু অরথনরমাল ভেক্টরগুলির কলাম হিসাবে প্রক্ষেপণের মোট বৈকল্পিকতা সর্বাধিক করে তোলা হয়েছে।ওয়াট

এটি সুপরিচিত যে এগুলি কোভেরিয়েন্স ম্যাট্রিক্সের প্রথম ইগেনভেেক্টর। আসলে, যদি তবে । । লিখিত রয়েছে যার অরথনোরাল কলাম রয়েছে, আমরা পেয়েছি সর্বাধিক অর্জনের সাথে । এর পরে উপপাদ্য অবিলম্বে অনুসরণ করে।এক্স=ইউএসভীΣ=ভীএস2ভী/(এন-1)=ভীΛভীআর=ভীওয়াট

টিR(ওয়াটΣওয়াট)=টিR(আরΛআর)=ΣআমিλআমিΣআরআমি2Σআমি=1λ,
ওয়াট=ভী

নিম্নলিখিত তিনটি সম্পর্কিত থ্রেড দেখুন:


ফ্রোবিনিয়াস আদর্শের জন্য প্রমাণের প্রথম চেষ্টা

এই প্রমাণটি আমি অনলাইনে কোথাও খুঁজে পেয়েছি তবে এটি ভুল (একটি ফাঁক রয়েছে), হিসাবে মন্তব্যগুলিতে @ কার্ডিনাল দ্বারা ব্যাখ্যা করা হয়েছে।

ফ্রোবেনিয়াস রীতিটি একক রূপান্তরগুলির অধীনে আক্রমণাত্মক, কারণ তারা একক মানগুলি পরিবর্তন করে না। সুতরাং আমরা পাই: যেখানে । অবিরত: এর সমস্ত অফ-তির্যক উপাদানগুলি শূন্য হয় এবং সমস্ত তির্যক পদগুলি বৃহত্তম একক মানগুলিকে বাতিল করে [ফাঁক এখানে: এটি সুস্পষ্ট নয়] , অর্থাৎ এবং অতএব ।

এক্স-একজনএফ=ইউএসভী-একজন=এস-ইউএকজনভী=এস-বি,
বি=ইউএকজনভী
এক্স-একজনএফ=Σআমি(এসআমি-বিআমি)2=Σআমি(গুলিআমি-বিআমিআমি)2+ +Σআমিবিআমি2
বিগুলিআমি বিপিটিআমিমিএকটি=এসএকজনপিটিআমিমিএকটি=ইউএসভী

2
ফ্রোবেনিয়াস আদর্শের ক্ষেত্রে প্রমাণটি সঠিক নয় (বা কমপক্ষে সম্পূর্ণ) কারণ এখানে যুক্তি সম্ভবত "ছোট" অফ থাকা অবস্থায় একই র‌্যাঙ্কের একটি ম্যাট্রিক্স অন্যান্য কিছু তির্যক পদ বাতিল করতে পারে- এমন সম্ভাবনাটি সরিয়ে দেয় না- কর্ণ। ফাঁকটি আরও স্পষ্টভাবে লক্ষ করুন যে ত্রিভুজগুলি ধ্রুবক হিসাবে ধরে রাখা এবং অফ-ডায়াগোনগুলি "শূন্য করা" প্রায়শই প্রশ্নের মধ্যে ম্যাট্রিক্সের পদমর্যাদা বাড়িয়ে তুলতে পারে !
কার্ডিনাল

1
এছাড়াও মনে রাখবেন SVD গোড়ার দিকে যেমন 1874 যেমন Beltrami পরিচিত হয়েছিল (অন্তত একটি বেশ সাধারণভাবে, যদিও বিশেষ ক্ষেত্রে) এবং জর্ডান
অঙ্কবাচক

@ কার্ডিনাল: হুম মিম, আমি ফাঁক দেখছি তা নিশ্চিত নই। যদি বৃহত্তম সংখ্যার পরিবর্তে কিছু অন্যান্য তির্যক পদগুলি বাতিল করে এবং এর পরিবর্তে কিছু ননজারো অফ-ডায়াগোনাল পদ থাকে, তবে উভয় এবং , বাড়তে চলেছে। সুতরাং এটি কেবল পুনর্গঠনের ত্রুটি বাড়িয়ে তুলবে। কোন? তবুও, আমি সাহিত্যে ফ্রোবিনিয়াস আদর্শের জন্য আরও একটি প্রমাণ সন্ধান করার চেষ্টা করেছি এবং পড়েছি যে এটি অপারেটরের আদর্শের ক্ষেত্রে সহজেই অনুসরণ করা উচিত। তবে এখন পর্যন্ত আমি দেখতে পাচ্ছি না এটি কীভাবে অনুসরণ করা উচিত ...এস কে আই ( এস আমি - বি আই আই ) 2 আই জে বি 2 আই জেবিএসΣআমি(গুলিআমি-বিআমিআমি)2Σআমিবিআমি2
অ্যামিবা বলেছেন

3
আমি কি করতে জিডব্লিউ স্টুয়ার্ট (1993) মত, একবচন মান পচানি, এর প্রাথমিক ইতিহাসের উপর SIAM পর্যালোচনা , ভোল। 35, না। 4, 551-566 এবং historicalতিহাসিক বিষয়ে আপনার পূর্বের আগ্রহ দেখানো, আমি মনে করি আপনিও তা করবেন। দুর্ভাগ্যক্রমে, আমি মনে করি স্টুয়ার্ট অবিচ্ছিন্নভাবে শ্মিড্টের 1907 প্রমাণের কমনীয়তাটিকে অস্বীকার করছেন dism এটির মধ্যে লুকানো একটি রিগ্রেশন ব্যাখ্যা যা স্টুয়ার্ট উপেক্ষা করে এবং যা সত্যিই বেশ সুন্দর। এমন আরও একটি প্রমাণ রয়েছে যা আপনি গ্রহণ করা প্রাথমিক তির্যক পদ্ধতির অনুসরণ করে তবে শূন্যস্থানটি পূরণ করতে অতিরিক্ত কিছু কাজ প্রয়োজন। (অবিরত)
কার্ডিনাল

2
@ কার্ডিনাল: হ্যাঁ, আপনি ঠিক বলেছেন, এখন আমিও ফাঁকটি দেখতে পাচ্ছি। স্টুয়ার্টের কাগজের জন্য অনেক ধন্যবাদ, এটি খুব আকর্ষণীয় পঠিত ছিল। আমি দেখতে পাচ্ছি যে স্টিয়ার্ট শ্মিড্ট এবং ওয়েইলের প্রমাণাদি উপস্থাপন করেছেন, তবে আমি এখানে যেটি অনুলিপি করতে চাই তার চেয়ে উভয়ই আরও জটিল দেখায় (এবং এখনও এগুলি সাবধানতার সাথে অধ্যয়নের জন্য আমার সময় হয়নি)। আমি অবাক: আমি এটি একটি খুব সাধারণ ফলাফল বলে প্রত্যাশা করেছি, তবে মনে হয় এটি আমার চেয়ে কম তুচ্ছ। বিশেষত, আমি আশা করতাম না যে ফ্রোবেনিয়াস কেসটি অপারেটরের আদর্শের চেয়ে অনেক জটিল। আমি এখন পোস্ট সম্পাদনা করব। শুভ নব বর্ষ!
অ্যামিবা বলছেন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.