এসভিডির পিছনে অন্তর্দৃষ্টি কী?

Question

আমি একবচনীয় মান পচন (এসভিডি) সম্পর্কে পড়েছি। প্রায় সকল পাঠ্যপুস্তকেই উল্লেখ করা হয় যে এটি প্রদত্ত স্পেসিফিকেশন সহ ম্যাট্রিক্সকে তিনটি ম্যাট্রিকগুলিতে গুণন করে।

কিন্তু এই জাতীয় আকারে ম্যাট্রিক্স বিভক্ত করার পিছনে অন্তর্দৃষ্টি কী? ডাইমেনিয়ালিটি হ্রাসের জন্য পিসিএ এবং অন্যান্য অ্যালগরিদমগুলি এই অর্থে স্বজ্ঞাত যে অ্যালগরিদমের দুর্দান্ত ভিজ্যুয়ালাইজেশন সম্পত্তি রয়েছে তবে এসভিডির সাথে এটি হয় না।

Comments

আপনি ইগেনভ্যালু-আইজেনভেেক্টর পচানোর অন্তর্নিহিততা থেকে শুরু করতে চাইতে পারেন কারণ এসভিডি কেবল বর্গক্ষেত্রের পরিবর্তে সমস্ত ধরণের ম্যাট্রিকের জন্য এটির এক্সটেনশন।

— জনকে

এসভিডি এবং এর কাজগুলি সম্পর্কে সিভিতে ইন্টারনেটে প্রচুর নোট এবং উত্তর রয়েছে।

— ভ্লাদিস্লাভস ডভগ্যালিক্স

এসভিডিকে একটি সংক্ষেপণ / শেখার অ্যালগরিদম হিসাবে ভাবা যেতে পারে। এটি একটি লিনিয়ার সংকোচকারী ডেকম্প্রেসার। একটি ম্যাট্রিক্স এম এসভিডির গুণন দ্বারা প্রতিনিধিত্ব করা যেতে পারে। এস হ'ল সংকোচকারী ভি নির্ধারণ করে যে আপনার কত ত্রুটি থাকতে হবে (লসী সংক্ষেপণ) এবং ডি হ'ল সংক্ষেপক omp আপনি যদি ভি এর সমস্ত তির্যক মান রাখেন তবে আপনার কাছে একটি ক্ষতবিহীন সংক্ষেপক রয়েছে। যদি আপনি ছোট একবাক্য মানগুলি ছুঁড়ে ফেলা শুরু করেন (সেগুলি শূন্য করে) তবে আপনি প্রাথমিক ম্যাট্রিক্সকে ঠিক পুনর্গঠন করতে পারবেন না তবে তবুও কাছাকাছি থাকবে। এখানে ক্লোজ শব্দটি ফ্রোবেনিয়াস আদর্শের সাথে পরিমাপ করা হয়।

— ক্যাগডাস ওজজেঙ্ক 18

@ ক্যাগডাস আপনি যদি তা করেন তবে দয়া করে সাবধানতার সাথে সংজ্ঞা দিন যে আপনি "এস" "ভি" এবং "ডি" কে গাণিতিকভাবে গ্রহণ করছেন। আমি এর আগে স্বরলিখনের মধ্যে আদ্যক্ষেত্রগুলি ওভারলোড হওয়া দেখিনি (যার উদাহরণে এটির একক মান রয়েছে?)। এটি সম্ভবত বিভ্রান্তির উত্স বলে মনে হচ্ছে,

— Glen_b

আপনি কীভাবে এসভিডি দিয়ে পিসিএ অনুমান করবেন জানেন? যদি আপনি তা করেন তবে এসভিডি সম্পর্কে আপনার বোঝার অনুভূতিতে কেন এমন কিছু অনুভব করছেন বলে আপনি ব্যাখ্যা করতে পারেন? দেখুন এই

— Aksakal

Answer 1

ম্যাট্রিক্স SVD লিখুন (বাস্তব, ) হিসেবে যেখানে হয় , তির্যক হয় এবং হল । ম্যাট্রিক্সের কলাম নিরিখে এবং আমরা লিখতে পারি এক্স = Σ পি আমি = 1 ঘ আমি তোমার আমি v টি আমি । এটি পি র‌্যাঙ্ক -১ ম্যাট্রিক্সের যোগফল হিসাবে এক্সকে দেখায় । র‌্যাঙ্ক -১ ম্যাট্রিক্স দেখতে কেমন? দেখা যাক: এন × পি এক্স = ইউ ডি ভি টি টি ইউ এন × পি ডি পি × পি ভি টি পি × পি ইউ $X$$n\times p$

$$X = U D V^T$$ $U$$n\times p$$D$$p\times p$$V^T$$p\times p$$U$$V$$X=\sum_{i=1}^p d_i u_i v_i^T$$X$$p$ সারিগুলি সমানুপাতিক এবং কলামগুলি আনুপাতিক। $$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$$

কালো এবং সাদা চিত্রের গ্রেস্কেল মানগুলি হিসাবে সম্পর্কে এখনই ভাবুন , ম্যাট্রিক্সের প্রতিটি প্রবেশ একটি পিক্সেল উপস্থাপন করে। উদাহরণস্বরূপ একটি বাবুনের নীচের ছবি:$X$

তারপরে এই চিত্রটি আর এ পড়ুন এবং ফলাফলের কাঠামোর ম্যাট্রিক্স অংশটি পান, সম্ভবত গ্রন্থাগারটি ব্যবহার করে pixmap।

---

আপনি কীভাবে ফলাফলগুলি পুনঃ উত্পাদন করতে পারেন তা যদি ধাপে ধাপে গাইড চান তবে আপনি কোডটি এখানে খুঁজে পেতে পারেন ।

---

এসভিডি গণনা করুন:

baboon.svd  <-  svd(bab) # May take some time

আমরা এই সম্পর্কে কীভাবে ভাবতে পারি? আমরা বাবুন চিত্রটি 512 সাধারণ চিত্রের সমষ্টি হিসাবে উপস্থাপন করি , যার মধ্যে প্রতিটি প্রত্যক্ষভাবে উল্লম্ব এবং অনুভূমিক কাঠামো প্রদর্শন করে, অর্থাৎ এটি উল্লম্ব এবং অনুভূমিক স্ট্রাইপের একটি চিত্র! সুতরাং, বাবুনের এসভিডি বাবুনের চিত্রটিকে 512 সাধারণ চিত্রের সুপারপজিশন হিসাবে উপস্থাপন করে , প্রত্যেকে কেবলমাত্র অনুভূমিক / উল্লম্ব স্ট্রাইপগুলি দেখায়। আসুন 1 এবং 20 টি উপাদান সহ চিত্রের একটি নিম্ন-স্তরের পুনর্গঠন গণনা করুন :$512 \times 512$$512$$512$$1$$20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

নিম্নলিখিত দুটি চিত্রের ফলস্বরূপ:

বাম দিকে আমরা র‌্যাঙ্ক -1 চিত্রের মধ্যে উল্লম্ব / অনুভূমিক স্ট্রিপগুলি সহজেই দেখতে পাই।

আসুন আমরা অবশেষে "রেসিডুয়াল ইমেজ" দেখি , সর্বনিম্ন একক মান সহ র‌্যাঙ্ক-ওয়ান চিত্র থেকে চিত্রটি পুনর্নির্মাণ করা (উপরে হিসাবে কোডটি দেখানো হয়নি) । এটা এখানে:$20$

যা বেশ আকর্ষণীয়: আমরা মূল চিত্রের অংশগুলি দেখতে পাই যা উল্লম্ব / অনুভূমিক রেখার সুপারপজিশন হিসাবে দেখা বেশ কঠিন, বেশিরভাগ তির্যক নাকের চুল এবং কিছু জমিন এবং চোখ!

Comments

আমি মনে করি আপনি নিম্ন স্তরের পুনর্নির্মাণ বোঝাতে চেয়েছিলেন, স্বল্প পরিসীমা নয়। কিছু মনে করো না. এটি একটি খুব ভাল চিত্র (+1)। এ কারণেই এটি লিনিয়ার সংকোচকারী ডিকম্প্রেসার। চিত্রটি লাইনগুলির সাথে সান্নিধ্যযুক্ত। আপনি যদি লিনিয়ার অ্যাক্টিভেশন ফাংশনগুলির সাথে নিউরাল নেটওয়ার্কের সাথে আসলে একই ধরণের অটোনকোডারটি সম্পাদন করেন তবে আপনি দেখতে পাবেন যে এটি যে কোনও opeালের সাথে লাইনগুলি কেবল উল্লম্ব এবং অনুভূমিক রেখাগুলিকেই মঞ্জুরি দেয় যা এটি এসভিডির চেয়ে কিছুটা শক্তিশালী করে তোলে।

— ক্যাগডাস ওজজেঙ্ক 14

@ kjetil-B-halvorsen না SVD উচিত একটি জন্য এন × পি ম্যাট্রিক্স এক্স মধ্যে ফলাফলের ইউ হচ্ছে এন × এন , Σ হচ্ছে এন × পি এবং ভী হচ্ছে পি × পি ? ভুল টাইপ করেছেন? $X = U \Sigma V^*$$n \times p$$X$$U$$n \times n$$\Sigma$$n \times p$$V$$p \times p$

— মার্টিন ক্রিমার

আরও কিছু উদাহরণের জন্য math.stackexchange.com/questions/92171/… দেখুন

— kjetil b halvorsen

@ কেজেটিল-বি-হালভোরসেন আমি যদি অ্যাপ্লিকেশনটিকে অস্বীকার করার জন্য পিসিএ ব্যবহার করতাম তবে ডিক্রিপশনটি কীভাবে পরিবর্তন হবে তা জানতে আগ্রহী। আপনি যদি আমার প্রশ্নের উত্তরটি এখানে দিতে পারেন তবে আমি প্রশংসা করব stats.stackexchange.com/questions/412123/…

— কুমার

@ কাউবয় ট্রেডার আকর্ষণীয় পর্যবেক্ষণ। মেশিন লার্নিং / নিউরাল নেটওয়ার্ক সম্পর্কে আমার বোধগম্যতা সীমিত। সুতরাং, আমি বুঝতে ব্যর্থ হয়েছি যে কারও কাছে যদি একক শোরগোলের চিত্র থাকে এবং প্রশিক্ষণের জন্য অন্য কিছু না থাকে তবে নিউরাল নেটওয়ার্ক কীভাবে কাজ করবে?

— দুশায়ন্ত কুমার

Answer 2

$A$$m \times n$$m \geq n$$v$$A$

$$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$$ $v_1$$A$ $$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$$ $v_1, \ldots, v_n$$\mathbb R^n$$\mathbb R^n$$A$

$\sigma_i = \|A v_i \|_2$$\sigma_i$$A$$v_i$$u_i$

$$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$$ $$\tag{3} A V = U \Sigma,$$ $V$$n \times n$$i$$v_i$$U$$m \times n$$i$$u_i$$\Sigma$$n \times n$$i$$\sigma_i$$V$$V^T$ $$A = U \Sigma V^T.$$ $A$$U$

$A v_1$$A v_2$

$$\tag{4} \langle A v_1, A v_2 \rangle = 0.$$ $v_1$ $v_1$$v_2$

$v_1$$v_2$$v_1$$v_1$$v_1$$v_2$$A v_1$$A v_2$$A v_1$$A v_1$$v_1$

$A v_3$$A v_1$$A v_2$$A v_1, \ldots, A v_n$$u_1, \ldots, u_n$$U$

---

$v_1$$v_2$

$$\tilde v_1 = v_1 + \epsilon v_2$$ $\sqrt{1 + \epsilon^2}$ $$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$$ $\bar v_1(\epsilon)$$\epsilon$ $$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$$ $\epsilon$$f'(0) \neq 0$$v_1$

(যাইহোক, আমি এখানে এসভিডি সম্পর্কে কিয়াওচু ইউয়ান ব্যাখ্যাটি পড়ার পরামর্শ দিচ্ছি particular বিশেষত, "কী লেমমা # 1" দেখুন, যা আমরা উপরে আলোচনা করেছি Q কিউওচু যেমন বলেছেন, কী লেমমা # 1 "প্রযুক্তিগত হৃদয় একক মান পচন "।)

Answer 3

ডুড আপনার দিনের এক ঘন্টা সময় নিয়ে এই বক্তৃতাটি দেখুন: https://www.youtube.com/watch?v=EokL7E6o1AE

এই লোকটি দুর্দান্তভাবে এগিয়ে, এটির কোনওটি বাদ দেওয়া গুরুত্বপূর্ণ নয় কারণ শেষ পর্যন্ত এটি একসাথে আসে। এমনকি শুরুর দিকে কিছুটা ধীর মনে হলেও, তিনি একটি সমালোচনামূলক বিষয়টি পিন করার চেষ্টা করছেন, যা তিনি করেন!

আমি সবাইকে তিনটি ম্যাট্রিক প্রদানের চেয়ে আমি এটির জন্য সংক্ষিপ্ত করব (কারণ আমি যখন অন্যান্য বিবরণ পড়ি তখন তা আমাকে বিভ্রান্ত করেছিল)। এই ম্যাট্রিকগুলি কোথা থেকে আসে এবং কেন আমরা এটির মতো সেট আপ করব? বক্তৃতাটি নখ! প্রতিটি ম্যাট্রিক্স (সর্বকালের ইতিহাসে কখনও) একই মাত্রা সহ একটি বেস ম্যাট্রিক্স থেকে তৈরি করা যেতে পারে, তারপরে এটি ঘোরান এবং প্রসারিত করুন (এটি লিনিয়ার বীজগণিতের মৌলিক উপপাদ্য)। এই তিনটি ম্যাট্রিকের প্রত্যেকটি লোকই প্রাথমিক ম্যাট্রিক্স (ইউ), একটি স্কেলিং ম্যাট্রিক্স (সিগমা) এবং একটি ঘূর্ণন ম্যাট্রিক্স (ভি) উপস্থাপন করে।

স্কেলিং ম্যাট্রিক্স আপনাকে দেখায় যে কোন আবর্তন ভেক্টর প্রাধান্য পাচ্ছে, এগুলিকে একক মান বলা হয়। পচনটি ইউ, সিগমা এবং ভি এর জন্য সমাধান করছে