পিসিএ এবং অটোরকোডারের মধ্যে পার্থক্য কী?

56

পিসিএ এবং অটোরকোডার উভয়ই ডিমেনশন হ্রাস করতে পারে, তবে তাদের মধ্যে পার্থক্য কী? কোন পরিস্থিতিতে আমার একে অপরের ব্যবহার করা উচিত?

— RockTheStar
সূত্র

52

পিসিএ একটি লিনিয়ার মানচিত্রে সীমাবদ্ধ, অন্যদিকে অটো এনকোডারগুলিতে ননলাইনার এনডোডার / ডিকোডার থাকতে পারে।

যেখানে প্রায় এর মানে হল যে রৈখিক স্থানান্তর ফাংশন সঙ্গে একটি একক স্তর স্বয়ংক্রিয় এনকোডার পিসিএ, এর প্রায় সমতুল্য কিন্তু subspace নিজ নিজ দ্বারা দৃশ্যও - দ্বারা ই এবং পিসিএ পাওয়া একই হবে না এর ইচ্ছা। $W$ $W$

— bayerj
সূত্র

আমি দেখি! সুতরাং অ-রৈখিক রূপান্তরের জন্য আমার দুটি স্তর থাকা দরকার। তাই একাধিক স্তর মানে খুব জটিল অ-রৈখিক?

— রকটিস্টার

7

@ রক দ্য স্টার: এটি যে স্তরগুলির গুরুত্বপূর্ণ তা নয় তবে অ্যাক্টিভেশন ফাংশন [ট্রান্সফার ফাংশন]। লিনিয়ার ট্রান্সফার ফাংশন সহ, কোনও সংখ্যক স্তরই অ-লিনিয়ার অটোইনকোডারকে নেতৃত্ব দেয় না।

— অ্যামিবা 21

সুতরাং, অ-রৈখিক রূপান্তরকরণের সাথে, এমনকি গোপন ইউনিটের মাত্র 1 স্তর রয়েছে। সমাধানটি এখনও অ-রৈখিক?

— RockTheStar

হ্যাঁ. (এছাড়াও এটি এখনও কিছু ক্ষেত্রে রৈখিক হতে পারে, উদাহরণস্বরূপ যখন লুকানো ইউনিটগুলি লিনিয়ার অঞ্চলে সক্রিয় করা হয়।)

— বায়ারজ

"যখন লুকানো ইউনিটগুলি নিকটবর্তী রৈখিক অঞ্চলে সক্রিয় করা হয়", আপনি সিগময়েড ফাংশনের লিনিয়ার অংশটি বোঝান, তাই না?

— রকটিস্টার

17

যেমন বাইয়ারজ পিসিএ উল্লেখ করে যে পদ্ধতিটি এমন লাইনারি সিস্টেমগুলিকে ধরে নেয় যেখানে অটেনকোডারস (এই) হয় না। যদি এইতে কোনও অ-লিনিয়ার ফাংশন ব্যবহার করা হয় না এবং লুকানো স্তরে নিউরনের সংখ্যা ছোট মাত্রা হয় তবে ইনপুটটির পরে পিসিএ এবং এই একই ফল দিতে পারে। অন্যথায় এই একটি পৃথক উপসর্গ খুঁজে পেতে পারে।

একটি বিষয় লক্ষণীয় যে কোনও এইতে লুকানো স্তরটি ইনপুটটির চেয়ে বৃহত্তর মাত্রা হতে পারে। এই জাতীয় ক্ষেত্রে এই এর মাত্রিকতা হ্রাস নাও করতে পারে। এক্ষেত্রে আমরা তাদেরকে এক বৈশিষ্ট্য স্থান থেকে অন্য বৈশিষ্ট্যে রূপান্তর হিসাবে দেখছি যেখানে নতুন বৈশিষ্ট্য স্পেসের ডেটা পরিবর্তনের কারণগুলিকে বিভক্ত করে।

বৈয়ারের প্রতিক্রিয়াতে একাধিক স্তর মানে খুব জটিল অ-রৈখিক কিনা তা আপনার প্রশ্নের সাথে সম্পর্কিত। "অত্যন্ত জটিল অ-রৈখিক" দ্বারা আপনি কী বোঝাতে চান তার উপর নির্ভর করে এটি সত্য হতে পারে। তবে গভীরতা সত্যিই আরও ভাল সাধারণীকরণ প্রস্তাব করছে। অনেক পদ্ধতিতে অঞ্চলের সংখ্যার সমান পরিমাণে নমুনার প্রয়োজন হয়। তবে দেখা যাচ্ছে যে "খুব বড় সংখ্যক অঞ্চল যেমন , উদাহরণ দিয়ে সংজ্ঞায়িত করা যায় " বেনজিও এট আল অনুসারে । এটি প্রতিনিধিত্বমূলক জটিলতার ফলাফল যা নেটওয়ার্কের নিম্ন স্তরগুলি থেকে নিম্ন বৈশিষ্ট্যগুলি রচনা করে। $O(2^N)$ $O(N)$

— DaemonMaker
সূত্র

2

আপনার উত্তরগুলির জন্য THX!

— রকটস্টার

6

এটি একটি মন্তব্য হিসাবে ভাল উপযুক্ত তবে এটির জন্য আমার সুনামের অভাব কারণ এটি একটি উত্তর হিসাবে দেওয়া হবে।

আমি প্রায় বেয়ারজ: এর উত্তর সম্পর্কে ধারণা নিয়ে কিছুটা বিভ্রান্ত হয়েছি। নিউরাল নেটওয়ার্ক এবং অধ্যক্ষ উপাদান উপাদান বিশ্লেষণ পড়া : স্থানীয় মিনিমা ছাড়াই উদাহরণগুলি থেকে শিক্ষা যেখানে প্রমাণ দেওয়া হয়।

$p$ $\Sigma_{XX}$

এটি কি তখন পিসিএ দ্বারা বিস্তৃত ঠিক সংবাদদাতা স্থান নয়?

— johnblund
সূত্র

1

আপনি যে কাগজটি উদ্ধৃত করেছেন তাতে একটি লিনিয়ার অটোয়েনকোডার ব্যবহার করা হয়, অর্থাত্ কোনও অ-রৈখিক অ্যাক্টিভেশন ফাংশন নেই। এই কারণেই এর ওজন পিসিএ দ্বারা বিস্তৃত একই উপ-স্থানকে বিস্তৃত করে।

— ইলিয়টপ

6

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$ $N$ $n-$ $X$ $\mathbf{x}_1,\dots,\mathbf{x}_N$

\begin{aligned} h_{1} & = W_{1} x + b_{1} \\ \hat{x} & = W_{2} h_{1} + b_{2} \end{aligned}

$\begin{align} \mathbf{h}_1 & = \mathbf{W}_1\mathbf{x} + \mathbf{b}_1 \\ \hat{\mathbf{x}} & = \mathbf{W}_2\mathbf{h}_1 + \mathbf{b}_2 \end{align}$

$\hat{\mathbf{x}}$ $W_1\in \mathbb{R}^{n \times m}$ $W_2\in \mathbb{R}^{m \times n}$ $m < n$

$m$ $W_2$ $m$ $X$

$W_2$ $m$ $X$ $X$ $n \times N$ $W_2$ $m\times n$ $W_2$ $O(m^2n)$ $X$ $O(n^2N)$ $m < n$

— DeltaIV
সূত্র