জেডসিএ সাদা করা এবং পিসিএ সাদা করার মধ্যে পার্থক্য কী?

Question

আমি জেডসিএ সাদা এবং স্বাভাবিক সাদা করার বিষয়ে বিভ্রান্ত হয়ে পড়েছি (যা পিসিএ ইগেনভ্যালুগুলির বর্গমূলের দ্বারা মূল উপাদানগুলি ভাগ করে নেওয়া হয়)। যতদুর আমি জানি,

$$\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite},$$ যেখানে PCA eigenvectors।$\mathbf U$

জেডসিএ হোয়াইটিংয়ের ব্যবহারগুলি কী? সাধারণ সাদা এবং জেডসিএ হোয়াইটিংয়ের মধ্যে পার্থক্য কী?

Comments

"নিউরাল নেটওয়ার্কস: ট্রেডের ট্রিকস" অনুসারে, পিসিএ এবং জেডসিএ কেবল একটি ঘূর্ণায়নের দ্বারা পৃথক হয়।

— মার্টিন থোমা

Answer 1

আপনার (কেন্দ্রিক) ডেটা কলামগুলিতে বৈশিষ্ট্য (ভেরিয়েবল) সহ একটি ম্যাট্রিক্স এবং সারিগুলিতে ডেটার পয়েন্টগুলিতে সঞ্চয় করা যাক। কোভরিয়েন্স ম্যাট্রিক্স এর এর কলামে এবং so এর ত্রিভুজটিতে , যাতে ।$n\times d$$\mathbf X$$d$$n$$\mathbf C=\mathbf X^\top \mathbf X/n$$\mathbf E$$\mathbf D$$\mathbf C = \mathbf E \mathbf D \mathbf E^\top$

তারপরে আপনি যাকে "নরমাল" পিসিএ ট্রান্সফর্মেশন বলেছেন , দেখুন কীভাবে ডেটা ব্যবহার করে সাদা করা যায় প্রধান উপাদান বিশ্লেষণ?$\mathbf W_\mathrm{PCA} = \mathbf D^{-1/2} \mathbf E^\top$

তবে এই সাদা রঙের রূপান্তরটি অনন্য নয়। প্রকৃতপক্ষে, কোনও ঘোরার পরে সাদা রঙের ডেটা হোয়াইট থাকবে, যার অর্থ যে কোনও orthogonal ম্যাট্রিক্স একটি সাদা রূপান্তরও হবে। জেডসিএ হোয়াইটেনিং বলা হয়, আমরা এই অরথোগোনাল ম্যাট্রিক্স হিসাবে ম্যাথবিএফ ( কোভরিয়েন্স ম্যাট্রিক্সের একসাথে ইগেনভেেক্টরকে একসাথে সজ্জিত ) হিসাবে গ্রহণ করি, অর্থাৎ$\mathbf W = \mathbf R \mathbf W_\mathrm{PCA}$$\mathbf R$$\mathbf E$

$$\mathbf W_\mathrm{ZCA} = \mathbf E \mathbf D^{-1/2} \mathbf E^\top = \mathbf C^{-1/2}.$$

জেডিএ রূপান্তরকরণের একটি সংজ্ঞাযুক্ত সম্পত্তি ( কখনও কখনও " মহালানোবিস ট্রান্সফর্মেশন " নামেও পরিচিত) হ'ল ফলস্বরূপ তথ্যের ফলে এটি মূল উপাত্তের সাথে যতটা সম্ভব নিকটে থাকে (কমপক্ষে স্কোয়ার্স অর্থে)। অন্য কথায়, আপনি কমান চান সাপেক্ষে সাদা হচ্ছে, তাহলে আপনি গ্রহণ করা উচিত । এখানে একটি 2 ডি চিত্রণ দেওয়া হয়েছে:$\|\mathbf X - \mathbf X \mathbf A^\top\|^2$$\mathbf X \mathbf A^\top$$\mathbf A = \mathbf W_\mathrm{ZCA}$

বাম সাবপ্লট তথ্য এবং এর প্রধান অক্ষগুলি দেখায়। বিতরণের উপরের-ডান কোণে গা sha় শেডিংটি নোট করুন: এটি এর অবস্থানকে চিহ্নিত করে। of এর সারিগুলি দ্বিতীয় সাবপ্লোটে দেখানো হয়েছে: এগুলি ভেক্টরগুলির দ্বারা ডেটা প্রত্যাশিত। হোয়াইট করার পরে (নীচে) বিতরণটি গোলাকার দেখায় তবে লক্ষ্য করুন যে এটিও ঘোরানো দেখায় --- অন্ধকার কোণটি এখন পূর্ব দিকে, উত্তর-পূর্ব দিকে নয়। of এর সারিগুলি তৃতীয় সাবপ্লোটে দেখানো হয়েছে (লক্ষ্য করুন যে তারা অরথোগোনাল নয়!)। হোয়াইট করার পরে (নীচে) বিতরণটি গোলাকার দেখায় এবং এটি মূলরূপে একইভাবে ওরিয়েন্টেড। অবশ্যই, একজন পিসিএ হোয়াইটড ডেটা থেকে Z ম্যাথবিএফ দিয়ে ঘোরার মাধ্যমে জেডসিএ হোয়াইটড ডেটা পেতে পারেন ।$\mathbf W_\mathrm{PCA}$$\mathbf W_\mathrm{ZCA}$$\mathbf E$

"জেডসিএ" শব্দটি বেল এবং সেজনোস্কি 1996 সালে চালু হয়েছিল বলে মনে হয়স্বতন্ত্র উপাদান বিশ্লেষণের প্রসঙ্গে এবং এর অর্থ দাঁড়ায় "শূন্য-পর্বের উপাদান বিশ্লেষণ"। আরও বিশদ জন্য সেখানে দেখুন। সম্ভবত, আপনি ইমেজ প্রক্রিয়াজাতকরণের প্রসঙ্গে এই পদটি জুড়ে এসেছেন। দেখা যাচ্ছে, যখন প্রাকৃতিক চিত্রগুলির গুচ্ছ (বৈশিষ্ট্য হিসাবে পিক্সেল, প্রতিটি চিত্র একটি ডেটা পয়েন্ট হিসাবে) প্রয়োগ করা হয়, তখন মূল অক্ষগুলি ক্রমবর্ধমান ফ্রিকোয়েন্সিগুলির ফুরিয়ার উপাদানগুলির মতো দেখায়, নীচে তাদের চিত্র 1 এর প্রথম কলামটি দেখুন। সুতরাং তারা খুব "গ্লোবাল"। অন্যদিকে, জেডসিএ রূপান্তরের সারিগুলি খুব "স্থানীয়" দেখায়, দ্বিতীয় কলামটি দেখুন। এটি অবশ্যই স্পষ্টভাবে কারণ জেডসিএ তথ্য যতটা সম্ভব সামান্য পরিবর্তিত করার চেষ্টা করে এবং তাই প্রতিটি সারি আরও ভাল একটি মূল ভিত্তিক ফাংশনগুলির নিকটবর্তী হওয়া উচিত (যা কেবলমাত্র একটি সক্রিয় পিক্সেলযুক্ত চিত্র হবে)। এবং এটি অর্জন করা সম্ভব,

হালনাগাদ

জেডিসিএ ফিল্টারগুলির এবং জেডসিএর পরিবর্তিত চিত্রগুলির আরও উদাহরণ ক্রিজেভস্কি , ২০০৯-এ দেওয়া হয়েছে , টিনি ইমেজগুলি থেকে একাধিক স্তরগুলির বৈশিষ্ট্য শিখতে , @ বায়ারজের উত্তর (+1) এর উদাহরণগুলি দেখুন see

আমি মনে করি যে এই উদাহরণগুলি জেডসিএ হোয়াইটিং পিসিএর চেয়ে কখন পছন্দনীয় হতে পারে সে সম্পর্কে একটি ধারণা দেয়। যথা, জেডসিএ-সাদা রঙের চিত্রগুলি এখনও সাধারণ চিত্রের অনুরূপ , অন্যদিকে পিসিএ-সাদা রঙের ছবিগুলি সাধারণ চিত্রগুলির মতো কিছুই দেখায় না। এটি সম্ভবত কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলির মতো অ্যালগরিদমের জন্য গুরুত্বপূর্ণ (যেমন, ক্রিজেভস্কির কাগজে ব্যবহৃত), যা প্রতিবেশী পিক্সেলকে একসাথে আচরণ করে এবং তাই প্রাকৃতিক চিত্রগুলির স্থানীয় বৈশিষ্ট্যগুলির উপর খুব বেশি নির্ভর করে। অন্যান্য বেশিরভাগ মেশিন লার্নিং অ্যালগরিদমগুলির জন্য এটি পিসিএ বা জেডসিএ দিয়ে ডেটা সাদা করা হয়েছে কিনা তা একেবারেই অপ্রাসঙ্গিক হওয়া উচিত ।

Comments

ধন্যবাদ! আমার একটি প্রশ্ন আছে: এর অর্থ কি জেডসিএ মূলত অ্যাক্সেস পরিবর্তন করে তবে খুব বেশি তথ্যের অবস্থান পরিবর্তন করে না? (আপনার ছায়ার ক্ষেত্রের উপর ভিত্তি করে)। এছাড়াও, এর অর্থ কি যখনই আমরা ঝকঝকে করি, তখন আমাদের জেডসিএ সাদা করা উচিত? আমরা কীভাবে পিসিএ হোয়াইটেনিং বা জেডসিএ হোয়াইটেনিং ব্যবহার করব?

— রকটিস্টার

(1) আপনি কী বোঝাতে চাইছেন আমি ঠিক তা নিশ্চিত নই, তবে আমি এটি এটির মতোই বলব: জেডসিএ এটিকে গোলাকার তৈরি করতে ডেটাসেটটি প্রসারিত করে, তবে এটি ঘোরানোর চেষ্টা করে না (যদিও পিসিএ এটি বেশ ঘোরান)। (২) আমি আসলে মনে করি যে বেশিরভাগ ক্ষেত্রে আপনি পিসিএ বা জেডসিএ হোয়াইটেনিং ব্যবহার করেন তা বিবেচ্য নয়। একমাত্র পরিস্থিতি যেখানে আমি ধারণা করতে পারি যে জেডসিএ অধিকতর সুবিধাজনক হতে পারে, তা হল কনভ্যুশনাল নিউরাল নেটওয়ার্কগুলির প্রাক প্রক্রিয়া। আমার উত্তরের একটি আপডেট দেখুন।

— অ্যামিবা 21

পিসিএ একটি ফুরিয়ার রূপান্তর করার মতো, জেডসিএ হ'ল রূপান্তরকরণ, বহুগুণ এবং ফিরে রূপান্তর, একটি (শূন্য-পর্ব) লিনিয়ার ফিল্টার প্রয়োগ করার মতো। সুতরাং আমরা যা দেখতে পাই তা প্রতিটি পিক্সলে ফিল্টার আবেগ প্রতিক্রিয়া রয়েছে। অপারেশনের সাথে জড়িত "উপাদানগুলি" একই, ই এর কলামগুলি, যা "মূল উপাদান" ... মানে, আপনি ডাব্লু উপাদানগুলির সারিগুলিকেও কল করতে পারেন, তবে আমার মনে হয় এটি বোঝা গুরুত্বপূর্ণ একই "প্রধান উপাদানগুলি" জড়িত রয়েছে এবং আপনি জেডসিএ প্রয়োগ করার সময় আপনি মূল ডোমেইনে ফিরে আসবেন, পিসিএর সাথে আপনাকে সংকেতটি "পুনর্গঠন" করতে হবে।

— ডিভাইডবিজারো

আপনার শেষ মন্তব্যে @ ডিভিডিবিজারো +1 করুন, আমি মনে করি এটি একটি মূল্যবান দৃষ্টিভঙ্গি। যাই হোক না কেন, আমি আশা করি আমার শেষ চিত্রটির অর্থ (এটি লিঙ্কযুক্ত কাগজ থেকে নেওয়া) এখন পরিষ্কার হয়ে গেছে।

— অ্যামিবা বলেছেন 22

@ এলার্নিং আপনি পিসিএর সাদা রঙের চিত্রগুলি দেখতে পাচ্ছেন না! তারা "পিসিএ মাত্রা-হ্রাসযুক্ত চিত্রগুলি", অর্থাৎ পিসিএ মাধ্যমে পুনর্গঠন দেখায় , তবে পিসিএ নিজেরাই অনুমান করে না।

— অ্যামিবা বলছেন মনিকা পুনরায়

Answer 2

কোভেরিয়েন্স ম্যাট্রিক্স যেখানে ম্যাট্রিক্স , সাধারণ হোয়াইটানিং তথ্যকে এমন একটি জায়গায় রূপান্তরিত করে যেখানে কোভেরিয়েন্স ম্যাট্রিক্সটি তির্যক হয়: (স্বরলিপিটির কিছু অপব্যবহারের সাথে means) এর অর্থ আমরা অনুসারে ডেটা রুপান্তর করে সমবায়ুটিকে তির্যক করতে পারি

$$\bar{X}\bar{X}^T = LDL^T$$ $D = \text{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$ $$\sqrt{D^{-1}}L^{-1}\bar{X}\bar{X}^TL^{-T}\sqrt{D^{-1}} = \sqrt{D^{-1}}L^{-1}LDL^TL^{-T}\sqrt{D^{-1}} \\ = \mathbf{I}$$ $$\tilde{X} = \sqrt{D^{-1}}L^{-1}X.$$

এটি পিসিএ দিয়ে সাধারণ সাদা করা। এখন, জেডসিএ কিছু আলাদা করে - এটি ইগেনভ্যালুগুলিতে একটি ছোট এপসিলন যুক্ত করে এবং ডেটা ফেরত রূপ দেয়। জেডিসিএর আগে এবং পরে সিআইএফএআর ডেটা সেট করা কিছু চিত্র এখানে।

$$\tilde{X} = L\sqrt{(D + \epsilon)^{-1}}L^{-1}X.$$

জেডসিএর আগে:

Z এপসিলন সহ জেডসিএর পরে$\epsilon = 0.0001$

Z এপসিলন সঙ্গে জেডসিএর পরে$\epsilon = 0.1$

ভিশন ডেটার জন্য, উচ্চ ফ্রিকোয়েন্সি ডেটা সাধারণত নিম্ন ইগেনভ্যালু দ্বারা বিস্তৃত স্থানটিতে থাকবে। তাই জেডসিএ এগুলিকে শক্তিশালী করার একটি উপায়, যার ফলে আরও বেশি দৃশ্যমান প্রান্ত দেখা যায় etc.

Comments

বিপরীতমুখী নেওয়ার আগে অ্যাপসিলন যুক্ত করা উচিত নয়? আমি মনে করি কাছাকাছি-শূন্য ইজেনভ্যালুগুলির ক্ষেত্রে বিপরীতটি স্থিতিশীল করার জন্য এটি কেবল যুক্ত হয়েছে। সুতরাং আসলে যদি এটি জেডসিএ হোয়াইটিংয়ের জন্য এটি যুক্ত করা বুদ্ধিমান হয়ে থাকে, তবে এটি পিসিএ সাদা করার জন্য এটি যুক্ত করাও বুদ্ধিমানের কাজ হবে।

— অ্যামিবা বলেছেন মোনিকা পুনরায়

হ্যাঁ, বিপরীত আগে, ধন্যবাদ। যেহেতু এটি সাধারণত অনুশীলনে এসভিডি দিয়ে করা হয়, তাই আমি জানি না যে বিপরীতটি স্থিতিশীল করা আদৌ প্রয়োজনীয় কিনা।

— বায়ারজ

প্রভাবটি দেখানোর জন্য আমি আরও একটি ছবি যুক্ত করেছি।

— বায়ারজ

+1, তবে আমার কাছে আরও অনেকগুলি নাইটপিক এবং প্রশ্ন রয়েছে। (1) আমি এপসিলন সম্পর্কে যা বোঝাতে চেয়েছি তা হ'ল এটি জেডসিএর সাথে সুনির্দিষ্ট নয়, এটি পিসিএ সাদা করার জন্যও ব্যবহার করা যেতে পারে। (২) আমি নিশ্চিত নই যে এসভিডি: এসভিডি সম্পর্কে আপনার মন্তব্যটি আমি বুঝতে পেরেছি: এসভিডি বা না, একক একক মানগুলি উল্টানো দরকার, তাই অ্যাপসিলনের প্রয়োজন। (3) পিসিএ সাদা রঙের রূপান্তরটি হ'ল , আপনি এটিকে অন্যভাবে লিখেছিলেন, এবং এটি দ্বিতীয় সূত্রে গণনাটিকে ভুল করে তোলে ... (4) চমৎকার চিত্রগুলি, তারা কোথায় থেকে? (৫) আপনি কি জানেন যে কোন পরিস্থিতিতে জেডসিএ সাদা করা পিসিএ হোয়াইট করার চেয়ে বেশি পছন্দনীয় এবং কেন? $D^{-1/2}L^\top$

— অ্যামিবা বলছেন মনিকাকে

(1) সম্মত। যদিও এর অর্থ কী তা সম্পর্কে আমার কোনও অন্তর্দৃষ্টি নেই। (২) আমার পচনের জ্ঞানটি এখানে অসম্পূর্ণ, তবে আমি ধরে নিয়েছি যে একক কোভরিয়েন্স ম্যাট্রিক্সের উপর একটি ক্লাসিকাল ইনভার্সন ম্যাট্রিক্স ব্যর্থ হবে, যখন ডেভিড ম্যাট্রিক্সের উপর এসভিডি একক কোভরিয়েন্সকে জন্ম দেবে না। (3) ধন্যবাদ, এটি ঠিক করবে। ()) আমার কোড থেকে :) (৫) আমি অনুমান করি যে অনেক অ্যালগরিদমের জন্য যা অতিরিক্ত অসম্পূর্ণ উপস্থাপনা দেয় (যেমন GainShape K-Means, Auto encoders, RICA) এবং / অথবা বৈশিষ্ট্যগুলির পিসিএ বীজগণিত indepence এর মতো একটি কাজ করে, তবে এ সম্পর্কে আমার কোনও শক্ত জ্ঞান নেই।

— বায়ারজ