নন-অर्थোগোনাল কৌশলটি পিসিএ'র সাথে সমতুল্য

9

ধরুন আমার কাছে একটি 2 ডি পয়েন্টের ডেটাসেট রয়েছে এবং আমি ডেটাতে সমস্ত স্থানীয় ম্যাক্সিমার পরিবর্তনের দিকগুলি সনাক্ত করতে চাই, উদাহরণস্বরূপ:

এখানে চিত্র বর্ণনা লিখুন

পিসিএ এই পরিস্থিতিতে সহায়তা করে না কারণ এটি একটি অরথোগোনাল পচা এবং অতএব আমি নীল বর্ণিত দুটি রেখা সনাক্ত করতে পারি না, বরং এর আউটপুট সবুজ রেখাগুলির দ্বারা দেখানো মত দেখাবে।

এই উদ্দেশ্যে উপযুক্ত হতে পারে যে কোনও কৌশল সুপারিশ করুন। ধন্যবাদ।

pca dimensionality-reduction

— আহমেদ
সূত্র

আপনি কি আপনার উদাহরণ ডেটা সেট উপলব্ধ করতে পারবেন? আমি আপনার জন্য কিছু চেষ্টা করতে চাই শুভেচ্ছা, এরিক

— এরিক মেলসে

10

স্বতন্ত্র উপাদান বিশ্লেষণ আপনাকে ভাল সমাধান সরবরাহ করতে সক্ষম হওয়া উচিত। এটি পরিসংখ্যানগতভাবে পৃথক ভেরিয়েবলের মিশ্রণ থেকে আপনার পরিমাপের ফলাফল বলে ধরে নিয়ে অ-orthogonal উপাদানগুলি (যেমন আপনার ক্ষেত্রে যেমন) পচন করতে সক্ষম হয়।

ইন্টারনেটে প্রচুর ভাল টিউটোরিয়াল রয়েছে, এবং চেষ্টা করার জন্য কয়েকটি অবাধে উপলভ্য প্রয়োগগুলি শান্ত করুন (উদাহরণস্বরূপ স্কাইকিট বা এমডিপি )।

আইসিএ কখন কাজ করে না?

অন্যান্য অ্যালগরিদম হিসাবে, আইসিএ অনুকূল হয় যখন এটি অনুমান করা হয়েছিল যার জন্য এটি উত্পন্ন হয়েছিল apply concretely,

উত্স পরিসংখ্যানগতভাবে স্বাধীন
স্বাধীন উপাদানগুলি অ গাউসিয়ান
মিক্সিং ম্যাট্রিক্সটি অবিচ্ছিন্ন

আইসিএ মিক্সিং ম্যাট্রিক্স এবং স্বতন্ত্র উপাদানগুলির একটি অনুমান দেয়।

যখন আপনার উত্সগুলি গাউসিয়ান তখন আইসিএ উপাদানগুলি খুঁজে পাবে না। কল্পনা করুন যে আপনার দুটি স্বাধীন উপাদান রয়েছে, $x_{1}$ এবং $x_{2}$ , কোনটি $N(0,I)$ । তারপর,

পি ({এক্স}_{1}, {এক্স}_{2}) = পি ({এক্স}_{1}) পি ({এক্স}_{2}) = \frac{1}{2 π} মেপুঃ (- \frac{{এক্স}_{1}^{2} + + {এক্স}_{2}^{2}}{2}) = \frac{1}{2 π} মেপুঃ - \frac{| | এক্স | |^{2}}{2}

$p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2}$

কোথায় $||.||$ । দ্বিমাত্রিক ভেক্টরের আদর্শ। যদি সেগুলি অर्थোগোনাল রূপান্তরের সাথে মিশ্রিত হয় (উদাহরণস্বরূপ একটি ঘূর্ণন) $R$ ), আমাদের আছে, $||R\mathbf{x}|| = ||\mathbf{x}||$ , যার অর্থ সম্ভাবনা বন্টন ঘূর্ণন অধীনে পরিবর্তন হয় না। অতএব, আইসিএ তথ্য থেকে মিক্সিং ম্যাট্রিক্স খুঁজে পেতে পারে না।

— jpmuc
সূত্র

হ্যাঁ, এটি করা উচিত ( scikit-learn.org/stable/auto_exferences/decomposition/… ), ধন্যবাদ একটি গুচ্ছ! : ডি

— আহমেদ

1

আপনি যদি আরও কিছু বলেন তবে এটি সত্যিই গভীর উত্তরে পরিণত হতে পারে; বিশেষত, আপনার প্রস্তাবের (আইসিএ) সাথে @ গটফ্রাইডের প্রস্তাব (তির্যক রোটেশনের সাথে পিসিএ) তুলনা করার সিদ্ধান্ত নিন - দুটির পার্থক্য এবং ত্রুটিগুলি কী।

— ttnphns

আমি দেখতে পাচ্ছি যে এই প্রশ্নের আংশিক উত্তর দেওয়া হয়েছে। একটি সাধারণ উদাহরণ যুক্ত করে সম্পাদনা পরীক্ষা করুন যার জন্য আইসিএ প্রয়োগ হয় না।

— jpmuc

3

তথাকথিত "তির্যক" মামলার জন্য পিসিএ-এর মতো পদ্ধতি রয়েছে। এসপিএসএসের মতো স্ট্যাট-সফ্টওয়্যারগুলিতে (এবং সম্ভবত এটির ফ্রিওয়্যার ক্লোনটিতেও) পিএসপিপি সমতুল্যভাবে "তির্যক ঘূর্ণন" নামে পরিচিত, এবং সেগুলির উদাহরণগুলিকে "ওব্লিমিন", "প্রম্যাক্স" এবং আরও কিছু নামে অভিহিত করেছে। আমি যদি জিনিসগুলি সঠিকভাবে বুঝতে পারি তবে সফ্টওয়্যারটি অরথোগোনাল, ইউক্লিডিয়ান স্পেসে (যেমন আপনার ছবিতে দেখানো হয়েছে) স্থানাঙ্কের স্থানাঙ্কে পুনরায় গণনা করে ফ্যাক্টর-লোডিংগুলিকে "আয়তক্ষেত্রাকারী" করার চেষ্টা করে যার অক্ষগুলি অরথোগোনাল সহ সম্ভবত একাধিক রিগ্রেশন থেকে পরিচিত কিছু কৌশল। তদুপরি আমি মনে করি এটি কেবল পুনরাবৃত্তভাবে কাজ করে এবং মডেলের পরিসংখ্যান পরীক্ষায় এক বা একাধিক ডিগ্রি স্বাধীনতা গ্রহণ করে।

comparision পিসিএ এবং তির্যক আবর্তনের রেফারেন্স ম্যানুয়াল SPSS এর তির্যক-ঘুর্ণন জন্য (আইবিএম-সাইটে কোণে) গণনার এমনকি সূত্র রয়েছে।

[আপডেট] (আপ্পস, দুঃখিত, সবেমাত্র পরীক্ষা করা হয়েছে যে পিএসপিপি তির্যক প্রকারের "আবর্তন" সরবরাহ করে না)

— গটফ্রিড হেলমস
সূত্র

1

হুম, তৃতীয় পড়ার পরে আমি দেখতে পাচ্ছি যে, আপনার প্রশ্নটি তির্যক-ঘূর্ণন-যুক্তি থেকে কিছুটা আলাদা: আপনার ডেটা ক্লাউডে এটিও ঠিক নয় যে গড়টি উত্সের / এমনকি ডেটা এমনকি কেন্দ্রিকও নয়, তাই আপনি আমি আমার উত্তরে এখানে coveredাকা থেকে অন্য কিছু মনে থাকতে পারে। যদি এটি হয় তবে আমি উত্তরটি পরে মুছতে পারি ...

— গটফ্রাইড হেল্মস

1

যেহেতু তির্যক "আবর্তন" পিসিএর পরবর্তী, তারা প্রশ্নে বর্ণিত পরিস্থিতিটি "দেখতে" পারে না এবং সুতরাং পিসিএর চেয়ে দুটি উপাদান সনাক্ত করার মতো আরও ক্ষমতা নেই বলে মনে হয়।

— whuber

2

আমার এটির সাথে খুব বেশি অভিজ্ঞতা নেই, তবে ভিডাল, মা, এবং স্যাস্ট্রির জেনারেলাইজড পিসিএ একটি খুব অনুরূপ সমস্যার জন্য তৈরি হয়েছিল।

— নোহ স্টেইন
সূত্র

2

অন্যান্য উত্তরগুলি ইতিমধ্যে আপনি যে কৌশলগুলি বিবেচনা করতে পারেন সে সম্পর্কে কিছু কার্যকর ইঙ্গিত দিয়েছিল তবে কেউ মনে করেনি যে আপনার অনুমানটি ভুল:

এটি দেখতে, লক্ষ্য করুন যে দিকের বৈকল্পিক $\mathbf{w}$ দেওয়া হয় $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ , কোথায় $\mathbf{\Sigma}$ ডেটার কোভেরিয়েন্স ম্যাট্রিক্সকে বোঝায়। স্থানীয় ম্যাক্সিমার সন্ধান করতে আমাদের এই অভিব্যক্তিটির ডেরিভেটিভ শূন্যে রেখে দিতে হবে। যেমন $\mathbf{w}$ ইউনিটের দৈর্ঘ্য থাকতে সীমাবদ্ধ, আমাদের একটি পদ যুক্ত করতে হবে $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ কোথায় $\lambda$ ল্যাগরঞ্জের গুণক। পার্থক্যগতভাবে আমরা নিম্নলিখিত সমীকরণটি পাই:

Σ W - λ W = 0।

$\mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$

এই যে মানে $\mathbf{w}$ কোভেরিয়েন্স ম্যাট্রিক্সের আইজেনভেেক্টর হওয়া উচিত, অর্থাত্ প্রধান ভেক্টরগুলির মধ্যে একটি। অন্য কথায়, পিসিএ আপনাকে সমস্ত স্থানীয় ম্যাক্সিমা দেয় , অন্য কোনও নেই।

— জীবাণুবিশেষ
সূত্র

হাই, গণিতে আমার খুব বেশি পটভূমি নেই, আপনি উপরে উল্লিখিত জিনিসগুলি সম্পর্কে জানতে আমাকে কোনও উত্সের প্রস্তাব দিতে পারেন? ধন্যবাদ।

— আহমেদ

@ আহমেদ: আমি নিশ্চিত নই, এটি আপনি ইতিমধ্যে যা জানেন তার উপর নির্ভর করে। আমার ধারণা লিনিয়ার বীজগণিত এবং বিশ্লেষণে আপনার উপযুক্ত পাঠ্যপুস্তকের প্রয়োজন হবে। এটি বেশ বেসিক স্টাফ, কোনও শালীন পাঠ্যপুস্তকে beেকে রাখা উচিত।

— অ্যামিবা