একটি ছোট আদর্শের সামঞ্জস্যের আইজেনভেেক্টর

আমার কাছে একটি ডেটাসেট রয়েছে যা ধীরে ধীরে পরিবর্তিত হচ্ছে এবং এর কোভেরিয়েন্স ম্যাট্রিক্সের ইগেনভেেক্টর / ইগেনভ্যালুগুলির আমার নজর রাখা উচিত।

আমি ব্যবহার করে আসছি scipy.linalg.eigh, তবে এটি খুব ব্যয়বহুল, এবং এটি ইতিমধ্যে আমার যে পচন রয়েছে তা কেবল ব্যবহার করে না যা কিছুটা ভুল।

এই সমস্যা মোকাবেলা করার জন্য যে কেউ আরও ভাল পদ্ধতির পরামর্শ দিতে পারে?

— ইয়ারোস্লাভ বুলাটোভ
সূত্র

আপনার ডেটা কত বড়? আপনার কি সম্পূর্ণ আইজেনসিস্টেম দরকার, বা কেবল কয়েকটি বৃহত্তম ইগেনভ্যালু দরকার? আপনার কি ঠিক সেগুলি দরকার, না কোনও আনুমানিক কাজ করবেন?

— সিএফএফ

আমার সম্পূর্ণ আইজেনসিস্টেম দরকার। কোভরিয়েন্স ম্যাট্রিক্সের বিপরীতের রেগ্রেশন ব্যাখ্যার সাহায্যে ছোট্ট আদর্শ আপডেটের পরে ম্যাট্রিক্সের ইনভার্স আপডেট করার জন্য আমি একটি অ্যালগরিদম পেয়েছি, তাই আমি ধরে নিয়েছি ইগেনভেেক্টরগুলির জন্য অনুরূপ কিছু থাকা উচিত।

— ইয়ারোস্লাভ বুলাটোভ

আপনি পূর্ণ eigendecomposition সঙ্গে কি করবেন? এর চেয়ে ভাল শর্টকাট হতে পারে যা এর মধ্য দিয়ে যায় না ... এবং আমি সিএফএইচ-এর প্রশ্নটি পুনরুদ্ধার করি: "কত বড়"?

— ফেডেরিকো পোলোনি

আমার কাছে 8 কে বৈশিষ্ট্য রয়েছে এবং কয়েক মিলিয়ন ডেটাপয়েন্ট রয়েছে, সুতরাং সমবায় আনুমানিক। এটি এই অ্যালগরিদম বাস্তবায়নের জন্য । গ্রেডিয়েন্ট আপডেটটি নির্দিষ্ট কোভেরিয়েন্স ম্যাট্রিক্সের ইগ্যালভ্যালুগুলির উপর নির্ভর করে এবং এই সোভিয়েশন ম্যাট্রিক্স প্রতিটি পদক্ষেপে পরিবর্তিত হয়

— ইয়ারোস্লাভ বুলাটোভ

উত্তর:

একটি নিষ্পাপ দৃষ্টিভঙ্গি হ'ল ম্যাট্রিক্স পুনরাবৃত্তি আইজেনসলভারের প্রাথমিক অনুমান হিসাবে আপনার ম্যাট্রিক্স ইগেনুয়ালু সমাধানটি ব্যবহার করা । আপনার যদি পূর্ণ বর্ণালী বা অন্যথায় পাওয়ার পদ্ধতি প্রয়োজন হয় তবে আপনি কিউআর ব্যবহার করতে পারেন। এটি সম্পূর্ণরূপে দৃ .় পদ্ধতির নয়, কারণ ম্যাট্রিক্সের ইগোনালুগুলি অগত্যা প্রায় প্রতিবেশী ম্যাট্রিক্সের (1) খুব কাছাকাছি নয় , বিশেষত যদি এর খারাপ অবস্থা (২) থাকে । $A(t)$ $A(t + \delta t)$

একটি সাবস্পেস ট্র্যাকিং পদ্ধতি দৃশ্যত আরও কার্যকর (3) । থেকে একটি উদ্ধৃতাংশ (4) :

একটি চরম (সর্বাধিক বা সর্বনিম্ন) ইগেন জোড় (ইগেনভ্যালু এবং ইগেনভেক্টর) এর পুনরাবৃত্ত গণনা 1966 [72] এর হতে পারে। ১৯৮০ সালে, থম্পসন ইগেনভেেক্টর অনুমানের জন্য একটি এলএমএস-প্রকারের অভিযোজিত অ্যালগরিদম প্রস্তাব করেছিলেন, যা নমুনা কোভারিয়েন্স ম্যাট্রিক্সের ক্ষুদ্রতম ইগ্যালুয়্যুলুর সাথে সামঞ্জস্যপূর্ণ এবং পিসারেঙ্কোর সুরেলা আনুষাঙ্গিকের সাথে মিলিত কোণ / ফ্রিকোয়েন্সিটির অভিযোজিত ট্র্যাকিং অ্যালগরিদম সরবরাহ করেছে [14] সরকার ইত্যাদি। [73৩] ধীরে ধীরে পরিবর্তিত সংকেতের কোভারিয়েন্স ম্যাট্রিক্সের ক্ষুদ্রতম ইগেনুয়ালুয়ের সাথে মিলিত এবং এটি থম্পসনের এলএমএস-টাইপ অ্যালগরিদমের চেয়ে অনেক দ্রুত রূপান্তর প্রমাণ করেছে, চূড়ান্ত ইগেনভেেক্টরটির প্রকরণের ট্র্যাক করতে কনজুগেট গ্রেডিয়েন্ট আলগোরিদম ব্যবহার করেছে used এই পদ্ধতিগুলি কেবলমাত্র একক চরম মান এবং সীমিত অ্যাপ্লিকেশন সহ ইগেনভেেক্টর ট্র্যাক করতে ব্যবহৃত হয়েছিল, তবে পরে এগুলিকে সাব-স্পেস ট্র্যাকিং এবং আপডেট করার পদ্ধতিগুলির জন্য বাড়ানো হয়েছিল। ১৯৯০ সালে, কমন এবং গোলুব []] চূড়ান্ত একক মান এবং একক ভেক্টর সন্ধানের জন্য ল্যাঙ্কজোস পদ্ধতির প্রস্তাব করেছিলেন, এটি একটি সাধারণ পদ্ধতি যা মূলত কিছু বড় এবং বিচ্ছিন্ন প্রতিসাম্য আইজিন সমস্যা নির্ধারণের জন্য ডিজাইন করা হয়েছিল [74]] $Ax = kx$

[]]: কমন, পি।, এবং গোলুব, জিএইচ (1990)। সিগন্যাল প্রসেসিংয়ে কয়েকটি চূড়ান্ত একক মান এবং ভেক্টরগুলি অনুসরণ করা। আইইইই (পিপি। 1327–1343) এর প্রক্রিয়াকরণে।

[14]: থম্পসন, পিএ (1980)। পক্ষপাতহীন ফ্রিকোয়েন্সি জন্য একটি অভিযোজিত বর্ণালী বিশ্লেষণ কৌশল

[]২]: ব্র্যাডবেরি, ডাব্লুডাব্লু, এবং ফ্লেচার, আর। (1966)। ইগেনপ্রব্লেমস সমাধানের জন্য নতুন পুনরাবৃত্তি পদ্ধতি। সংখ্যার গণিত, 9 (9), 259-2266।

[]৩]: সরকার, টি কে, ডায়ানট, এসএ, চেন, এইচ, এবং ব্রুল, জেডি (1986)। কনজিগেট গ্রেডিয়েন্ট পদ্ধতি অনুসারে অভিযোজিত বর্ণাল অনুমান। অ্যাকাস্টিক, স্পিচ এবং সিগন্যাল প্রসেসিংয়ের উপর আইইইই লেনদেন, 34 (2), 272-284।

[74]: গোলুব, জিএইচ, এবং ভ্যান লোড, সিএফ (1989)। ম্যাট্রিক্স গণনা (২ য় সংস্করণ)। বাল্টিমোর: জন হপকিন্স বিশ্ববিদ্যালয় প্রেস।

আমার এও উল্লেখ করা উচিত যে প্রতিসম ম্যাট্রিকগুলির সমাধান যেমন আপনার ব্যবহারের কারণে কী সমাধান করা উচিত তা scipy.linalg.eighকিছুটা সস্তা। আপনি যদি কেবল কয়েকটি ইগন্যালুয়েসগুলিতে আগ্রহী হন তবে আপনার পদ্ধতিতেও আপনি গতির উন্নতি পেতে পারেন। এই জাতীয় পরিস্থিতিতে প্রায়শই আর্নল্ডি পদ্ধতি ব্যবহার করা হয়।

— স্পেন্সার ব্রায়ঞ্জেলসন
সূত্র

পয়েন্টারের জন্য ধন্যবাদ, কিউআর অ্যালগরিদম একটি ভাল সূচনা পয়েন্টের মতো মনে হচ্ছে

— ইয়ারোস্লাভ বুলাটোভ

A

$A$

A + λ I

$A+\lambda I$

PS: linalg.eigh 4k-by-4k ম্যাট্রিক্সটি প্রায় 20 সেকেন্ড সময় নিচ্ছে (এটি কেবল কোনও কারণে একক কোর ব্যবহার করে)। আমার আপডেটে প্রতি 0.25 সেকেন্ডের দরকার

— ইয়ারোস্লাভ বুলাটোভ

$t^0$ $\mathcal{O}(N^3)$ $\mathcal{O}(k N^2)$ $N$ $k$

এখানে কয়েকটি প্রাসঙ্গিক তথ্যসূত্র রয়েছে:

ফার্স্ট-অর্ডার পার্থারবেশনের উপর ভিত্তি করে ডেটা কোভারিয়েন্স ম্যাট্রিক্সের অভিযোজিত আইজেনডিকম্পোজেশন (চ্যাম্পেইন , আইইইই টিএসপি 42 (10) 1994)

কোভেরিয়েন্স ম্যাট্রিক্সের ইউজনালু পঁচন (ইউ, আইইইই টিএসপি, 39 (5) 1991) এর পুনরাবৃত্তি আপডেট করা হচ্ছে

উচ্চ মাত্রায় অনলাইন অধ্যক্ষ উপাদান বিশ্লেষণ: কোন অ্যালগরিদম চয়ন করবেন? (কার্ডোট এবং ডিগ্রাস)

একবাক্য মান পচন আপডেট করার জন্য একটি স্থিতিশীল এবং দ্রুত অ্যালগরিদম (গু এবং আইজেনস্ট্যাড, 1994)

— GoHokies
সূত্র

দুর্ভাগ্যক্রমে আমার কাছে ছোট র‌্যাঙ্কের আপডেট নেই, আমার কাছে পূর্ণ র‌্যাঙ্কের ছোট ছোট আদর্শ আপডেট রয়েছে

— ইয়ারোস্লাভ বুলাটোভ

@ ইয়ারোস্লাভবুলাটোভ আমি কোনও দক্ষ অ্যালগরিদম সম্পর্কে সচেতন নই যা ছোট-আদর্শ পূর্ণমানের আপডেটগুলি পরিচালনা করতে পারে - সেরা আমি এই রেফারেন্সটি খুঁজে পেতে পারি তবে এটি খুব আশাবাদী বলে মনে হয় না। ইগেনভ্যালু পার্টেরটিউথিতে অবশ্যই সাহিত্যের একটি বৃহত সংস্থা রয়েছে যা আপনি দেখতে চাইতে পারেন (অন্য উত্তরটি দেখুন)।

— GoHokies