হাই-ডাইমেনশনাল ডেটার জন্য দ্রুততম পিসিএ অ্যালগরিদম

11

আমি প্রায় 40 000 নমুনা সমন্বিত একটি ডেটাসেটে একটি পিসিএ করতে চাই, প্রতিটি নমুনা প্রায় 10 000 বৈশিষ্ট্য প্রদর্শন করে।

মতলব প্রিনম্পম্প ফাংশনটি ধারাবাহিকভাবে অর্ধেক ঘন্টা সময় নেয় যা আমি প্রক্রিয়াটি শেষ করি। আমি একটি বাস্তবায়ন / অ্যালগরিদম খুঁজে পেতে চাই যা 10 মিনিটেরও কম সময়ে চলে। দ্রুততম অ্যালগরিদম কী হবে? কোনও আই 7 ডুয়াল কোর / 4 জিবি রামের জন্য এটি কতক্ষণ সময় নিতে পারে?

high-dimensional data-analysis

— পরিপক্ব
সূত্র

হ্যাঁ, আপনি ঠিক বলেছেন, আমার আরও সুনির্দিষ্ট হওয়া উচিত। এটি আধ ঘন্টা বেশি সময় নেয়, তারপর আমি প্রক্রিয়া হত্যা করার সিদ্ধান্ত নিয়েছে। আমি অন্তত দশ বার এই কাজ করতে হবে, এটা চমৎকার হবে না এমন কিছু বিষয় যা কম 10 মিনিটের মধ্যে কাজ আছে

— পরিপক্ব

আপনার ম্যাট্রিক্সটি কতটা কম?

— আর্নল্ড নিউমায়ার

ম্যাট্রিক্স মধ্যে শূন্য শতাংশ 80% উপরে

— পরিপক্ব

কার্নাল-পিসিএও দেখুন।

— meawoppl

11

প্রথমত, আপনি উল্লেখ করতে হবে যে আপনি সমস্ত উপাদান চান বা সর্বাধিক গুরুত্বপূর্ণ?

$A \in \mathbb{R}^{N \times M}$ $N$ $M$

$C \in \mathbb{R}^{M\times M}$ $O(NM^2)$ $O(M^3)$ $O(2M^2)$ $\approx 1.5$ $A$

$A$ $A$

$C$

— আলেকজান্ডার
সূত্র

2

আমি অনুমান করি যে আপনার কেবল কয়েকটি (বা কয়েকশো) প্রভাবশালী একক মান / ভেক্টর জোড়া দরকার। তারপরে পুনরাবৃত্ত পদ্ধতিটি ব্যবহার করা ভাল, যা অনেক দ্রুত হবে এবং মেমরির চেয়ে কম ব্যবহার করবে।

মতলব, দেখুন

সাহায্য এসভিডি

— আর্নল্ড নিউমায়ার
সূত্র

হ্যাঁ মনে হচ্ছে পুনরুক্তি পদ্ধতিগুলি দ্রুততর হয় যদি আমার কেবল প্রথম শতাধিক উপাদান প্রয়োজন হয়।

— মেলোয়

যতক্ষণ না এসভিডিএস সম্পর্কিত, আমি আমার ম্যাট্রিক্সকে একটি বিচ্ছিন্ন বিন্যাসে রাখার চেষ্টা করেছি এবং এসএনডি-র পরিবর্তে এসভিডস রাখার জন্য প্রিনম্পম্প ফাংশনটি সংশোধন করতে পেরেছি, এবং অবাক করে দিয়েছি এটি 2000 * 4000 ম্যাট্রিক্স (15 এর পরিবর্তে ১৮০ স) এর চেয়ে অনেক বেশি সময় নিয়েছে )। উদ্ভট ...

— পরিপক্ব

1

বিরল বিন্যাসে স্যুইচ করার দরকার নেই। এছাড়াও, আপনি গুনতে চান এমন একক ভেক্টরের সংখ্যা হ্রাস করতে হবে। ফিউল এসভিডি গণনার জন্য, এসভিডি উপযুক্ত নয়।

— আর্নল্ড নিউমায়ার

2

প্রভাবশালী মোডগুলির জন্য নোটটি হ'ল নতুন র্যান্ডমাইজড এসভিডি পদ্ধতিগুলি যেমন স্ট্যানফোর্ড.ইডু

— নিক

2

আপনি আমার উত্তর ক্রস যাচাই করে দেখতে পারেন । আমি এখানে এটি অনুলিপি করতে চাই না। মূলত, আপনি দ্রুত, এলোমেলোভাবে এসভিডি ব্যবহার করতে পারেন পিসিএ ভিত্তি এবং সহগগুলি গণনা করতে।

— ভিজে মাটির সোঁদা গন্ধ
সূত্র

1

আপনি দ্রুত পিসিএ অ্যালগরিদম চেষ্টা করতে পারেন যা কয়েকটি ইগেনভেেক্টর গণনার পুনরাবৃত্ত পদ্ধতির উপর ভিত্তি করে। দেখুন, এ। শারমা এবং কে কে পালিওয়াল, ফিক্সড পয়েন্ট বিশ্লেষণ ব্যবহার করে দ্রুত প্রধান উপাদান বিশ্লেষণ, প্যাটার্ন রিকগনিশন লেটারস, 28, 1151-1155, 2007 ।

— গণিতশাস্ত্র
সূত্র