বড় আকারের পিসিএও কি সম্ভব?


10

প্রধান উপাদান বিশ্লেষণ '(পিসিএ) ক্লাসিকাল পদ্ধতিতে এটি কোনও ইনপুট ডেটা ম্যাট্রিক্সে করা হয় যার কলামগুলির শূন্য মানে হয় (তারপরে পিসিএ "বৈচিত্র্যকে সর্বাধিক করতে পারে")। কলামগুলি কেন্দ্র করে সহজেই এটি অর্জন করা যায়। হাভেনভার, যখন ইনপুট ম্যাট্রিক্স বিচ্ছিন্ন হয়, কেন্দ্রিক ম্যাট্রিক্সটি এখন আর বিচ্ছিন্ন হয়ে যায় এবং - ম্যাট্রিক্সটি যদি খুব বড় হয় - এইভাবে আর স্মৃতিতে খাপ খায় না। স্টোরেজ সমস্যার জন্য কি কোনও অ্যালগরিদমিক সমাধান রয়েছে?


5
এমনকি যদি পুরো ডেটা ম্যাট্রিক্স মেমরির সাথে খাপ খায় না, তবে এটি খুব ভালভাবে হতে পারে যে কোভারিয়েন্স বা গ্রাম ম্যাট্রিক্স মেমরির সাথে ফিট করে। সেগুলি পিসিএ করার জন্য যথেষ্ট। আপনি কোন আকারের ইনপুট ডেটা ম্যাট্রিক্স সম্পর্কে ভাবছেন? এছাড়াও দেখুন stats.stackexchange.com/questions/35185
অ্যামিবা

1
@ অ্যামিবা: আমি 500 কে নমুনা (সারি) এবং 300K বৈশিষ্ট্য (কলাম) দেখছি
রায়

সফ্টওয়্যার সম্পর্কে, অ্যাপাচি স্পার্কের স্পার্ক.পাচি.আর.আগ. / ডকস / স্লেস্ট / has রয়েছে তা নিশ্চিত করার জন্য বাস্তবায়নটি মেমরির বাইরে থাকা ডেটার সাথে কাজ করে
টিম

উত্তর:


11

হ্যা এটা সম্ভব.

যদি ডেটা ম্যাট্রিক্স র‍্যামের সাথে ফিট না করে তবে এটি এখনও বিশ্বের শেষ নয়: এমন দক্ষ অ্যালগরিদম রয়েছে যা একটি হার্ড ড্রাইভে সঞ্চিত ডেটা দিয়ে কাজ করতে পারে। উদাহরণস্বরূপ, হাল্কো এট আল, ২০১০ তে বর্ণিত র্যান্ডমাইজড পিসিএ দেখুন , বড় ডেটা সেটগুলির মূল উপাদানগুলির বিশ্লেষণের জন্য একটি অ্যালগরিদম

বিভাগ 6.2 এ লেখকরা উল্লেখ করেছেন যে তারা 400k গুণ 100k ডেটা ম্যাট্রিক্সে এবং তাদের এলগরিদম চেষ্টা করেছিলেন

বর্তমান কাগজের অ্যালগরিদমের জন্য 1.5 ডিবি র‌্যামের ল্যাপটপ কম্পিউটার ব্যবহার করে, ডিস্কে সঞ্চিত এই ডেটা সেটের সমস্ত 150 জিবি প্রক্রিয়া করতে 12.3 ঘন্টা প্রয়োজন।

দ্রষ্টব্য যে এটি চৌম্বকীয় হার্ড ড্রাইভের পুরানো দিনগুলিতে ছিল; আজ সেখানে আরও দ্রুত শক্ত রাষ্ট্রীয় ড্রাইভ উপলব্ধ রয়েছে, সুতরাং আমার ধারণা একই অ্যালগরিদম যথেষ্ট দ্রুত সম্পাদন করবে।

এলোমেলোভাবে পিসিএর আরও আলোচনার জন্য এই পুরাতন থ্রেডটিও দেখুন: বিশাল সংখ্যক বৈশিষ্ট্যগুলির জন্য সেরা পিসিএ অ্যালগরিদম (> 10 কে)? এবং হাল্কো এট আল দ্বারা এই বৃহত্তর 2011 পর্যালোচনা: এলোমেলোতার সাথে কাঠামো সন্ধান করা: আনুমানিক ম্যাট্রিক্স পচানোর জন্য সম্ভাব্য আলগোরিদিম

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.