খুব বড় ধনাত্মক ম্যাট্রিক্স (65M x 3.4M) এর একক মান ভলন (এসভিডি) গণনা করার সর্বোত্তম উপায় কী যেখানে ডেটা অত্যন্ত বিরল?
ম্যাট্রিক্সের 0.1% এর চেয়ে কম শূন্য নয়। আমার এমন একটি উপায় দরকার যা:
- মেমরির সাথে মাপসই করা হবে (আমি জানি যে অনলাইন পদ্ধতি বিদ্যমান)
- একটি যুক্তিসঙ্গত সময়ে গণনা করা হবে: 3,4 দিন
- যথাযথভাবে সঠিক হবে তবে নির্ভুলতা আমার প্রধান উদ্বেগ নয় এবং আমি এতে কতটা সংস্থান রেখেছি তা নিয়ন্ত্রণ করতে সক্ষম হতে চাই।
এটি হাস্কেল, পাইথন, সি # ইত্যাদি লাইব্রেরি রয়েছে যা এটি প্রয়োগ করে। আমি ম্যাথলব বা আর ব্যবহার করছি না তবে প্রয়োজনে আর এর সাথে যেতে পারি
3
তোমার কত স্মৃতি আছে? 65M * 3.4M এর 0.1% এখনও শূন্য মানের 221e9 is আপনি যদি প্রতিটি মূল্য 4 বাইট ব্যবহার করেন তবে এটি 55 গিগাবাইটের বেশি যা কোনও ওভারহেড ধরে নিচ্ছে না, তাই স্পারসিটি এখনও সমস্যার সমাধান করে না ... আপনার কি পুরো সেটটি একবারে মেমোরিতে লোড করা দরকার?
—
বিটওয়াইজ
আমার আরও সুনির্দিষ্ট হওয়া উচিত ছিল। 32-বিট পূর্ণসংখ্যার সাথে 250-500mb এর বেশি হবে না। সম্ভবত অনেক কম, তবে মাত্রিক মাত্রাটি হ'ল সমস্যাটি যা আমি এটি বুঝতে পেরেছি। আমার একটি 16 গিগাবাইট মেশিন রয়েছে।
—
সোনিয়া
এ কেমন? quora.com/…
—
বিটওয়াইজ
এই ওয়েবপেজটি পাইথন লাইব্রেরিতে লিঙ্ক করেছে যা "একটি দ্রুত, বর্ধনশীল, কম স্মৃতি, বৃহত-ম্যাট্রিক্স এসভিডি অ্যালগরিদম" প্রয়োগ করে: en.wikedia.org/wiki/Latent_semantic_analysis
—
বিটওয়াইজ
এছাড়াও stats.stackexchange.com/questions/2806 দেখুন ।
—
অ্যামিবা বলছেন মনিকাকে