আমার কাছে এমন একটি অ্যাপ্লিকেশন রয়েছে যা তুচ্ছভাবে সমান্তরাল হতে পারে তবে এর কার্যকারিতা অনেকাংশে I / O আবদ্ধ। অ্যাপ্লিকেশনটি একটি ফাইলে সঞ্চিত একক ইনপুট অ্যারে পড়বে যা সাধারণত 2-5 জিবি আকারের হয় (তবে আমি ভবিষ্যতে এই সংখ্যাটি বাড়বে বলে আশা করি)। একটি সাধারণ গণনা সেই অ্যারের প্রতিটি সারি বা কলামে একই ক্রিয়াকলাপ প্রয়োগ করে। সিপিইউ-ভারী অপারেশনের জন্য, আমি প্রায় 100 প্রসেসর পর্যন্ত খুব ভাল স্কেলিং পাই তবে ধীর গতির জন্য I / O এবং সম্পর্কিত যোগাযোগের (এনএফএস অ্যাক্সেস) আধিপত্য রয়েছে এবং আমি কয়েকটি প্রসেসরের বেশি দক্ষতার সাথে ব্যবহার করতে পারি না।
এই ধরনের পরিস্থিতির জন্য দক্ষ এবং পোর্টেবল (আদর্শ পোর্টেবল দক্ষ) বিকল্পগুলি কী কী? সমান্তরাল এইচডিএফ 5 আশাব্যঞ্জক বলে মনে হচ্ছে। কারও সাথে এর বাস্তব জীবনের অভিজ্ঞতা আছে কি?
এমপিআই -আই / হে কি কিছু দেখার জন্য উপযুক্ত হবে? এটি কোনও প্রদত্ত ফাইল বিন্যাসের সাথে দক্ষতার সাথে কাজ করতে পারে, বা আমার কি সমস্ত কিছু মানিয়ে নিতে হবে?