এইচডিএফ 5 এর বিকল্প

Question

আমি কয়েক বছর ধরে এইচডিএফ 5 ব্যবহার করে আসছি, তবে ডেটাসেটের আকার বাড়ার সাথে সাথে আমি এখানে তালিকাভুক্ত একই সমস্যাগুলি শুরু করতে শুরু করছি

http://cyrille.rossant.net/moving-away-hdf5/

আপনি কি এইচডিএফ 5 এর মতো বিন্যাসে আমাকে ইঙ্গিত করতে পারেন - সমান্তরাল লেখার জন্য ভাল সমর্থন - বিশাল ম্যাট্রিকের অবিচ্ছিন্ন অ্যাক্সেসের জন্য সমর্থন

আমার সাধারণ ব্যবহারের ক্ষেত্রে 100k x 100k পূর্ণসংখ্যা ম্যাট্রিক্স। আমি এটি একটি যৌক্তিক দৃষ্টিকোণ থেকে পুরো ফাইল হিসাবে রাখতে চাই, তবে আমার এটি সমান্তরাল কর্মীদের সাথে খণ্ড করে লিখতে হবে।

Comments

আপনি কী ধরণের ডেটাসেট রফতানি করতে হবে তা দয়া করে ব্যাখ্যা করতে পারেন? আপনার প্রশ্নের উত্তর খুঁজতে থাকা লোকদের পক্ষে এটি সহায়ক হতে পারে। আমি এইচডিএফ 5 এর পাশাপাশি নেটসিএফডি বিবেচনা করেছি। তবে এগুলি নির্দিষ্ট ডেটা সেটগুলিতে আরও কড়া হতে পারে।

— চার্লস

সংকুচিত ভিটি কে খণ্ডগুলিকে সমর্থন করে। আপনি সমান্তরাল অনেকগুলি ফাইল সংরক্ষণ করতে পারেন এবং এটি পিভিডি মেটা ফাইল ব্যবহার করে একত্রে মার্জ করতে পারেন। আপনার ডেটাসেটের আকার কত?

— Krzysztof Bzowski

আপনার সম্পাদনাগুলির পরে - খণ্ডিত ভিটিকে দেওয়া ভাল সিদ্ধান্ত নয়।

— ক্রিজিস্তফফ ব্রাজস্কি

আপনি কি ব্যবহার শেষ করেছেন?

— aidan.plenert.macdonald

@ सहायता.পেনার্ট.ম্যাকডোনাল্ড আমি এমপিআই সহ সমান্তরাল রাইট ব্যবহার করে এইচডিএফ 5 রেখে দিয়েছি। তবে আমাকে পাইথনটি ছেড়ে যেতে হয়েছিল

— এমজি

Answer 1

এইচডিএফ 5 একটি পরিমাণে নিজস্ব ফাইল সিস্টেম। বি-ট্রিগুলি প্রবর্তন করে এবং এটি যেভাবে ব্লকগুলি পরিচালনা করে, এটি একটি ফাইল সিস্টেমের কার্যকারিতা ডুপ্লিকেট করে। আপনি যখন নিজের কোডটি চালাচ্ছেন, আপনি সম্ভবত এটি একটি প্রমাণিত এবং স্কেলযোগ্য ফাইল সিস্টেমের সাথে অপারেটিং সিস্টেমে চালাচ্ছেন। অতএব, আমি কাউন্ট ফাইল অ্যাক্সেস বা এমপিআই-আইও ব্যবহার করে আপনার সংখ্যাসূচক কাঁচা ডেটা একক ফাইলে লিখতে এবং আলাদা জেএসওএন বা এক্সএমএল ফাইলটিতে মেটা-ডেটা (অন্তর্নিহিতা, আকার, বৈশিষ্ট্য ইত্যাদি) লিখতে পরামর্শ দেব। আপনার যদি একাধিক ডেটাসেট থাকে তবে আপনি সেগুলি ডিরেক্টরিতে বা ডিরেক্টরিগুলির একটি শ্রেণিবিন্যাসে সংগঠিত করতে পারেন। আপনি যখন ডেটাসেট বিতরণ করতে চান, আপনাকে কেবল এটি একটি জিপ ফাইলে প্যাক করতে হবে।

একমাত্র নেতিবাচকতা হ'ল আপনাকে নিজের সাথে ইন্দিয়ানিয়েন্সকে মোকাবেলা করতে হবে , তবে এটি শক্ত নয় ।

এটি কীভাবে করা যায় তার অনুপ্রেরণার জন্য দেখুন ড্রাগলি, ইত্যাদি। অল। "এ। এক্সপেরিমেন্টাল ডিরেক্টরি স্ট্রাকচার (এক্সডির): নতুন ফাইল ফর্ম্যাট প্রবর্তন না করে এইচডিএফ 5 এর বিকল্প" ফ্রন্ট। নিউরোইনফর্ম।, 2018, 12 ।