আমার প্রায় 100000 ছোট ফাইলের সাথে একটি ডিরেক্টরি রয়েছে (প্রতিটি ফাইলের 1-3 টি লাইন থাকে, প্রতিটি ফাইল একটি পাঠ্য ফাইল)। আকারে ডিরেক্টরিটি খুব বড় নয় (<2 জিবি)। এই ডেটা পেশাদারভাবে পরিচালিত এনএফএস সার্ভারে থাকে। সার্ভারটি লিনাক্স চালায়। আমি মনে করি ফাইল সিস্টেমটি ext3, তবে আমি নিশ্চিতভাবে জানি না। এছাড়াও, সার্ভারে আমার রুট অ্যাক্সেস নেই।
এই ফাইলগুলি একটি বৃহত আকারের বৈজ্ঞানিক পরীক্ষার আউটপুট, যার উপর আমার নিয়ন্ত্রণ নেই। তবে আমাকে ফলাফল বিশ্লেষণ করতে হবে।
এই ডিরেক্টরিতে যে কোনও আই / ও অপারেশন / প্রক্রিয়াজাতকরণ খুব, খুব ধীর। একটি ফাইল খোলা (পাইথন ফপেন), একটি খোলা ফাইল থেকে পড়া, একটি ফাইল বন্ধ করা, সবই খুব ধীর। বাশ এলএস, ডু ইত্যাদিতে কাজ করে না।
প্রশ্ন হচ্ছে:
লিনাক্সের ডিরেক্টরিতে এমন কোনও ফাইলের সর্বাধিক সংখ্যা কীভাবে প্রসেসিং, ফোপেন, রিডিং ইত্যাদি করা ব্যবহারিক? আমি বুঝতে পারি যে উত্তরটি অনেকগুলি বিষয়ের উপর নির্ভর করে: fs টাইপ, কার্নেল সংস্করণ, সার্ভার সংস্করণ, হার্ডওয়্যার ইত্যাদি I আমি যদি সম্ভব হয় তবে কেবল থাম্বের একটি নিয়ম চাই।