mkfs অপারেশন লিনাক্স সফ্টওয়্যার রেড 5 এ খুব দীর্ঘ সময় নেয়

Question

আমি 4 * 2 টিবি ডিস্ক সমন্বিত একটি লিনাক্স সফ্টওয়্যার রাইড স্তর 5 সেট আপ করেছি। ডিস্ক অ্যারে একটি 64k স্ট্রাইপ আকার এবং অন্য কোনও কনফিগারেশন প্যারামিটার দিয়ে তৈরি করা হয়েছিল। প্রাথমিক পুনর্নির্মাণের পরে আমি একটি ফাইল সিস্টেম তৈরি করার চেষ্টা করেছি এবং এই পদক্ষেপটি খুব দীর্ঘ সময় নেয় (প্রায় আধা ঘন্টা বা আরও বেশি)। আমি একটি xfs এবং ext3 ফাইল সিস্টেম তৈরি করার চেষ্টা করেছি, উভয়ই mkfs.ext3 সহ অনেক সময় নিয়েছি, আমি নিম্নলিখিত আচরণটি পর্যবেক্ষণ করেছি, যা সহায়ক হতে পারে:

• ইনোড টেবিলগুলি 1053 (second 1 সেকেন্ড) না হওয়া পর্যন্ত দ্রুত চলে, তারপরে এটি প্রায় 50 লিখে, দুই সেকেন্ডের জন্য অপেক্ষা করে, তার পরের 50টি লিখিত হয় (কনসোল প্রদর্শন অনুযায়ী)
• যখন আমি কন্ট্রোল + সি দিয়ে অপারেশনটি বাতিল করার চেষ্টা করি এটি সত্যিই বাতিল হওয়ার আগে এটি আধ মিনিটের জন্য স্তব্ধ থাকে

ডিস্কগুলির স্বতন্ত্রভাবে পারফরম্যান্স খুব ভাল, আমি প্রায় 95 / 110MB / s এর লেখার / পড়ার মানগুলির সাথে প্রত্যেকে আলাদাভাবে বনি ++ চালিয়েছি। এমনকি আমি সমান্তরালে প্রতিটি ড্রাইভে বনি ++ চালালেও মানগুলি কেবল 10 এমবি দ্বারা হ্রাস হয়। সুতরাং আমি সমস্যার উত্স হিসাবে সাধারণভাবে হার্ডওয়্যার / I / O সময়সূচীটি বাদ দিচ্ছি।

আমি সাফল্য ছাড়াই স্ট্রাইপ_ক্যাচি_ সাইজ এবং রিডহেড আকারের জন্য বিভিন্ন কনফিগারেশন প্যারামিটার চেষ্টা করেছি, তবে আমি মনে করি না যে সেগুলি ফাইল সিস্টেম তৈরি অপারেশনের জন্য প্রাসঙ্গিক।

সার্ভারের বিবরণ:

• লিনাক্স সার্ভার 2.6.35-27-জেনেরিক # 48-উবুন্টু এসএমপি x86_64 জিএনইউ / লিনাক্স
• m دادm - v2.6.7.1

এটি কীভাবে আরও ডিবাগ করা যায় সে সম্পর্কে কারও কি পরামর্শ আছে?

Answer 1

আমি সম্মত হই, এটি স্ট্রাইপ অ্যালাইনমেন্টের সাথে সম্পর্কিত হতে পারে। আমার অভিজ্ঞতা থেকে স্বাক্ষরবিহীন এক্সএফএসের 3 * 2TB RAID-0 এ তৈরি করতে ~ 5 মিনিট সময় লাগে তবে এটি স্ট্রাইপ আকারের সাথে সংযুক্ত থাকলে এটি 10-15 ডলার হয়। এক্সএফএসকে 256 কেবি স্ট্রিপ আকারে সারিবদ্ধ করার জন্য এখানে একটি আদেশ রয়েছে:

mkfs.xfs -l internal,lazy-count=1,sunit=512 -d agsize=64g,sunit=512,swidth=1536 -b size=4096 /dev/vg10/lv00

বিটিডাব্লু, আমার ক্ষেত্রে স্ট্রাইপ প্রস্থটি 3 ইউনিট, যা আপনার পক্ষে 4 ড্রাইভের সাথে একই তবে রেড -5 এ হবে।

স্পষ্টতই, এফএসের কার্যকারিতাও উন্নত করে, তাই আপনি এটিকে আরও ভালভাবে প্রান্তিক করে রাখুন।

Comments

হাই, এতে কোনও পার্থক্য হয়নি, আমি চেষ্টা করেছি: time mkfs.xfs -l sunit=128 -d agsize=64g,sunit=128,swidth=512 -b size=4096 /dev/md0 -fযা কোনও পরামিতি ছাড়াই এমকেএফএস হিসাবে প্রায় একই সময় নিয়েছিল

— এলমার ওয়েবার

আমি বনি চলছি ++, তাই দেখতে হলে অপারেশনের সময় কোন কর্মক্ষমতা পার্থক্য তোলে। বিটিডব্লিউ: অ্যাগ্রাইজ প্যারামিটারের কোনও কারণ আছে? আমি ম্যান পৃষ্ঠাটি পড়েছি তবে এটির মান নির্ধারণের সুবিধাটি কমাতে পারিনি।

— এলমার ওয়েবার

(বিটিডব্লিউ: উপরের কমান্ডটি ভুল ছিল, সঠিক প্রস্থটি ছিল 384)

— এলমার ওয়েবার

আমি এমকেএফএসে কোনও পারফরম্যান্স উত্সাহ পাইনি, তবে বনি ++ দিয়ে পরিমাপ করা সামগ্রিক পারফরম্যান্স আরও ভাল: ফাইল তৈরি / মুছুন অপারেশনগুলি আগের চেয়ে 4 গুণ ভাল এবং ক্রমিক লেখার গতি প্রায় 15%। অনেক ধন্যবাদ.

— এলমার ওয়েবার

অ্যাগসাইজটি এখানে সত্যই প্রয়োজনীয় নয় - এমকেএফএস এটি স্বয়ংক্রিয়ভাবে গণনা করবে (লজিক্যাল সিপিইউগুলির সংখ্যা অনুসারে ভলিউমের আকারকে ভাগ করে নেবে)। এটি আমার নিজের সেটআপ থেকে বাকী - আমি ভবিষ্যতের কনফিগারেশন পরিবর্তনের জন্য কিছু প্রত্যাশা নিয়ে এই ভলিউমটি তৈরি করেছি।

— dtoubelis

Answer 2

আমি সন্দেহ করি আপনি সাধারণ RAID5 ছোট লেখার সমস্যাটিতে চলেছেন। একটি স্ট্রাইপ আকারের আকারের অধীনে লেখার জন্য, এটি ডেটা এবং সমতা উভয়ের জন্য একটি রিড-মডিফাই-রাইটিং করতে হবে। যদি লিখনটি স্ট্রাইপের মতো একই আকারের হয় তবে এটি কেবল সাম্যটিকে ওভাররাইট করতে পারে, যেহেতু এটি মূল্য কী তা জানে এবং এটি পুনরায় গণনা করতে হবে না।

Comments

অর্থটি কি বুঝতে পারি, আমি কি এটি সঠিকভাবে দেখছি ?: mkfs.ext3 আউটপুট অনুযায়ী এটি 25 সেকেন্ডে প্রায় 25 টি ইনোড টেবিল লিখেছে, আমি ধরে নিচ্ছি যে তারা প্রাথমিক সৃষ্টির সময় 64k এর চেয়ে ছোট, সুতরাং একটি 64k স্ট্রাইপ লেখা আছে। এর অর্থ হ'ল প্রতিটি ডিস্কে 16k লেখা, সুতরাং একসাথে 25 র্যান্ডম 16k লিখে প্রতি সেকেন্ডে 4kb সেক্টরের আকারের অর্থ প্রতি সেকেন্ডে 100 এলোমেলো i / o ক্রিয়াকলাপ, যা বনি ++ দেখিয়েছে সে সম্পর্কে।

— এলমার ওয়েবার

প্রকৃত অভিযানের উপর বনি ++ থেকে ফলাফল মেলে, 335 এমবি পড়ুন এবং 310 এমবি লেখেন, তবে ফাইল তৈরি এবং মুছে ফেলা একক ডিস্কের পারফরম্যান্সের 1/3 অংশ মাত্র।

— এলমার ওয়েবার

Answer 3

আপনার mkfs এবং পরবর্তী ফাইল সিস্টেমের কার্যকারিতা উন্নতি করতে পারে যদি আপনি ফাইল সিস্টেমটি তৈরি করার সময় স্ট্রাইড এবং স্ট্রাইপ প্রস্থ নির্দিষ্ট করে থাকেন। আপনি যদি ডিফল্ট 4k ব্লক ব্যবহার করছেন তবে আপনার স্ট্রাইড 16 (64k এর RAID স্ট্রাইপ 4k এর ফাইল সিস্টেম ব্লক দ্বারা বিভক্ত) এবং আপনার স্ট্রাইপ প্রস্থটি 48 (আপনার অ্যারেতে 3 ডেটা ডিস্কের দ্বারা 16 এর গুণমানের ফাইল সিস্টেম স্ট্রাইড) হবে।

mkfs.ext3 -E stride=16 stripe-width=48 /dev/your_raid_device