একটি এসইএলএস 10 সার্ভারে 60 টিবি স্টোরেজ যুক্ত করা হচ্ছে

Question

এসইএলএস 10 সার্ভারে আমাকে কিছু সংরক্ষণাগার। স্টেজিং স্টোরেজ যুক্ত করতে হবে। প্রয়োজনীয়তাটি হ'ল মোটামুটি বড় ভলিউম (প্রতিটি 9-10TB প্রতিটি প্রায়, 60TB বা মোট) যেগুলি সংরক্ষণাগার ডেটা সংরক্ষণ করতে ব্যবহৃত হবে (আক্ষরিক অর্থে, এটি একটি লাইব্রেরির জন্য) বড় চিত্রের ফাইলগুলি অন্তর্ভুক্ত করে (বেশিরভাগ অংশের জন্য 150 মেগ টিফস) এবং বড় তারবাল। আইও পড়ার জন্য ডেটা অত্যধিক পক্ষপাতদুষ্ট হবে, অবশ্যই> 95% এবং সম্ভবত 99% এরও বেশি।

স্টোরেজটি ইতিমধ্যে কেনা হয়েছে - একটি ডেল এমডি 3000 এসএএস অ্যারে ডেইজি 2 এমডি 1000 এর সম্পূর্ণ জনবহুল 2 টিবি 7200 আরপিএম সাটা ড্রাইভ, মোট 45 ড্রাইভের সাথে জড়িত। অ্যারেগুলির স্ট্যাকটি দুটি দ্বৈত পোর্টেড বহিরাগত এসএএস অ্যাডাপ্টার ব্যবহার করে সংযুক্ত করা হয়েছে অর্থাৎ স্ট্যাকের 4 টি পাথ রয়েছে।

আমার উদ্দেশ্য হ'ল 4 টি ভলিউমের একটি সেট হিসাবে 4 টি RAID গোষ্ঠীতে অ্যারে এক গরম অতিরিক্ত রেখে কনফিগার করা। সমস্ত গ্রুপ 7 বা 14 ড্রাইভ সহ RAID 6 হবে এবং প্রতিটি RAID গোষ্ঠী সেই গোষ্ঠীর সমস্ত ক্ষমতা ব্যবহার করে একক LUN হিসাবে উপস্থাপিত হবে। এসইএলএসের পাশে এগুলিকে এক্সএফএস ভলিউম হিসাবে ফর্ম্যাট করা দরকার।

আমার কাছে এসইএলএস (এবং সাধারণভাবে লিনাক্স) এর সাথে সীমিত অভিজ্ঞতা রয়েছে এবং আমি এ সম্পর্কে কিছু সুপারিশ সন্ধান করছি, বিশেষত:

1. এসইএলএস 10 এর অধীনে এই আকারের এক্সএফএস ভলিউমটি কনফিগার করার সময় কি সাবধানতা অবলম্বন করার জন্য কোনও নির্দিষ্ট বিষয় রয়েছে, যেমন আইও প্রোফাইল প্রদত্ত ডিফল্ট সেটিংস ঠিক আছে?
2. এগুলি \ বিভাজন \ ফর্ম্যাটটি আরম্ভ করার সেরা উপায় কী? আমি আমার প্রাথমিক পরীক্ষার জন্য এক্সএফএস ভলিউম তৈরি করতে এবং ফর্ম্যাট করার জন্য একটি ডিস্ক লেবেল এবং YAST পার্টিশন ম্যানেজার (সমস্ত ডিফল্ট গ্রহণ করে) সেট করতে পার্টেড ব্যবহার করেছি।
3. আমি কীভাবে মাল্টিপ্যাথিং সেট আপ করব? আমি যখন প্রাথমিক পরীক্ষার ভলিউম উপস্থাপন করি তখন এটি চারটি পৃথক ডিভাইস (/ dev / sdl, / dev / sdm, / dev / sdn এবং / dev / sdn) হিসাবে উপস্থিত হয়। একক ভলিউম হিসাবে এটি নিয়ে কাজ করতে আমি কী করব?
4. আমার প্রাথমিক পরীক্ষায় আমি প্রায় 30 মেগ / সেকেন্ডের বিদ্যমান ইএমসি ক্লেয়ারিয়ান সান ভলিউম থেকে স্থানান্তর হারগুলি দেখছি। এটি আমি প্রত্যাশার চেয়ে অনেক কম, এমনকি র‌্যাড 6 রুল জরিমানার জন্য অ্যাকাউন্টিং আমি 70-100 মেগ / সেকেন্ডের বলপার্কে কিছু দেখার আশা করছিলাম।
5. সবকিছু ঠিক আছে কিনা আমি কীভাবে বলতে পারি - ত্রুটিগুলি \ সতর্কতা ইত্যাদির সন্ধান কোথায় করা উচিত? YAST পার্টিশন সম্পাদক উদাহরণস্বরূপ চালু করতে খুব দীর্ঘ সময় নেয় এবং আমি কেন তা বুঝতে চাই।
6. আপনি কি এটি আলাদাভাবে বিভাজন করবেন এবং \ অথবা একটি ভিন্ন ফাইল সিস্টেম ব্যবহার করবেন এবং যদি তাই হয় কেন?

সার্ভারটি একটি ডেল 2950 - আমি বিস্তারিত চশমাটি পরীক্ষা করে দেখিনি তবে শীর্ষস্থানীয় ব্যবহারগুলি সর্বাধিক কম একক অঙ্কগুলিতে ঘোরাঘুরি করছে।

Answer 1

আমার আগের চাকরিতেও আমাদের একই সমস্যা ছিল। আমরা প্ল্যানেটারিয়ামগুলির জন্য উত্পাদন করছিলাম এবং প্রতিটি ফ্রেম ছিল 64 মেগাপিক্সেল। প্রচুর বড় ছবি। এগুলি প্রতিটি থিয়েটারের জন্য কম্পিউটারের একটি ক্লাস্টারের উপর আক্রমণাত্মক পঠন ক্রিয়াকলাপে প্রক্রিয়া করা হবে।

এই ক্ষেত্রে সার্ভারের অনুরূপ স্টোরেজ সেটআপ ছিল। একাধিক বাহ্যিক সরাসরি সংযুক্ত RAID অ্যারে। এগুলির প্রতিটি RAID6 ভলিউমে হোস্টের কাছে প্রকাশিত হয়েছিল এবং LVM (লজিকাল ভলিউম ম্যানেজার) এর অধীনে একটি ভিজি (ভলিউম গ্রুপ) এ যুক্ত হয়েছিল। প্রতিটি শো / প্রযোজনার পরে তাদের নিজস্ব এলভি (লজিকাল ভলিউম), ফরমেটেড এক্সএফএস আসবে, যা আমরা প্রজেক্টের সাথে প্রয়োজনীয় হিসাবে বৃদ্ধি করব।

যদি আপনার ডেটাসেটগুলি স্থিতিশীল হয় বা পূর্বাভাসের মতো এভাবে বাড়তে থাকে তবে এই পদ্ধতির আপনার পক্ষে ভাল কাজ করা উচিত। তবে সাবধান হন এই পদ্ধতির কোনও খারাপ দিক রয়েছে। আপনার স্টোরেজে থাকা এলভিগুলির মাইক্রো-পরিচালনা করতে হবে। কিছু প্রশাসক এটিকে এটিকে পছন্দ করেন তবে অন্যরা এড়াতে চেষ্টা করবেন। তবে এটি আপনাকে ডেটাसेट হিসাবে বাড়ার সাথে সাথে প্রতিটি এলভি এবং এক্সএফএস ফাইল সিস্টেম বৃদ্ধি করতে দেয়। আপনার এক্সএফএস ভলিউমকে যতটা সম্ভব ছোট রাখা যাতে আপনি এমন একটি fsck এ আটকে না যান যা কয়েক বছর পূর্ণ হতে পারে। এবং কোনও ফাইল সিস্টেমের দক্ষিণে যাওয়ার পরে ক্ষয়ক্ষতি নিয়ন্ত্রণ হিসাবে কাজ করতে পারে।

দাবি অস্বীকার: আমি যদি আজ এটি সেট আপ করি তবে আমি ওপেনসোলারিস এবং জেডএফএস ব্যবহার করব would মূলত খ / সি এটি মাইক্রো পরিচালনার সমস্যাগুলি এড়ায় এবং এটি একটি উচ্চতর ফাইল সিস্টেম / ভলিউম পরিচালক। সুতরাং আপনি এটিও একবার দেখতে চান।

Answer 2

আমি আরও বেশি ডিস্ক কেনার জন্য আরও অনেক কিছু অন্তর্ভুক্ত হয়ে থাকব এবং সেগুলিতে 10 টি RAID করব।

আমি কিছুক্ষণ আগে কেনা শত শত 1 টিবি ফাটা (ফাইবার সংযুক্ত এসটিএ) ডিস্কের সাথে আমার ভয়ানক সমস্যা হয়েছিল, এগুলি প্রতি 1k ডলার এবং আমি প্রতি মাসে 5% হারাচ্ছি! মূলত এগুলি কেবল 24x7 ডিউটি ​​চক্রের জন্য ডিজাইন করা হয়নি এবং আপনার একই সমস্যা থাকতে পারে আমি R10 এর জন্য সুপারিশ করব।

RAID6 সঠিক দিকের একটি পদক্ষেপ তবে আপনার যদি দক্ষতা থাকে তবে আমি কমপক্ষে একটি ডিস্ককে হট স্পিয়ার হিসাবে রেখে দিই - যদি কোনও ডিস্ক আপনার অ্যারেতে কোথাও মারা যায় তবে এটি লাফিয়ে স্খলিত হয়ে যাবে এবং এটি অপেক্ষা করার জন্য অপেক্ষা করছে while ব্যর্থ ডিস্ক প্রতিস্থাপন। সেই বিষয়টিতে আপনার প্রতিস্থাপনের জন্য অন-সাইটে কমপক্ষে 2 বা 3 অতিরিক্ত ডিস্ক প্রস্তুত রয়েছে তা নিশ্চিত করুন এবং 24x7 সমস্যা আছে যখন আপনাকে জানাতে আপনার কাছে সমস্ত সতর্কতা সেটআপ রয়েছে তা নিশ্চিত করুন।

পারফরম্যান্সের ক্ষেত্রে, সেই 2 গিগাবাইট ডিস্কগুলি 7.2 কে ডিস্কের জন্য স্লুইচি নয় এবং এসএএস খুব দ্রুত হতে পারে তাই আমি আশা করেছি যে আপনি 70MBps এর অনুক্রমিক পাঠের জন্য উল্লেখ করেছেন - স্পষ্টত র্যান্ডম এবং লেখাগুলি খুব কম হবে।

দুঃখিত, যদি আমি নেতিবাচক বলে মনে করি, আমি এখন বছরের জন্য কেবল স্টোরেজ নিয়ে কুস্তি করেছি এবং কেবলমাত্র এন্টারপ্রাইজ ডিস্ক সিস্টেমের সাথে সহজেই ঘুমাতে পারি - আমি নিম্ন-প্রান্তের গিয়ার ফিক্সিং করে খুব বেশি 48/72-ঘন্টা শিফ্ট টেনেছি।

Comments

দুর্দান্ত পয়েন্টস - আমি প্রশ্নটিতে নির্দিষ্ট করেছিলাম না তবে আমি অ্যারে প্রতি 3 টি গরম স্পেস রেখেছি। দুর্ভাগ্যক্রমে আমার কাছে খুব শীঘ্রই এগুলিতে আরও বেশি ডিস্ক নেওয়ার বিকল্প নেই তবে আমি গ্রাহককে কিছু খণ্ডে ক্ষমতা ছাড়তে রাজি হতে সক্ষম হতে পারি।

— হেলভিক