150 টিবি এবং বাড়ছে, তবে কীভাবে বাড়বে?

Question

আমার গ্রুপে বর্তমানে দুটি লার্জিশ স্টোরেজ সার্ভার রয়েছে, উভয়ই এনএএস চলছে ডিবিয়ান লিনাক্স। প্রথমটি হ'ল একটি সর্ব-ইন-ওয়ান 24-ডিস্ক (SATA) সার্ভার যা বেশ কয়েক বছর পুরানো। আমাদের উপরে দুটি হার্ডওয়্যার র‌্যাডস রয়েছে যার মধ্যে এলভিএম রয়েছে। দ্বিতীয় সার্ভারটি enc৪ টি ডিস্ককে 4 টি এনক্লোজারের মধ্যে বিভক্ত করা হয়েছে, প্রতিটি হার্ডওয়ার RAID 6, বহিরাগত এসএএসের মাধ্যমে সংযুক্ত। আমরা 100 টিবি ব্যবহারযোগ্য স্টোরেজ তৈরি করতে তার উপরে এলভিএম সহ এক্সএফএস ব্যবহার করি। এই সবগুলি বেশ ভালভাবে কাজ করে তবে আমরা এই সিস্টেমগুলিকে ছাড়িয়ে যাচ্ছি। এই জাতীয় দুটি সার্ভার তৈরি এবং এখনও বাড়ছে, আমরা এমন কিছু তৈরি করতে চাই যা আমাদের ভবিষ্যতের বৃদ্ধি, ব্যাকআপ বিকল্পগুলির ক্ষেত্রে আরও বেশি নমনীয়তা দেয় যা ডিস্ক ব্যর্থতার অধীনে আরও ভাল আচরণ করে (বৃহত ফাইল সিস্টেমটি পরীক্ষা করতে আরও এক দিন সময় নিতে পারে), এবং দাঁড়াতে পারে একটি ভারী ভারী সমবর্তী পরিবেশে (ছোট কম্পিউটার ক্লাস্টার ভাবেন)। আমাদের সিস্টেম প্রশাসনের সহায়তা নেই,

সুতরাং, আমরা যা খুঁজছি তা হ'ল তুলনামূলকভাবে স্বল্প দামের, গ্রহণযোগ্য পারফরম্যান্স স্টোরেজ সমাধান যা ভবিষ্যতের বৃদ্ধি এবং নমনীয় কনফিগারেশনকে মঞ্জুরি দেবে (মনে করুন জেডএফএসে বিভিন্ন পুলের বিভিন্ন অপারেটিং বৈশিষ্ট্য রয়েছে)। আমরা সম্ভবত একটি একক এনএএস-এর রাজ্যের বাইরে। আমরা জেডএফএস (উদাহরণস্বরূপ ওপেনডিয়ানাতে) বা সার্ভারে বিটিআরএফএসের সংমিশ্রণের কথা ভাবছি যা গ্লাস্টার্ফগুলির উপরে চলমান রয়েছে যদি আমরা এটি নিজে করি। আমরা যেটির বিরুদ্ধে ওজন নিচ্ছি তা হ'ল বুলেটটি কামড়ানো এবং ইসিলন বা 3 পার স্টোরেজ সমাধানগুলিতে বিনিয়োগ করা।

কোন পরামর্শ বা অভিজ্ঞতা প্রশংসা করা হয়।

Answer 1

আমি আশা করি এটি একটু সাহায্য করবে। আমি এটিকে পাঠ্যের পুরো প্রাচীরে পরিণত করতে না দেওয়ার চেষ্টা করেছি। :)

3Par / Isilon

যদি আপনি সান প্রশাসকের ভূমিকা গ্রহণ করে এমন কোনও ব্যক্তির জন্য নির্দিষ্ট পরিমাণ ম্যান-ঘন্টা উত্সর্গ করতে পারেন এবং রাতের কাজের পরিবর্তে রাতের ঘুমের সাথে ব্যথাহীন জীবন উপভোগ করতে চান তবে আমি এই পথে যাব।

একটি সান আপনাকে সমস্ত স্টাফ করতে দেয় যেখানে একটি একক "স্টোরেজ" আপনাকে সীমাবদ্ধ করে রাখে (অর্থাত্ একটি খাঁটি স্টোরেজ ফ্ল্যাশ অ্যারে এবং একটি বৃহত 3 পার সাটা দানবকে একই সার্ভারের সাথে সংযুক্ত করুন), তবে আপনাকে এটির জন্য অর্থ প্রদান করতে হবে এবং এটি সমস্ত ভালভাবে বজায় রাখতে হবে সময় আপনি নমনীয়তা ব্যবহার করতে চান।

বিকল্প

Amplidata

পেশাদাররা: স্কেল আউট, সস্তা, একটি দুর্দান্ত ধারণা এবং ডিজিটাল ক্যাশে স্তরগুলি পড়ার / লেখার জন্য ডিজাইন করা। এটি আসলে আপনার জন্য সেরা জিনিস হতে পারে।

RisingTideOS

তাদের টার্গেট সফ্টওয়্যারটি এখন প্রায় সমস্ত লিনাক্স স্টোরেজে ব্যবহৃত হয় এবং এটি প্লেইন লিনাক্স / গ্লাস্টার স্টাফের চেয়ে সামান্য উন্নত পরিচালনার অনুমতি দেয়। (ইমো) বাণিজ্যিক সংস্করণটি একবার দেখার মতো হতে পারে।

Gluster / Btrfs

প্রো: স্কেল আউট এবং "ইট" আপনাকে একটি বিমূর্ত স্তর দেয় যা পরিচালনার জন্য খুব ভাল।

কন: প্রথমটি আমার জন্য মোট পিটা ছিল। এটি মজবুত ছিল না, এবং ব্যর্থতা স্থানীয়ভাবে একটি ইটের সাথে স্থানীয় হতে পারে বা সমস্ত কিছু সরিয়ে নিতে পারে। এখন, নিয়ন্ত্রণ তাহলে RedHat সঙ্গে এটি আসলে কিছু পরিশ্রমী পরিণত হতে পারে এবং আমি এমনকি পূরণ করেছি যারা পারেন এটা এত গৃহপালিত এটি বছরের পর বছর ধরে কাজ করে। এবং দ্বিতীয়টি এখনও অর্ধ-পরীক্ষামূলক। এটি প্রমাণিত এবং শক্তিশালী হওয়া অবধি সাধারণত একটি এফএসের "সম্পন্ন" হওয়ার 3-4 বছর পরে প্রয়োজন। আপনি যদি ডেটার জন্য যত্নশীল হন তবে আপনি কখনই এটি বিবেচনা করবেন? পরীক্ষামূলকভাবে কথা বলছি, কেফ বাণিজ্যিক সমর্থন এখন প্রায় শেষ, তবে আপনাকে "আরবিডি" স্তরটির সাথে লেগে থাকতে হবে, এফএসটি এখনও যথেষ্ট পরীক্ষিত নয়। আমি এটি পরিষ্কার করতে চাই যদিও সিফ দীর্ঘকালীন সময়ে অনেক বেশি আকর্ষণীয়। :)

ZFS

প্রো: এমন বৈশিষ্ট্য যা অন্যান্য স্টাফের কফিনে অবশ্যই পেরেক দেয়। এই বৈশিষ্ট্যগুলি ভালভাবে ডিজাইন করা হয়েছে (ভাবেন এল 2 এআরসি) এবং সংক্ষেপণ / ছাড়গুলি মজাদার। আরও একটি "স্টোরেজ ক্লাস্টার" রয়েছে যার অর্থ একটি বৃহত একীভূত বুমের পরিবর্তে কেবলমাত্র ছোট ব্যর্থতা রয়েছে

কন: বাস্তব স্টোরেজের পরিবর্তে অনেকগুলি ছোট সফ্টওয়্যার বাক্স বজায় রাখা। এগুলিকে সংহত করতে এবং একটি শক্তিশালী সেটআপ করতে $$$ ঘন্টা ব্যয় করতে হবে।

Comments

+1 টি। আমি আশা করি আপনি কিছু মনে করবেন না যে আমি এটিকে কিছুটা কম প্রাচীর-ওয়াই করে দিয়েছি।

— কাইল স্মিথ

@ ফ্লোরিয়ান-হিগল আপনার উল্লেখ করা সমাধানের কিছু খুঁজে পাওয়ার জন্য আমার ভাগ্য নেই বলে অনুসরণ করার জন্য আমাদের কয়েকটি লিঙ্ক থাকতে পারে (যেমন 3 পার, ইসিলন, রাইজিংটাইডস)। টিয়া।

— ossandcad

Answer 2

এক্সএফএস + এলভিএম রুটটি বিগত কয়েক বছরে মজাদার বিশুদ্ধ-লিনাক্স স্টোরেজ সমাধানের জন্য সেরা বিকল্পগুলির মধ্যে একটি। আমি আপনাকে ইতিমধ্যে সেখানে উত্সাহিত করছি। এখন আপনাকে আরও বৃদ্ধি করতে হবে, আপনার কাছে আরও কয়েকটি বিকল্প উপলব্ধ রয়েছে।

আপনি জানেন যে, বড় বড় হার্ডওয়্যার বিক্রেতাদের স্টোরেজের জন্য নাস-হেড রয়েছে। এটি সত্যিই আপনাকে একক বিক্রেতাকে এগুলি ঘটানোর জন্য কাজ করতে দেবে এবং এটি বেশ ভালভাবে কাজ করবে। এগুলিতে প্রবেশের সহজ সমাধান (ডিআইওয়াইয়ের তুলনায়), এবং তাদের রক্ষণাবেক্ষণযোগ্যতা কম। তবে, এগুলির ব্যয় অনেক বেশি। একদিকে আপনার অবকাঠামোগত সমস্যাগুলির চেয়ে আপনার মূল সমস্যাগুলি সমাধান করার জন্য আরও প্রকৌশল সংস্থান থাকবে; অন্যদিকে, আপনি যদি বেশিরভাগ বিশ্ববিদ্যালয় বিভাগের মতো হন তবে আমি জানি যে মানব-শক্তি জিনিসগুলির জন্য নগদ প্রদানের তুলনায় সত্যই সস্তা।

ডিআইওয়াই পথে যেতে আপনার কাছে ইতিমধ্যে উপলব্ধ ডিআইওয়াই বিকল্পগুলির একটি ভাল প্রশংসা রয়েছে। জেডএফএস / বিটিআরএফএস হল ছোট স্টোরেজটির জন্য এক্সএফএস + এলভিএম থেকে সুস্পষ্ট আপগ্রেড পাথ। লিনাক্স মেইনলাইন কার্নেলটিতে এটি 'স্থিতিশীল' না হওয়া পর্যন্ত আমি বিটিআরএফএস সম্পর্কে পরিষ্কার হয়েছি, এখনই খুব শীঘ্রই হওয়া উচিত যে বেশ কয়েকটি বড় বড় ফ্রি ডিগ্রো এটি ডিফল্ট ফাইল সিস্টেম হিসাবে ব্যবহার করছে। জেডএফএসের জন্য, আমি ওপেন ইন্ডিয়ানার চেয়ে বিএসডি বেস ব্যবহার করার পরামর্শ দেব কারণ এটি প্রায় দীর্ঘকাল ধরে রয়েছে এবং এর কিঙ্কস (আরও) কাজ শেষ হয়েছে।

গ্লাস্টার আপনি এখানে বর্ণিত ব্যবহারের ক্ষেত্রে তৈরি করা হয়েছিল। এটি প্রতিলিপি তৈরি করতে পাশাপাশি প্রচুর স্টোরেজ সংযুক্ত একটি একক ভার্চুয়াল সার্ভার উপস্থাপন করতে পারে। তাদের বিতরণিত ভলিউমগুলি আপনি যা খুঁজছেন ঠিক তেমনই শোনায় , যেহেতু তারা ঘোষিত ভলিউমের সমস্ত স্টোরেজ-সার্ভারগুলিতে ফাইলগুলি ছড়িয়ে দিয়েছে। আপনি দৃশ্যমান ভলিউমটি প্রসারিত করতে চালিয়ে যাওয়ার জন্য পৃথক স্টোরেজ সার্ভার যুক্ত করতে পারেন। একক নাম-স্থান!

গ্লাস্টার সহ গোটাচাটি হ'ল এটি সর্বোত্তমভাবে কাজ করে যখন আপনার ক্লায়েন্টরা সিআইএফএস বা এনএফএস বিকল্পের পরিবর্তে সিস্টেমে অ্যাক্সেসের জন্য গ্লাস্টার ক্লায়েন্ট ব্যবহার করতে পারে। যেহেতু আপনি একটি ছোট ক্লাস্টার-কম্পিউট ক্লাস্টার চালাচ্ছেন, আপনি কেবল গ্লাস্টারএফএস ক্লায়েন্টটি ব্যবহার করতে সক্ষম হতে পারেন।

আপনি এখানে সঠিক পথে আছেন।

Comments

এটি নিজেই করুন সমাধানের অর্থ হ'ল আপনি যদি এটি নিজেই ভেঙে যান তবে আপনাকে নিজেরাই এটি ঠিক করতে হবে। আপনি বেশ কয়েকটি সার্ভারের সীমা অতিক্রম করার সাথে সাথে এটি ব্যয়বহুল হয়ে যায়। এই স্টোরেজটিকে উচ্চতর উপলভ্য করার জন্য যদি কোনও ধরণের ব্যবসায়ের চাপ থাকে তবে আপনি নিজেকে নতুন করে আবিষ্কারের চেয়ে চাকা কেনার জন্য কম অর্থ ব্যয় করবেন। সার্ভারে চলমান স্টোরেজ সফ্টওয়্যারটি রিয়েল স্টোরেজ যা করতে পারে তা করতে পারে তবে আরও কম দামে হয় না।

— বেসিল

Answer 3

আমি যতদূর বুঝতে পেরেছি আপনি লিনাক্স এসসিএসটি + ফিব্রেচেনেল বা ইনফিনিব্যান্ডের উপর ভিত্তি করে একটি সান সমাধান ব্যবহার করতে পারেন, যা এখনই তৈরির কিছু। LUNs এর বেস হিসাবে আপনি হার্ডওয়ার RAID- র শীর্ষে LVM ব্যবহার করতে পারেন এবং ফাইল সিস্টেমের স্তরের নীচে স্ন্যাপশট / প্রতিলিপি (উদাহরণস্বরূপ DRBD নিতে) নিতে পারেন। ফাইল সিস্টেম হিসাবে আমি কনসুরেন্সির জন্য কোনও ভাল সমাধান সম্পর্কে অবগত নই কারণ আমি নোডের উপরে ESXi রাখছি, সুতরাং ডেটাস্টোরগুলি ইএসএক্স সমকালীন এফএস দ্বারা পরিচালিত হয়। আমি মনে করি জিএফএস 2 সেই পরিবেশের সাথে কাজ করতে পারে তবে আমি 100% নিশ্চিত নই, কারণ আপনার যথাযথ প্রয়োজনীয়তাগুলি পরীক্ষা করা উচিত। যাইহোক একবার আপনার নোডের নীচে আপনার শক্তিশালী SAN হয়ে গেলে, কাজগুলি করা খুব সহজ।