আমরা একটি T 16TB স্টোরেজ সার্ভার তৈরির বিষয়ে বিবেচনা করছি। এই মুহুর্তে, আমরা জেডএফএস এবং এক্সএফএস উভয়কেই ফাইল সিস্টেম হিসাবে বিবেচনা করছি। সুবিধা, অসুবিধাগুলি কী কী? আমাদের কী সন্ধান করতে হবে? তৃতীয়, আরও ভাল বিকল্প আছে?
আমরা একটি T 16TB স্টোরেজ সার্ভার তৈরির বিষয়ে বিবেচনা করছি। এই মুহুর্তে, আমরা জেডএফএস এবং এক্সএফএস উভয়কেই ফাইল সিস্টেম হিসাবে বিবেচনা করছি। সুবিধা, অসুবিধাগুলি কী কী? আমাদের কী সন্ধান করতে হবে? তৃতীয়, আরও ভাল বিকল্প আছে?
উত্তর:
আমি এক্সএফএস খুঁজে পেয়েছি সম্ভবত অনেক বড় ফাইল সহ অত্যন্ত বৃহত ফাইল সিস্টেমগুলির জন্য আরও উপযুক্ত। আমার 2 বছরেরও বেশি সময় ধরে কোনও সমস্যা নেই নিয়ে এখন পর্যন্ত 3.6TB এক্সএফএস ফাইল সিস্টেমের কার্যকারিতা রয়েছে। নির্ধারিত আকারে ext3 ইত্যাদির চেয়ে আরও ভাল কাজ করে (বিশেষত অনেক বড় ফাইল এবং প্রচুর I / O নিয়ে কাজ করার সময়)।
জেডএফএসের সাথে আপনি যা পান সেটি হ'ল ডিভাইস পুলিং, স্ট্রিপিং এবং ফাইল সিস্টেমের মধ্যেই নির্মিত অন্যান্য উন্নত বৈশিষ্ট্য। আমি নির্দিষ্টকরণের সাথে কথা বলতে পারি না (আমি অন্যকে মন্তব্য করব), তবে আমি যা বলতে পারি তা থেকে আপনি সোলারিসকে এখানে সবচেয়ে বেশি সুবিধা পেতে ব্যবহার করতে চাই want আপনি যদি ইতিমধ্যে হার্ডওয়্যার র্যাড ব্যবহার করছেন (যেমন আমি আছি) তবে জেডএফএস কতটা সহায়তা করে তাও আমার কাছে অস্পষ্ট।
xfs_fsr
"ডিফ্রেগমেন্টেশন" প্রোগ্রাম।
জেডএফএস আপনাকে সফ্টওয়্যার র্যাডের বাইরেও সুবিধা দিবে। কমান্ডের কাঠামোটি অত্যন্ত বিবেচনা করে নির্ধারিত এবং স্বজ্ঞাত। মেটা-ডেটা ইনডেক্সিং গতি বাড়ানোর জন্য এটি সংক্ষেপণ, স্ন্যাপশট, ক্লোনিং, ফাইল সিস্টেম প্রেরণ / গ্রহণ এবং ক্যাশে ডিভাইসগুলি (সেই অভিনব নতুন এসএসডি ড্রাইভগুলি) পেয়েছে।
সঙ্কোচন:
#zfs set compression=on filesystem/home
এটি লাইভ-মাউন্ট করা যায় এমন অনুলিপি-অনুলিপি তৈরি করতে সহজ সমর্থন করে:
# zfs snapshot filesystem/home/user@tuesday
# cd filesystem/home/user/.zfs/snapshot/tuesday
ফাইল সিস্টেম ক্লোনিং:
# zfs clone filesystem/home/user@tuesday filesystem/home/user2
ফাইল সিস্টেম প্রেরণ / গ্রহণ:
# zfs send filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"
বর্ধিত প্রেরণ / গ্রহণ:
# zfs send -i filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"
ক্যাচিং ডিভাইস:
# zpool add filesystem cache ssddev
এটি হ'ল আইসবার্গের ইঙ্গিত মাত্র, আমি ওপেন সোলারিসের একটি ইনস্টল করার জন্য আপনার হাত পেতে এবং এটি চেষ্টা করার পরামর্শ দিচ্ছি।
http://www.opensolaris.org/os/TryOpenSolaris/
সম্পাদনা : এটি অনেক পুরানো, ওপেন সোলারিস বন্ধ করা হয়েছে, জেডএফএস ব্যবহারের সর্বোত্তম উপায়টি সম্ভবত লিনাক্স , বা ফ্রিবিএসডি-তে রয়েছে ।
সম্পূর্ণ প্রকাশ: আমি সান স্টোরেজ আর্কিটেক্ট ছিলাম, তবে আমি তাদের জন্য এক বছরেরও বেশি সময় ধরে কাজ করি নি, আমি এই পণ্যটি সম্পর্কে কেবল উত্তেজিত।
http://opensolaris.org/os/TryOpenSolaris/
লাইভ ফাইল সিস্টেমে lvm স্ন্যাপশট এবং xfs ব্যবহার করা বিপর্যয়ের জন্য একটি রেসিপি, বিশেষত খুব বড় ফাইল সিস্টেম ব্যবহার করার সময়।
আমি গত 6 বছর ধরে আমার সার্ভারগুলিতে LVM2 এবং xfs এ একচেটিয়াভাবে চালিয়ে যাচ্ছি (বাড়িতে zfs- ফিউজ যেহেতু খুব ধীরে ধীরে খুব সহজ) ...
তবে স্ন্যাপশটগুলি ব্যবহার করার সময় আমি যে সমস্ত ব্যর্থতা মোডের মুখোমুখি হয়েছিলাম তা আর গণনা করতে পারি না। আমি এগুলি পুরোপুরি ব্যবহার বন্ধ করে দিয়েছি - এটি কেবল খুব বিপজ্জনক।
আমি এখন একমাত্র ব্যতিক্রম হব তা আমার নিজস্ব ব্যক্তিগত মেইল সার্ভার / ওয়েবসার্ভার ব্যাকআপ, যেখানে আমি একটি অল্পকালীন স্ন্যাপশট ব্যবহার করে রাতারাতি ব্যাকআপ করব যা উত্স fs এর আকারের সমান এবং ঠিক পরে মুছে ফেলা হবে।
মনে রাখা সবচেয়ে গুরুত্বপূর্ণ দিক:
ভাবার জন্য কয়েকটি অতিরিক্ত জিনিস।
যদি কোনও ড্রাইভ যদি হার্ডওয়্যার RAID অ্যারে মারা যায় তবে তার উপরে থাকা ফাইল সিস্টেমটি নির্বিশেষে ডিভাইসের সমস্ত ব্লক পুনর্নির্মাণ করতে হবে। এমনকি যেগুলি কোনও ডেটা ধরে রাখেনি। অন্যদিকে জেডএফএস হ'ল ভলিউম ম্যানেজার, ফাইল সিস্টেম এবং ডেটা রিডানডেন্সি এবং স্ট্রাইপিং পরিচালনা করে। সুতরাং এটি কেবলমাত্র ব্লকগুলিতে ডেটা রয়েছে তা বুদ্ধি দিয়ে পুনর্নির্মাণ করতে পারে। ভলিউম 100% পূর্ণ হলে ব্যতীত দ্রুত পুনর্নির্মাণের ফলস্বরূপ।
জেডএফএসের ব্যাকগ্রাউন্ড স্ক্রাবিং রয়েছে যা নিশ্চিত করে যে আপনার ডেটা ডিস্কের সাথে সামঞ্জস্য বজায় রাখে এবং ডেটা ক্ষয় হওয়ার আগে এটির যে কোনও সমস্যা এটি খুঁজে পেতে পারে তা মেরামত করে।
জেডএফএস ফাইল সিস্টেমগুলি সর্বদা সুসংগত অবস্থায় থাকে তাই fsck এর কোনও প্রয়োজন নেই।
জেডএফএস এলভিএমের প্রস্তাবিত স্ন্যাপশটের তুলনায় এর স্ন্যাপশট এবং ক্লোনগুলির সাথে আরও নমনীয়তা এবং বৈশিষ্ট্যগুলি সরবরাহ করে।
লিনাক্স, এলভিএম, এক্সএফএস স্ট্যাকের বৃহত ফর্ম্যাট ভিডিও উত্পাদনের জন্য বড় স্টোরেজ পুল চালানো। আমার অভিজ্ঞতা হ'ল আপনার স্টোরেজকে মাইক্রো-ম্যানেজ করাতে পড়া সহজ। এর ফলে আপনার লজিকাল ভলিউমগুলি পরিচালনা করার সাথে প্রচুর অব্যবহৃত বরাদ্দ স্থান এবং সময় / সমস্যাগুলি দেখা দিতে পারে। আপনার যদি পুরো সময়ের স্টোরেজ অ্যাডমিনিস্ট্রেটার থাকে তবে স্ট্রোকটি মাইক্রো-ম্যানেজ করা আপনার কাজটি খুব বড় বিষয় নাও হতে পারে। তবে আমি দেখতে পেয়েছি যে জেডএফএসের পুল স্টোরেজ পদ্ধতির এই পরিচালনা সংক্রান্ত সমস্যাগুলি সরানো হয়েছে।
জেডএফএস একেবারে আশ্চর্যজনক। আমি এটি আমার হোম ফাইল সার্ভার হিসাবে 5 x 1 টিবি এইচডি ফাইল সার্ভার হিসাবে ব্যবহার করছি এবং এটি প্রায় 32 টিবি হার্ড ড্রাইভের স্থান সহ উত্পাদনতেও ব্যবহার করছি। এটি দ্রুত, সহজেই ব্যবহারযোগ্য এবং ডেটা দুর্নীতির বিরুদ্ধে সেরা সুরক্ষার কিছু রয়েছে।
আমরা এই সার্ভারে ওপেনসোলারিস বিশেষত ব্যবহার করছি কারণ আমরা আরও নতুন বৈশিষ্ট্যগুলিতে অ্যাক্সেস পেতে চেয়েছিলাম এবং এটি নতুন প্যাকেজ পরিচালনা ব্যবস্থা এবং আপগ্রেড করার উপায় সরবরাহ করেছে।
আপনি কোন ওএস চালানোর পরিকল্পনা করছেন? নাকি সে বিবেচনার আর একটি অংশ? আপনি যদি সোলারিস চালাচ্ছেন তবে এক্সএফএস এমনকি আমার জানা হিসাবে একটি বিকল্পও নয়। আপনি যদি সোলারিস না চালাচ্ছেন তবে আপনি কীভাবে জেডএফএস ব্যবহারের পরিকল্পনা করছেন? অন্যান্য প্ল্যাটফর্মগুলিতে সমর্থন সীমাবদ্ধ।
আপনি যদি কোনও লিনাক্স সার্ভারের কথা বলছেন তবে আমি এক্সট 3 এর সাথে ব্যক্তিগতভাবে আটকে থাকব, যদি কেবল এটি সর্বাধিক পরিমাণে পরীক্ষা গ্রহণ করে। zfs-fuse এখনও খুব অল্প বয়স্ক। এছাড়াও, একবারে এক্সএফএসের সাথে আমার সমস্যা হয়েছিল, যখন কার্নেল আপডেটের পরে কোনও বাগের ফলে ডেটা দুর্নীতি হয়েছিল। এক্সট্রা 3-র বেশি এক্সএফএসের সুবিধাগুলি অবশ্যই মেশিনটি পুনরুদ্ধার করার সাথে জড়িত ব্যয়কে ছাড়িয়ে যায়নি, এটি একটি দূরবর্তী ডাটাবেসনে অবস্থিত।
আমি মনে করি না যে আপনার পারফরম্যান্সে ফোকাস করা উচিত। আপনার ডেটা কি এক্সএফএস, এক্সট 4 ইত্যাদি দিয়ে নিরাপদ? এই পিএইচডি থিসিস এবং গবেষণা কাগজপত্র পড়ুন:
এক্সএফএস ডেটা দুর্নীতির বিরুদ্ধে নিরাপদ নয়: পৃষ্ঠা.cs.wisc.edu/~vshree/xfs.pdf
এবং উভয়ই ext3, জেএফএস, রিসারফেস ইত্যাদি নয়: zdnet.com/blog/stores/how-microsoft-puts-your-data-at-risk/169?p=169&tag=mantle_skin%3bcon "" আমি আকর্ষণীয় পিএইচডি থিসিস জুড়ে এসেছি বিজয়ন প্রভাকরণের, আইআরন ফাইল সিস্টেমগুলি বিশ্লেষণ করে যে কীভাবে পাঁচটি পণ্য জার্নালিং ফাইল সিস্টেমগুলি - এনটিএফএস, এক্সট্রি, রিসারএফএস, জেএফএস এবং এক্সএফএস - স্টোরেজ সমস্যা পরিচালনা করে।
সংক্ষেপে তিনি দেখতে পেলেন যে সমস্ত ফাইল সিস্টেম রয়েছে
. . . failure policies that are often inconsistent, sometimes buggy, and generally inadequate in their ability to recover from partial disk failures. "
তবে জেডএফএস সফলভাবে আপনার ডেটা সুরক্ষিত করে। এখানে একটি গবেষণা কাগজ এখানে দেওয়া হয়েছে: zdnet.com/blog/storage/zfs-data-integrity-tested/811
কোনও এফএস-ওরিয়েন্টেড উত্তর নয় দুঃখের সাথে তবে সচেতন থাকুন যে বেশ কয়েকটি ডিস্ক নিয়ন্ত্রণকারীরা> 2TB LUNS / যৌক্তিক-ডিস্কগুলি নিয়ে কাজ করবেন না - এটি আপনার স্টোরেজটিকে বেশ খানিকটা সংগঠিত করার পথে সীমিত করতে পারে। আমি কেবল চেয়েছিলাম আপনি সচেতন হন যাতে আপনি আপনার সিস্টেমটি শেষ থেকে শেষ পর্যন্ত পরীক্ষা করতে পারেন এটি নিশ্চিত করে যাতে এটি 16 টিবি জুড়ে মোকাবেলা করবে।
এটি নির্ভর করে আপনি কী বৈশিষ্ট্যগুলি চান ..., দুটি যুক্তিসঙ্গত পছন্দ এক্সএফএস এবং জেডএফএস যেমন আপনি বলেছেন, xfs কোডটি বেশ ভালভাবে পরীক্ষা করা হয়েছে আমি 8 বছর আগে আইআরআইএক্স এর আওতায় প্রথম ব্যবহার করেছি
এক্সএফএস থেকে স্ন্যাপশটগুলি পাওয়া সম্ভব (lvm এবং xfs_freeze ব্যবহার করে)
পৃথক লগ ডিভাইস যেমন এসএসডি থাকা সম্ভব
mkfs.xfs -l logdev=/dev/sdb1,size=10000b /dev/sda1
বৃহত্তর xfs traditionতিহ্যগতভাবে চেক করার জন্য প্রচুর মেমরির প্রয়োজন
জিরোগুলি পরিণত করার বিষয়টি একটি "সুরক্ষা" বৈশিষ্ট্য ছিল, যা আমি মনে করি কিছুক্ষণ আগে অদৃশ্য হয়ে গেছে।
ইতিমধ্যে যা উল্লেখ করা হয়েছে তা বাদে, এমডি বেস রেইডে এক্সএফএসের পারফরম্যান্স পয়েন্ট থেকে স্ট্রিমিং মিডিয়াতে জেডএফএসের চেয়ে আরও ভাল অভিনয় করে। আমি xfs এর সাথে এবং আমার মিডিয়া সার্ভারে zfs এর সাথে প্রায় একই পরিমাণে প্রায় একই হার্ডওয়্যারটি ব্যবহার করেছি। এক্সএফএস সহ ইন্টেল এটম 330 এ আমি কখনই স্টুটারের অভিজ্ঞতা অর্জন করতে পারি না, জটিল দৃশ্যে জেডএফএসে একই হার্ডওয়্যার ধরে রাখতে পারে না এবং ফ্রেমগুলি নামানো শুরু করে।
ভাল ছেলেরা, zfs এর সর্বশেষ সংযোজন সম্পর্কে ভুলে যাবেন না: প্রতিলিপি। এবং ফ্লাই ইস্কি, এনএফএস বা এসএমবি ভাগ করে নেওয়ার বিষয়ে কথা বলতে দিন। অন্যরা ইতিমধ্যে বলেছে, zfs ফাইল সিস্টেম, স্ন্যাপশট, রাইডজ (= raid5) ব্লক চেকসাম, গতিশীল স্ট্রাইপ প্রস্থ, ক্যাশে পরিচালনা এবং অন্যান্য অনেকের রফতানি। আমি zfs ভোট।