জেডএফএস হোস্টে ভিএম চালানোর পারফরম্যান্সের প্রভাবগুলি কী কী?


11

আমি লিনাক্সে জেডএফএস ব্যবহার করে, আমার ডেবিয়ান লিনাক্স হোস্টে ডেটা স্টোরেজ করার জন্য ext3 থেকে জেডএফএসে স্থানান্তরিত করার কথা বিবেচনা করছি । জেডএফএসের একটি হত্যাকারী বৈশিষ্ট্য যা আমি সত্যিই চাই তা হ'ল এর ডেটা অখণ্ডতার গ্যারান্টি। আমার স্টোরেজ বৃদ্ধির প্রয়োজন হিসাবে তুচ্ছভাবে স্টোরেজ বাড়ানোর ক্ষমতাও এমন কিছু যা আমি প্রত্যাশিত।

তবে আমি একই হোস্টে কয়েকটি ভিএমও চালাচ্ছি। (যদিও সাধারনত, আমার ক্ষেত্রে যেকোন এক বারে কেবলমাত্র একটি ভিএম চলমান))

জেডএফএসের ডেটা চেকসামিং এবং কপিরাইট-অন-রাইটিং আচরণ বিবেচনা করে, ভিএম ডিস্ক চিত্রগুলি তুলনামূলকভাবে বিশাল ফাইল (আমার মূল ভিএম এর ডিস্ক চিত্রের ফাইলটি বর্তমানে 31 জিবিতে বসে), এর ভিএম অতিথির ভিতরে পারফরম্যান্সের কী কী প্রভাব রয়েছে? একটি মাইগ্রেশন? সম্ভাব্য নেতিবাচক কার্যকারিতা প্রভাব কমাতে আমি কী পদক্ষেপ নিতে পারি?

আমি প্রয়োজনে ভিএম ডিস্ক চিত্রগুলিতে কম ডেটা অখণ্ডতার গ্যারান্টি নিয়ে বেঁচে থাকতে পারি (আমি কোনও ভিএম এর অভ্যন্তরে সত্যিকারের সমালোচনামূলক কিছু করি না) এবং এগুলি সহজেই বাকী ফাইল সিস্টেম থেকে আলাদা করতে পারি, তবে আমি ডন না করলে ভাল লাগবে সর্বাধিক আমাকে অন্য একটি ফাইল সিস্টেমে স্থানান্তরিত করতে চায় এমন বৈশিষ্ট্যটি (এমনকি নির্বাচনীভাবে) বন্ধ করতে হবে না।

হার্ডওয়্যারটি ওয়ার্কস্টেশন-ক্লাস সিস্টেমের জন্য বেশ সুন্দর, তবে একটি হাই-এন্ড সার্ভারের কাছে খুব বেশি মোমবাতি রাখবে না (32 জিবি র‌্যাম বিরল সাথে> 10 জিবি ব্যবহারযোগ্য, 6-কোর 3.3 গিগাহার্টজ সিপিইউ, বর্তমানে 2.6 টিবি ব্যবহারযোগ্য অনুযায়ী ডিস্কের স্পেস dfএবং মোট প্রায় ১.১ টিবিবি মুক্ত; জেডএফএসে স্থানান্তরিত হওয়ার ফলে আরও কিছু মুক্ত স্থান যুক্ত হবে ) এবং আমি ডেটা ডুপ্লিকেশন চালানোর বিষয়ে পরিকল্পনা করছি না (ডেডআপ চালু করা আমার পরিস্থিতি তেমন কিছু যোগ করবে না)। পরিকল্পনাটি একটি জেবিওডি কনফিগারেশন দিয়ে শুরু করার কথা (স্পষ্টতই ভাল ব্যাকআপ সহ) তবে শর্তগুলি পরোক্ষ হলে আমি শেষ পর্যন্ত দ্বিমুখী মিরর সেটআপে যেতে পারি।


এছাড়াও যে মনে রাখা ZFS সঞ্চালিত ভাল IOPS পরিপ্রেক্ষিতে তারপর ঐতিহ্যগত RAID5 । RAIDZ একটি একক ডিস্কের গতিবেগ সম্পাদন করে লিখেছেন কারণ এটি I / O পারফরম্যান্স পেনাল্টিতে ভুগছে না যা traditionalতিহ্যবাহী RAID5 / 6 জর্জরিত করে।
স্টেফান লাসিউইস্কি

1
আপনার অন্তর্দৃষ্টিগুলির জন্য যারা উত্তর দিয়েছেন তাদের সকলকে ধন্যবাদ ! আমি অবশ্যই এই প্রশ্নে আবার আসব।
একটি সিভিএন

স্টিফান এর মন্তব্য .. ঠিক আছে, এটা ঠিক মিথ্যা। FSতিহ্যবাহী RAID5 অ্যারেগুলির তুলনায় ZOX RAIDZ পারফরম্যান্সটি IOPS দৃষ্টিকোণ (আপনার সাধারণত ভিএম-র ক্ষেত্রে সাধারণত যা সমস্যা রয়েছে) থেকে উল্লেখযোগ্যভাবে খারাপ। জেডএফএস এ গিয়ে লেখার পারফরম্যান্সের উন্নতি অনুমান করবেন না। এটি খুব কম ক্ষেত্রেই হয়। পড়ুন পারফেক্ট লাভগুলি এআরসি এবং আপনার কাজের সেট আকার এবং ব-দ্বীপে উপলব্ধ র্যামের উপর নির্ভর করবে। সাধারণত ভিএম এর সাথে জেডএফএস এআরসি বিকল্পগুলির তুলনায় সামগ্রিক পঠন পারফরম্যান্সে সহায়তা করে। লেখাগুলি সাধারণত আয়নায় এমনকি রেইডজ সহ সবসময় ভোগেন।
Nex7

@ নেক্স 7 জেডএফএস থেকে রেড ছাড়া মোটামুটি একটি স্টোরেজ ডিভাইস ছাড়া কীভাবে লেখাগুলি লেখা হয়, উদাহরণস্বরূপ কিছু এমড্রাইড সরবরাহ করেছেন? কোনও ফ্যান্সি রেড স্টাফ ব্যবহার না করায় কি জেডএফএস অন্যান্য ফাইল সিস্টেমের সাথে তুলনীয় সম্পাদন করে?
থারস্টেন শেনিং

উত্তর:


4

যেহেতু জেডএফএস একটি ব্লক স্তরে কাজ করে ফাইলগুলির আকারের কোনও পার্থক্য নেই। জেডএফএসের জন্য আরও মেমরি এবং সিপিইউ প্রয়োজন তবে ফাইল সিস্টেম হিসাবে সহজাতভাবে উল্লেখযোগ্যভাবে ধীর হয় না। যদিও আপনার সচেতন হওয়া দরকার যে RAIDZ RAID5 এর গতির সমতুল্য নয়। RAID10 ঠিক আছে যেখানে গতি একটি অগ্রাধিকার।


4

শালীন (যেমন বাফ) হার্ডওয়্যারে থাকা জেডএফএস সম্ভবত অন্যান্য ফাইল সিস্টেমের চেয়ে দ্রুততর হবে, আপনি সম্ভবত একটি দ্রুত (অর্থাত্ এসএসডি) অবস্থানের উপর একটি জেডআইএল তৈরি করতে চান। এটি মূলত ক্যাশে লেখার জন্য একটি অবস্থান (ভাল, আরও ext3 / 4 তে একটি জার্নালের মতো)। প্রকৃত স্পিন্ডেলের ডেটা থাকার আগে এটি বক্সকে ডিস্কে লিখিত হিসাবে লিখতে দেয়।

আপনি পড়া ক্যাশের জন্য এসএসডি তে একটি এল 2 আরসি তৈরি করতে পারেন। এটি কোনও ভিএম পরিবেশে দুর্দান্ত where যেখানে আপনি একই সাথে বেশ কয়েকটি ভিএম বুট করে তাদের হাঁটুতে শারীরিক ডিস্ক আনতে পারেন।

ড্রাইভগুলি ভিডিইভিতে যায়, ভিডিইভিগুলি জপপুলগুলিতে যায় (দয়া করে একবারে পুরো ডিস্ক ব্যবহার করুন)। যদি এটি একটি ছোট সিস্টেম হয় তবে আপনি একটি একক জপুল রাখতে পারেন এবং (যদি আপনি ডেটা ক্ষতি সম্পর্কে খুব বেশি উদ্বিগ্ন না হন) একটি একক ভিডিইভিও রাখতে পারেন। ভিডিইভিগুলি হ'ল আপনি যেখানে রেড স্তরটি নির্বাচন করেন (যদিও আপনি পর্যাপ্ত ডিস্ক পেয়ে থাকেন তবে আপনি মিরর ভিডিইভিও করতে পারেন)। কোনও ভিডিইভিতে সবচেয়ে ধীর ডিস্ক নির্ধারণ করে যে পুরো ভিডিইভি কত দ্রুত।

জেডএফএস হ'ল ডেটা অখণ্ডতা সম্পর্কিত - ফাইল সিস্টেম রক্ষণাবেক্ষণের জন্য প্রচুর প্রচলিত সরঞ্জামের অস্তিত্বের কারণ নেই (fsck এর মতো) তারা যে সমস্যার সমাধান করেন তা কোনও ZF ফাইল সিস্টেমে থাকতে পারে না।

আইএমও জেডএফএসের সবচেয়ে বড় অপূর্ণতা হ'ল যদি আপনার ফাইল সিস্টেমগুলি পূর্ণরূপে আসে (75% + বলুন) এটি খুব ধীর হয়ে যায়। শুধু সেখানে যান না।


2

৩১ জিবি আসলে মোটেও বড় নয় ...

যাইহোক, আপনি বর্তমানে যে ফাইল সিস্টেমটি ব্যবহার করছেন তার উপর নির্ভর করে আপনি জেডএফএসটি কিছুটা ধীর গতিতে দেখতে পাচ্ছেন তবে আপনার হার্ডওয়্যার স্পেসগুলি এটিকে উপেক্ষিত হতে পারে।

স্পষ্টতই জেডএফএস ক্যাচিংয়ের জন্য র‌্যামের একটি ভাল অংশ ব্যবহার করবে যা আপনার ভিএমগুলিকে সাধারণ ব্যবহারে 'স্নাপিয়ার' বলে মনে করতে পারে (ভারী পড়া বা লেখার সময় নয়)। লিনাক্সে জেডএফএস কীভাবে সুর করা হচ্ছে তা সম্পর্কে আমি নিশ্চিত নই তবে আপনার সমস্ত র‌্যাম দিয়ে পালানো বন্ধ করার জন্য আপনার এআরসিটি সীমাবদ্ধ করার প্রয়োজন হতে পারে (আপনার হোস্ট সিস্টেমের জন্য আপনি যদি চান তবে একটি শালীন অংশ এবং ভার্চুয়াল মেশিনের)।

আমি সংক্ষেপণ সক্ষম করব (আপনার কাছে না করার ভাল কারণ না থাকলে এই দিনগুলিতে এটি পরামর্শ চালু করার পরামর্শ)। মনে রাখবেন ফাইল সিস্টেমে ডেটা দেওয়ার আগে এটি করতে হবে । সংক্ষিপ্তকরণ অ্যালগরিদমগুলি সাধারণত ডিস্ক আইওর চেয়ে দ্রুত চলবে বলে বেশিরভাগ লোকেরা এটির সাথে এটির তাত্পর্যটি দ্রুত খুঁজে পেয়ে অবাক হন। আমি সন্দেহ করি এটি আপনার 6 টি কোর প্রসেসরের সাথে পারফরম্যান্স সমস্যার অনেক কারণ ঘটবে। আমি ভিএমএসকে খুব বেশি সংকোচনের আশা করছিলাম না, তবে আমি ডিফল্ট সংক্ষেপণ সেটিং দিয়ে ~ 470 গিগাবাইটের ভিএম ডেটা 304 জিবিতে রূপান্তরিত করতে সক্ষম হয়েছি।

ডিডাপ নিয়ে বিরক্ত করবেন না, এটি পরে আপনাকে ভুতুড়ে ফিরে আসবে এবং আপনি এগুলি থেকে মুক্তি পাওয়ার চেষ্টা করে ডেটা বদলে কয়েক সপ্তাহ ব্যয় করবেন।

আপনি যদি পারফরম্যান্স সমস্যার সম্মুখীন হন তবে সুস্পষ্ট উত্তর হ'ল জেএসএল / এল 2 এআরসি বা এমনকি উভয় হিসাবে এসএসডি যুক্ত করা। উভয়ের জন্য একটি ডিভাইস ব্যবহার করা এটি আদর্শ নয় তবে এটি সম্ভবত সংখ্যক ডিস্ক / ভিডিভি সমন্বিত একটি পুলের কার্যকারিতা উন্নত করবে।

যোগ করার জন্য: আমি সম্ভবত চেষ্টা করব এবং সম্ভব হলে (আদর্শভাবে আয়না) অপ্রয়োজনীয় কনফিগারেশন দিয়ে শুরু করব, বা যত তাড়াতাড়ি সম্ভব স্ট্রাইপ থেকে আয়নাতে রূপান্তর করব। যদিও জেডএফএস সমস্ত ডেটা চেকসাম করবে এবং ফ্লাইতে ত্রুটিগুলি সনাক্ত করবে (বা কোনও স্ক্রাবের সময়), এটি এ সম্পর্কে কিছুই করতে সক্ষম হবে না (অনুলিপি = 2 ব্যবহার না করে যা ডিস্কের ব্যবহার দ্বিগুণ করবে)। আপনাকে কেবল ফাইলগুলি (সম্ভবত আপনার ভিএম ডিস্ক চিত্র) -এর ত্রুটি রয়েছে বলে জানিয়ে দেওয়া হবে যা আপনি এই ফাইলগুলি মোছা এবং পুনরায় তৈরি না করে অনেক কিছু করতে পারবেন না।


"আপনাকে কেবল ফাইলগুলিতে ত্রুটি রয়েছে বলে জানানো হবে ... যা সম্পর্কে আপনি খুব বেশি কিছু করতে পারবেন না" এটি একটি ভাল মতামত, এবং আমি এটির প্রশংসা করি। এটি বলেছিল, যেখানে আমার রাতের ব্যাকআপগুলি আসে। যেহেতু এটি আমার এবং নীরব ডেটা দুর্নীতির মধ্যে কিছুই দাঁড়ায় না, তাই জেডএফএস কেবলমাত্র ফাইলটি বা এর একটি অংশ পড়তে অস্বীকার করি যতক্ষণ না আমি এটিকে পুনরুদ্ধার করি (জানা ভাল) ) ব্যাকআপ, এটি ডেটা অখণ্ডতার নিশ্চয়তার একটি বিশাল উন্নতি।
একটি সিভিএন

ফাইল আকার হিসাবে, না, 31 গিগাবাইট হুবহু উদ্দেশ্যমূলকভাবে বিশাল নয় (যদিও এটি এখনও আমার মোট সিস্টেমের সঞ্চয়স্থানের সক্ষমতাের 1.2% ডলার), তবে আমার উদ্বেগটি সেই সিওডাব্লুয়ের লাইনের সাথে আরও বেশি ছিল যে সিস্টেমে সেই সমস্ত ডেটা অনুলিপি করতে হবে পিছনে এবং অবিচ্ছিন্নভাবে, একটি ভুল ধারণা যা জেমস রায়ান দ্রুত সংশোধন করে
একটি সিভিএন

1

আপনার ব্যবহারের ক্ষেত্রে এবং ভিএমগুলির উপর নির্ভর করে আমি নিম্নলিখিতগুলি বিবেচনা করব। হোস্ট অপারেটিং সিস্টেমটিকে আপনি জেডএফএস ভলিউমগুলিতে সঞ্চয় করা ফাইলগুলির যত্ন নিতে দিন।

যদি সম্ভব হয় তবে কেবলমাত্র অপারেটিং সিস্টেম এবং প্রয়োজনীয় বাইনারি ফাইল সমন্বিত প্রতিটি ভিএম এর জন্য কেবল একটি LUN তৈরি করুন। এবং পৃথক উপাত্তের জন্য স্টোরেজ স্টেসটি এনএফএস, সাম্বা, বা আইএসসিএসআই (বা মন্তব্যে উল্লিখিত zvols) এর মাধ্যমে শেয়ার হিসাবে। জেডএফএস চেকসামিং সহ প্রতিটি ফাইলের ট্র্যাক রাখতে সক্ষম করে এবং অ্যাক্সেসের সময় নির্ধারণ করে। অবশ্যই যদি গতি এত গুরুত্বপূর্ণ না হয় তবে আপনি কিছু ডেটাস্টোরগুলিতে সংক্ষেপণ সক্ষম করতে পারবেন। সুবিধাটি অন্য একটি ফাইল সিস্টেমের অনুপস্থিত স্তর হবে। আপনি যদি দ্বিতীয় ভার্চুয়াল হার্ডড্রাইভের জন্য একটি লুন তৈরি করতে চান এবং তার উপরে একটি এনটিএফএস ফাইলসस्टम তৈরি করতে চান, জেডএফএসকে একটি বড় বাইনারি ব্লব পরিচালনা করতে হবে যা কোনও বিষয়বস্তু বা ফাইল জানে না, এবং তাই জেআইএল বা এআরসি ক্যাশে সুবিধা নিতে পারে না বিমানের ফাইলগুলি একইভাবে পারে।

এসিএলগুলি উল্লেখ করে, জেডএফএস এনএফএসভি 4 বা সাম্বার মাধ্যমে (যদি সক্ষম করা থাকে) এসিএলগুলি ব্যবহার করতে সক্ষম হয়। আমি স্বীকার করেছি যে আমি ফ্রিবিএসডি তে জেডএফএস ব্যবহার করি এবং জেডএফএস ভলিউমে সামবাস এসিএলকে কীভাবে সঙ্গম করা যায় তা নিশ্চিত করতে পারি না। তবে আমি নিশ্চিত যে এটি কোনও বড় বিষয় হওয়া উচিত নয়।

সমস্ত ভিএম একই ব্লকগুলি পড়া শুরু করার সাথে সাথে কিছু স্থান সঞ্চয় করার এবং বৃহত্তর পাঠ্য (বুট ঝড়) উন্নত করার ক্ষেত্রে রিড ক্যাশের সাথে সংযুক্তি হ'ল একটি বড় সুবিধা।

ভিএমএস এবং ডেটাস্টোরগুলির জন্য জেডএফএস স্ন্যাপশটের ক্ষেত্রেও এটি একই রকম। আপনি ভিএম হিমায়িত করতে, ভিএম এবং ডেটাস্টোরের একটি স্ন্যাপশট নিতে এবং কাজ চালিয়ে যেতে পারেন, বা কেবল ডেটাস্টোরই একা রাখতে পারেন এবং ভিএমকে আসলটির স্ন্যাপশট উপস্থাপন করতে এবং কিছু স্টাফ পরীক্ষা করতে পারেন।

জেডএফএস এর সাথে সম্ভাবনাগুলি অবিরাম;)

সম্পাদনা: আশা করি আমি এখন এটি আরও ভালভাবে ব্যাখ্যা করেছি

সম্পাদনা 2: ব্যক্তিগত মতামত: আপনি একটি ডাবল ডিস্ক ব্যর্থতা প্রতিরোধ করতে পারেন হিসাবে একটি RAIDZ2 (RAID6) ব্যবহার বিবেচনা করুন! আপনার যদি একক স্পেয়ার ডিস্ক বাকি থাকে, তবে এটি কখনও ভুল হবে না, তবে দ্রুত পুনর্নির্মাণের জন্য দুটি ডিস্ক ব্যর্থতা যথেষ্ট হওয়া উচিত। আমি এখানে ডিস্কের অবস্থা পর্যবেক্ষণের জন্য আমার স্ক্রিপ্টটি পোস্ট করেছি te


আমি নিশ্চিত যে আমি এটি পেয়েছি। আপনি কি বলছেন যে ভিএমএস দ্বারা ব্যবহৃত ফাইলগুলি আমার কাছে ডিস্কের চিত্রের পরিবর্তে জেডএফএস ফাইল সিস্টেমে পৃথক ফাইল হিসাবে সংরক্ষণ করা উচিত? পার্টিশন, বুট সেক্টর, জেটিএফএস, লিনাক্সের প্রসঙ্গে উইন্ডোজ এসিএল, অ্যাট্রিবিউটগুলি সম্পর্কে জানে না এমন বৈশিষ্ট্যগুলির সম্পর্কে কী? আমি হয় আপনাকে ভুল বোঝাবুঝি করছি, অথবা আপনি যা বলছেন তা বাদ দিয়ে আপনি অন্য কোনও উত্তর দিচ্ছেন। আপনি কি দয়া করে প্রশ্নটি পুনরায় পড়তে পারেন এবং এটি কীভাবে আমার স্টোরেজ কার্য সম্পাদনের উদ্বেগকে সম্বোধন করে তা পরিষ্কার করে আপনার উত্তর সম্পাদনা করতে পারেন?
একটি সিভিএন

স্ন্যাপশট সম্পর্কিত: আসলে ভিএম হিমায়িত করা প্রয়োজন হতে পারে না। জেডএফএস কপি-অন-রাইটিং (সিওডাব্লু) ব্যবহার করে, যার অর্থ স্ন্যাপশটগুলি তাত্ক্ষণিক এবং আপনাকে একটি সম্পূর্ণ ডিস্ক চিত্র সরবরাহ করবে। কিছু অ্যাডমিন মাইএসকিউএল এবং পোস্টগ্রিএস ডাটাবেসগুলির জন্য তাদের ডাটাবেসগুলি হিমায়িত না করে (যেমন কোনও ডাউনটাইম নয়), যদিও অন্যরা প্রথমে টেবিলগুলি ফ্লাশ করেন। আপনার যদি ভিএম হিমায়িত করা দরকার হয়, জেডএফএস স্ন্যাপশট নিতে কেবল কয়েক সেকেন্ড সময় নেওয়া উচিত।
স্টিফান লাসিউইস্কি

মাইকেল আমার মনে হয় ডেওয়ালকার zvols এ রেফারেন্স দিচ্ছেন যেখানে আপনি একটি ফাইল তৈরি করতে পারেন যা ব্লক ডিভাইসের মতো কাজ করে। আমি ভিএমএসের জন্য এনএফএসের স্বতন্ত্র জেভলগুলি ব্যবহার করব না (ভাল এই ক্ষেত্রে দেখে মনে হচ্ছে এটি সমস্ত স্থানীয় তাই কেবল ফাইল সিস্টেমে ফাইল)। হ্যাঁ, zvols শীতল হতে পারে তবে এগুলি জটিলতার অতিরিক্ত স্তর। এবং জেডএফএস স্ন্যাপশট সংজ্ঞা অনুসারে হয়। এর অর্থ এই নয় যে ভিএমএসের ওএস জানে যে এটির ডেটা ডিস্কে ফ্লাশ করা দরকার তবে আপনি ভিএম এর শক্তি হারিয়ে গেলে একই স্তরের সাথে ফাইল সিস্টেমের ধারাবাহিকতা পাবেন।
দ্য ফিডলারওয়ানস 20:43

ডেডআপ খুব সংস্থান নিবিড়। সংক্ষেপণ ব্যবহার করা নয় এবং (ভিএমএসের জন্য) সম্ভবত ভিএম ফাইল সিস্টেমে শ্বেত স্পেসের কারণে আপনাকে প্রচুর জায়গা ফিরে পাবে।
দ্য ফিডলারওয়ানস 20:53

@ মাইকেলকার্জলিং আরও ভাল বোঝার জন্য আশাবাদী আমার পোস্টটি সম্পাদনা করুন (দ্য ফিডলার উইনস এবং স্টিফান লাসিউস্কি
ডায়ওয়ালকার
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.