জেডএফএস ডেটা লোকসানের দৃশ্য


27

আমি একটি লার্জড জেডএফএস পুল (১৫০ টিবি +) তৈরির দিকে তাকিয়ে আছি এবং আমি ব্যর্থ হার্ডওয়ারের কারণে ডেটা লোকসানের পরিস্থিতি সম্পর্কে লোকজনের অভিজ্ঞতা শুনতে শুনতে চাই, বিশেষত, উদাহরণস্বরূপ, যেখানে কিছু তথ্য হারিয়ে গেছে পুরো ফাইল সিস্টেমের মধ্যে পার্থক্য করা ( এমনকি যদি জেডএফএসেও এরকম পার্থক্য থাকে)।

উদাহরণস্বরূপ: ধরা যাক বাহ্যিক ড্রাইভ ঘেরের শক্তি হারাতে বা একটি নিয়ন্ত্রণকারী কার্ড ব্যর্থ হওয়ার মতো ব্যর্থতার কারণে একটি ভিদেব হারিয়ে গেছে। যা আমি পুলটি পড়েছি তা থেকে একটি ত্রুটিযুক্ত মোডে যাওয়া উচিত, তবে ভিদেব ফিরে আসলে পুলটি পুনরুদ্ধার করা উচিত? অথবা না? অথবা যদি ভিদেব আংশিকভাবে ক্ষতিগ্রস্থ হয় তবে কেউ কি পুরো পুল, কিছু ফাইল ইত্যাদি হারাবে?

একটি জিআইএল ডিভাইস ব্যর্থ হলে কী হবে? নাকি বেশ কয়েকটি জিলের মধ্যে একটি?

সত্যই যে কোনও এবং সমস্ত উপাখ্যান বা অনুমানিক পরিস্থিতিতে গভীর প্রযুক্তিগত জ্ঞান দ্বারা সমর্থিত প্রশংসা করা হয়!

ধন্যবাদ!

হালনাগাদ:

আমরা স্বল্প ব্যয়ে (9 জন বা ততোধিক লোক) হওয়ায় আমরা সস্তাে এটি করছি তবে আমরা যথেষ্ট পরিমাণে ইমেজিং ডেটা তৈরি করি।

আমার প্রতি টিবিতে 500k ফাইলের গণনা অনুসারে ডেটাটি বেশিরভাগ ক্ষেত্রেই ছোট ছোট ফাইল।

ডেটা গুরুত্বপূর্ণ তবে উবার সমালোচক নয়। আমরা 48TB "লাইভ" ডেটা অ্যারে (3 বছর বা তার জন্য ব্যবহৃত) মিরর করার জন্য জেডএফএস পুলটি ব্যবহার করার পরিকল্পনা করছি, এবং সংরক্ষণাগারযুক্ত ডেটার জন্য বাকী সঞ্চয়স্থানটি ব্যবহার করব।

পুলটি এনএফএস ব্যবহার করে ভাগ করা হবে।

রাকটি বিল্ডিং ব্যাকআপ জেনারেটরের লাইনে রয়েছে বলে মনে করা হয় এবং আমাদের কাছে দুটি এপিসি ইউপিএস রয়েছে যাতে 5 মিনিট বা তার বেশি সময় ধরে পুরো লোকে রাকটিকে শক্তিশালী করতে সক্ষম হয়।


2
আপনি কী করছেন তা যদি আপনি ইতিমধ্যে জানেন না, তবে একজন পরামর্শক এবং / অথবা কিছু কোর্স পান। আমি সন্দেহ করি আপনার প্রয়োজনীয় সমস্ত সুনির্দিষ্ট একটি সহজ উত্তরে কভার করা যেতে পারে।
লুকাস কাউফম্যান

3
সুতরাং আপনি তখনও সস্তার গ্রাহক 7.2 এসটিএ ব্যবহার করার পরিকল্পনা করছেন? দীর্ঘশ্বাস
চপার 3

@ চপার 3 আসলে, আমি ইচ্ছাকৃতভাবে এটি বলিনি যে ... আমি 3 টিবি সাটা ড্রাইভের পরিবর্তে 2 টিবি এসএএস ড্রাইভ কেনার বিষয়ে গুরুত্ব সহকারে বিবেচনা করছি। যদিও আমি প্রচুর লোককে দেখেছি তারা বলেছে যে তারা স্যাটা ড্রাইভগুলি ঠিকঠাক ব্যবহার করেছে ....
ঘূর্ণিঝড়

1
জেডএফএসের জন্য সাটা ডিস্কগুলি আসলে খুব ভাল মিশ্রণ নয়। আজকাল আপনি অনেক লোককে সেই সেটআপটির প্রস্তাব দিচ্ছেন না। আপনি যে স্কেলটির কথা বলছেন (150TB), এটি একটি ব্যয়বহুল এবং অপ্রয়োজনীয় ভুল। যদিও এই একবার দেখুন
ইয়েওয়াইট

উত্তর:


22

সঠিক উপায়ে ডিজাইন করুন এবং আপনি জেডএফএসের ডেটা হ্রাসের সম্ভাবনা হ্রাস করবেন। আপনি পুলটিতে কী সংরক্ষণ করছেন তা আপনি ব্যাখ্যা করেননি। আমার অ্যাপ্লিকেশনগুলিতে, এটি বেশিরভাগ ভিএমওয়্যার ভিএমডিকে সরবরাহ করে এবং আইএসসিএসআই-র মাধ্যমে জেডভোলগুলি রফতানি করে। 150TB তুচ্ছ পরিমাণ নয়, তাই আমি স্কেলিং পরামর্শের জন্য একজন পেশাদারের উপর ঝুঁকতে চাই।

আমি জেডএফএসের সাথে ডেটা কখনও হারিয়ে ফেলিনি।

আমি করেছি অন্য সব কিছুর অভিজ্ঞতা:

তবে এই সমস্ত কিছুর মধ্য দিয়ে কখনও ডেটা ক্ষতিগ্রস্থ হয়নি। ঠিক ডাউনটাইম। ভিএমওয়্যার ভিএমডিকে এই স্টোরেজের শীর্ষে বসে থাকার জন্য, ইভেন্টের পরে প্রায়শই একটি fsck বা পুনরায় বুট করা দরকার ছিল, তবে অন্য কোনও সার্ভার ক্র্যাশের চেয়ে খারাপ নয়।

জেআইএল ডিভাইসের ক্ষতি হিসাবে, এটি ডিজাইনের উপর নির্ভর করে, আপনি কী সংরক্ষণ করছেন এবং আপনার আই / ও লেখার নিদর্শনগুলি। আমি যে জিআইএল ডিভাইসগুলি ব্যবহার করি সেগুলি অপেক্ষাকৃত ছোট (4 জিবি -8 জিবি) এবং লেখার ক্যাশের মতো কাজ করে। কিছু লোক তাদের ZIL ডিভাইসগুলি আয়না করে। উচ্চ-শেষের এসটিইসি এসএসডি ডিভাইসগুলি ব্যবহার করে মিররিং ব্যয়-প্রতিরোধমূলক হয়। আমি পরিবর্তে একক ডিডিআরড্রাইভ পিসিআই কার্ড ব্যবহার করি। ব্যাটারি / ইউপিএস সুরক্ষার জন্য পরিকল্পনা করুন এবং সুপার-ক্যাপাসিটর ব্যাকআপের সাথে এসএসডি বা পিসিআই কার্ড ব্যবহার করুন (রেড নিয়ামক বিবিডাব্লুসি এবং এফবিডাব্লুসি বাস্তবায়নের অনুরূপ )।

আমার বেশিরভাগ অভিজ্ঞতা সোলারিস / ওপেনসোলারিস এবং নেক্সেন্টাস্টোর বিষয়গুলিতে ছিল। আমি জানি লোকেরা ফ্রিবিএসডি তে জেডএফএস ব্যবহার করে তবে আমি নিশ্চিত না যে জপুল সংস্করণ এবং অন্যান্য বৈশিষ্ট্যগুলি কতটা পিছনে রয়েছে। খাঁটি স্টোরেজ মোতায়েনের জন্য, আমি নেক্সেন্টাস্টার রুটে যাওয়ার পরামর্শ দিই (এবং একজন অভিজ্ঞ অংশীদারের সাথে কথা বলি ), কারণ এটি উদ্দেশ্য-নির্মিত ওএস এবং ফ্রিবিএসডি-র চেয়ে সোলারিস ডেরিভেটিভগুলিতে আরও সমালোচনামূলক মোতায়েন চলছে।


আমি আমার প্রশ্নটি আরও কিছু তথ্যের সাথে আপডেট করেছি, তবে আমি বিশেষভাবে সম্পর্কিত আরও বিস্তারিত জানার আগ্রহী: 'ডেটা কখনও প্রশংসনীয় ক্ষয়ক্ষতি নয়', এবং এর অর্থ / যুক্ত কী। এই ত্রুটিযুক্ত জিপুলগুলি পুনরুদ্ধার করা, খারাপ এনআইসিকে পরিচালনা করা, এমনকি এসটিএ ড্রাইভের সমস্যাগুলি এবং এসএএস-এ স্যুইচ করা সম্পর্কে আরও জানতে আগ্রহী (যদিও আপনি জানতে পেরে খুশি হবেন, আমি সম্ভবত 3 টিবি এসটিএর উপর 2TB SAS এর সাথে যাব আপনার সুপারিশ অনুসারে)
ঘূর্ণিঝড়

অ উপলব্ধিজনক-ক্ষতির == লেনদেনের তথ্য একটি কয়েক সেকেন্ডের, অথবা একটি ক্র্যাশ-সামঞ্জস্যপূর্ণ রাষ্ট্র । এবং খারাপ এনআইসিকে একক ভিএমওয়্যার হোস্টের কাছে বিচ্ছিন্ন করা হয়েছিল এবং এর ফলে ভিএম স্তরে সমস্যা দেখা দিয়েছে। অন্তর্নিহিত জেডএফএস সঞ্চয়স্থান নয়।
ইয়েওয়াইট

design the right wayলিঙ্ক এখন নষ্ট হয়ে গেছে।
সৌরভ নন্দ

11

আমি দুর্ঘটনাক্রমে ওপেনসোলারিসের শেষ সংস্করণে উভয় জিলগুলি ওভাররোট করেছিলাম, যার ফলে পুরো পুলটি অপরিবর্তনীয়ভাবে হারিয়ে যায় be (আমার পক্ষে সত্যিই খারাপ ভুল! আমি বুঝতে পারি নি যে জেডআইএল হারানো মানে পুলটি হারাতে হবে Fort ভাগ্যক্রমে ডাউনটাইম সহ ব্যাকআপ থেকে পুনরুদ্ধার হয়েছে))

সংস্করণ 151 এ যদিও (জেডপুল সংস্করণটির অর্থ কী তা বন্ধ করে জানুন না), এই সমস্যাটি ঠিক করা হয়েছে। এবং, আমি সাক্ষ্য দিতে পারি যে এটি কাজ করে।

এর বাইরে, আমি একটি 20 টিবি সার্ভারের জেরো ডেটা হারিয়ে ফেলেছি - এর মধ্যে আরও বেশিরভাগ ক্ষেত্রে ব্যবহারকারী ত্রুটি, একাধিক শক্তি-ব্যর্থতা, ডিস্কের ভুল-পরিচালনা, ভুল কনফিগারেশন, অসংখ্য ব্যর্থ ডিস্ক ইত্যাদির কারণ রয়েছে the সোলারিসের কনফিগারেশন ইন্টারফেসগুলি ঘন ঘন এবং ম্যাডেনলিভাবে সংস্করণ থেকে সংস্করণে পরিবর্তিত হয় এবং এটি একটি চিরচেনা দক্ষতার লক্ষ্য পরিবর্তন করে, এটি এখনও জেডএফএসের জন্য সেরা বিকল্প the

আমি কেবল জেডএফএসে ডেটা হারিয়েছি না (আমার ভয়ানক ভুলের পরে), তবে এটি ক্রমাগত আমাকে রক্ষা করে। আমি আর ডেটা দুর্নীতির অভিজ্ঞতা নেই - যা আমি যা করি তা দিয়ে গত 20 বছর ধরে আমাকে বহু সংখ্যক সার্ভার এবং ওয়ার্কস্টেশনে জর্জরিত করে চলেছে। নীরব (বা কেবল "বেশ শান্ত") ডেটা দুর্নীতি আমাকে বহুবার মেরে ফেলেছে, যখন ডেটা ব্যাকআপ ঘূর্ণনটি বন্ধ করে দেয় তবে বাস্তবে অন ডিস্কে এটি দুর্নীতিগ্রস্থ হয়ে পড়েছে। বা অন্যান্য পরিস্থিতিতে ব্যাকআপগুলি দূষিত সংস্করণগুলির ব্যাক আপ করে। এটি একবারে কোনও উপায়ে ডেটা হারানোর চেয়ে অনেক বড় সমস্যা হয়ে দাঁড়িয়েছে, যা প্রায়শই যে কোনওভাবেই ব্যাক আপ করা হয়। এই কারণে, আমি কেবল জেডএফএসকে ভালবাসি এবং বুঝতে পারি না কেন চেকসামিং এবং স্বয়ংক্রিয় নিরাময় এক দশক ধরে ফাইল সিস্টেমে স্ট্যান্ডার্ড বৈশিষ্ট্যগুলি নয়। (মঞ্জুর, সত্যিকারের জীবন-মৃত্যুর সিস্টেমে সাধারণত সততা বীমনের অন্যান্য উপায় থাকে,

বুদ্ধিমানদের কাছে কথা, আপনি যদি এসিএল-হেল্কে নামতে না চান তবে সিএফএস সার্ভারটি জেডএফএস-এ বিল্ট-ইন ব্যবহার করবেন না। সাম্বা ব্যবহার করুন। (আপনি বলেছেন যে আপনি এনএফএস যদিও ব্যবহার করেন))

আমি এসএএস বনাম এসটিএ যুক্তির সাথে একমত নই, জেডএফএসের জন্য কমপক্ষে পরামর্শ যে এসএএস সর্বদা সাতার চেয়ে বেশি পছন্দ হয়। আমি জানি না যে মন্তব্য [গুলি] প্লাটার ঘোরানোর গতি, অনুমিত নির্ভরযোগ্যতা, ইন্টারফেস গতি বা অন্য কোনও বৈশিষ্ট্য [গুলি] উল্লেখ করেছিল। (অথবা সম্ভবত কেবল "এগুলির দাম বেশি এবং সাধারণত ভোক্তারা তাদের ব্যবহার করেন না, তাই তারা উন্নত are" সম্প্রতি প্রকাশিত শিল্প সমীক্ষা (এখনও নিশ্চিত যে সংবাদে আমি নিশ্চিত)) প্রকাশ পেয়েছে যে সটা আসলে কমপক্ষে এই ক্ষেত্রে এসএএসকে ছাড়িয়ে যায় with সমীক্ষার উল্লেখযোগ্য নমুনার আকার ((আমাকে নিশ্চিতভাবেই ধাক্কা দিয়েছে)) তা স্মরণ করতে পারছি না যে এটি SATA, বা গ্রাহক, বা কি গতির "এন্টারপ্রাইজ" সংস্করণ ছিল - তবে আমার যথেষ্ট অভিজ্ঞতায় এন্টারপ্রাইজ এবং গ্রাহক মডেলগুলি একই রকম ব্যর্থ হয়েছিল if পরিসংখ্যানগতভাবে উল্লেখযোগ্য হার। (ব্যর্থতার জন্য গ্রাহক ড্রাইভগুলি সময়োপযোগী হতে খুব বেশি সময় নিয়েছে এমন সমস্যা রয়েছে যা এন্টারপ্রাইজে অবশ্যই গুরুত্বপূর্ণ - তবে এটি আমাকে কামড়ায় না, এবং আমি মনে করি এটি হার্ডওয়্যার নিয়ন্ত্রকদের কাছে আরও প্রাসঙ্গিক যা পুরোটা নিতে পারে) এ জাতীয় ক্ষেত্রে ভলিউম অফ লাইন But তবে এটি কোনও এসএএস বনাম এসটিএ ইস্যু নয়, এবং জেডএফএস কখনই আমাকে এতে ব্যর্থ করে দেয় না that অভিজ্ঞতার ফলস্বরূপ, আমি এখন 1/3 এন্টারপ্রাইজ এবং 2/3 গ্রাহক এসটিএ ড্রাইভের মিশ্রণ ব্যবহার করি ।) তবুও আমি সঠিকভাবে কনফিগার করা অবস্থায় (যেমন, ত্রি-মুখী আয়নাগুলির একটি স্ট্রাইপ) এসটিএ-র এই মিশ্রণের সাথে কোনও উল্লেখযোগ্য পারফরম্যান্সের হিট দেখতে পাইনি, তবে তারপরে আবার আমার আইওপিএসের চাহিদা কম, সুতরাং আপনার দোকানটি কতটা বড় এবং তার উপর নির্ভর করে সাধারণ ব্যবহারের ক্ষেত্রে, ওয়াইএমএমভি। আমি অবশ্যই লক্ষ্য করেছি যে প্রতি-ডিস্ক অন্তর্নির্মিত ক্যাশে আকার আমার ব্যবহারের ক্ষেত্রে প্ল্যাটার ঘোরানোর গতির চেয়ে বিলম্বিত সমস্যার জন্য বেশি গুরুত্বপূর্ণ more

অন্য কথায়, এটি একাধিক পরামিতি সহ একটি খাম: ব্যয়, থ্রুপুট, আইওপিএস, ডেটার ধরণ, ব্যবহারকারীর সংখ্যা, প্রশাসনিক ব্যান্ডউইথ এবং সাধারণ ব্যবহারের ক্ষেত্রে। এসএএস সর্বদা সঠিক সমাধান বলে যে, সেগুলির কারণগুলির বৃহত্তর মহাবিশ্বকে অগ্রাহ্য করা।

তবে যে কোনও উপায়ে জেডএফএস একেবারে দোলা দেয়।


3
সাড়া দেওয়ার জন্য সময় দেওয়ার জন্য ধন্যবাদ। জেডএফএসের সাথে আপনার অভিজ্ঞতা আমার সাথে সামঞ্জস্যপূর্ণ। ড্রাইভ নির্বাচনের বিষয়ে আমার মন্তব্যগুলি বিশেষত নিকটরেখা এসএএস বনাম এসটিএ ডিস্ক সম্পর্কে ছিল। প্রধান পার্থক্য ইন্টারফেস। তারা যান্ত্রিকভাবে সমতুল্য। ডাবল-পোর্টড ইন্টারফেসের প্রয়োজনীয়তা, ভাল ত্রুটি-সংশোধন এবং এসএএস-এর দ্বারা প্রদেয় পরিচালনীয় সময়সীমা প্রয়োজন হওয়ায় জেডএফএস-জমির সেরা অনুশীলন হ'ল এসএটিএ এড়ানো।
ew white

আমি 3 টিবি এসএএস ডিস্কের সাথে শেষ করেছিলাম কিন্তু .... এর আগে আমি 30 বা ততোধিক মিশ্র ডিস্ক (5 400 জিবি স্যাটা, 12 750 জিবি স্যাটস, 14 1 টিবি এসএএস) একসাথে প্রসারিত ঘেরে রেখেছিলাম। সত্যই খারাপ পরিস্থিতি অনুসারে। এই ড্রাইভগুলির মধ্যে ইতিমধ্যে রানটাইমের 2-23 বৎসর ছিল। আমি তখন একটি প্রোগ্রাম লিখেছিলাম যা 8 টি থ্রেড এলোমেলোভাবে লেখা পড়া এবং পুলে ফাইল মুছে ফেলা হয়েছে ran আমি এক সপ্তাহ ধরে এটি চালিয়েছি। পড়ুন এবং লিখেছেন> পুলটিতে 100 টিবি ... কোনও সমস্যা নেই। এভিজি আর / ডাব্লু 100-400 এমবি / সেকেন্ড আমি সন্দেহ করি যে এসএএস-এর সতর্কতার চেয়ে সাটা এখন পুরানো খবর।
ঘূর্ণিঝড়
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.