সাইলেন্ট ডিস্ক ত্রুটি এবং লিনাক্স অদলবদলের নির্ভরযোগ্যতা


12

আমার উপলব্ধি হ'ল হার্ড ড্রাইভ এবং এসএসডিগুলি ড্রাইভের অভ্যন্তরে কিছু প্রাথমিক ত্রুটি সংশোধন কার্যকর করে এবং বেশিরভাগ RAID কনফিগারেশন যেমন mddm সিদ্ধান্ত নিতে কখন এটির উপর নির্ভর করবে কখন কোন ড্রাইভ কোনও ত্রুটি সংশোধন করতে ব্যর্থ হয়েছে এবং অফলাইনে নেওয়া দরকার। তবে এটির ত্রুটি নির্ণয়ের ক্ষেত্রে স্টোরেজটি 100% সঠিক হওয়ার উপর নির্ভর করে। এটি তেমন নয়, এবং দুটি ড্রাইভের RAID-1 মিরর মতো একটি সাধারণ কনফিগারেশন দুর্বল হয়ে উঠবে: ধরুন একটি ড্রাইভের কিছু বিট নিঃশব্দে দূষিত হয়ে গেছে এবং ড্রাইভটি পড়ার ত্রুটির প্রতিবেদন না করে। সুতরাং, বিটিআরএফ এবং জেডএফএসের মতো ফাইল সিস্টেমগুলি তাদের নিজস্ব চেকসামগুলি বাস্তবায়িত করে, যাতে বগি ড্রাইভ ফার্মওয়্যারগুলি, গ্লাইচি এসটিএ কেবলগুলির উপর নির্ভর না করে।

একইভাবে, র‍্যামেরও নির্ভরযোগ্যতা সমস্যা থাকতে পারে এবং এই সমস্যাটি সমাধান করার জন্য আমাদের কাছে ইসিসি র‌্যাম রয়েছে।

আমার প্রশ্নটি হ'ল : লিনাক্স অদলবদল ফাইলটিকে নীরব দুর্নীতি / বিট পচা থেকে রক্ষা করার সাধারণ উপায় কীটি একটি দুটি ডিস্ক কনফিগারেশনে ড্রাইভ ফার্মওয়্যারের দ্বারা ধরা পড়ে না (যেমন মেইনলাইন কার্নেল ড্রাইভার ব্যবহার করে)? আমার কাছে মনে হচ্ছে যে একটি কনফিগারেশন এখানে শেষ-শেষ প্রান্তের সুরক্ষার অভাব রয়েছে (যেমন বিটিআরএফএস সরবরাহ করেছেন) ইসিসি র‌্যামের দ্বারা আনা মানসিক প্রশান্তিকে কিছুটা উপেক্ষা করে। তবুও আমি ভাল উপায় সম্পর্কে ভাবতে পারি না:

  • বিটিআরএফস সোয়াপফাইলে মোটেই সমর্থন করে না। আপনি একটি বিটিআরএফএস ফাইল থেকে একটি লুপ ডিভাইস সেট আপ করতে পারেন এবং এটিতে একটি অদলবদল করতে পারেন। তবে এতে সমস্যা রয়েছে:
    • এলোমেলো লেখাগুলি ভাল সম্পাদন করে না: https://btrfs.wiki.kernel.org/index.php/Gotchas# ফ্র্যাঙ্কমেন্টেশন
    • অনুলিপি অনুলিপি নিষ্ক্রিয় করার পরামর্শ সেখানে চেকসামিং নিষ্ক্রিয় করবে - এইভাবে এই অনুশীলনের পুরো পয়েন্টকে পরাস্ত করে। তাদের অনুমান যে ডেটা ফাইলের নিজস্ব অভ্যন্তরীণ সুরক্ষা রয়েছে।
  • লিনাক্সে জেডএফএস একটি জেডভিএলকে অদলবদল হিসাবে ব্যবহার করার অনুমতি দেয় যা আমার ধারণা কাজ করতে পারে: http://zfsonlinux.org/faq.html# ক্যানিউসিয়াজেডভিএলএফস্যাপ - তবে আমার পড়া থেকে, জেডএফএস সাধারণত মেমরির জন্য দাবি করে, এবং এটিকে অদলবদলে কাজ করে চলেছে -আপনার অ্যাপ্লিকেশনটির মতো কিছু কাজ মনে হচ্ছে it আমি মনে করি এটি আমার প্রথম পছন্দ নয়। আপনার কেন নির্ভরযোগ্য অদলবদল করতে পেরে গাছের বাইরে কিছু কার্নেল মডিউল ব্যবহার করতে হবে - নিশ্চয়ই আজকের যুগে এবং যুগে আধুনিক লিনাক্স বিতরণ / কার্নেল দিয়ে এটি সম্পাদন করার উপায় আছে?
  • মেমরি ম্যানেজারের মধ্যে চেকসাম সক্ষম করার জন্য লিনাক্স কার্নেল মেলিং তালিকায় আসলে একটি থ্রেড ছিল, ঠিক যে কারণে আমি এই প্রশ্নে আলোচনা করেছি: http://thread.gmane.org/gmane.linux.kernel/989246 - দুর্ভাগ্যক্রমে, যতদূর আমি বলতে পারি, প্যাচটি মারা গিয়েছিল এবং কখনও অজানা কারণে এটি এটিকে প্রবাহিত করে না। খুব খারাপ, এটি দুর্দান্ত বৈশিষ্ট্যের মতো শোনাচ্ছে। অন্যদিকে, আপনি যদি একটি RAID-1 এ অদলবদল করে থাকেন - যদি দুর্নীতিটি চেকসামটি মেরামত করার ক্ষমতা ছাড়িয়ে যায়, আপনি চাইবেন যে মেমরি পরিচালকটি আতঙ্কিত হওয়ার আগে অন্য ড্রাইভ থেকে পড়ার চেষ্টা করুন বা যা কিছু হোক না কেন মেমোরি ম্যানেজারকে কী করা উচিত সম্ভবত তার বাইরেও।

সংক্ষেপে:

  • ত্রুটিগুলি সংশোধন করার জন্য র‌্যামের ইসিসি রয়েছে
  • স্থায়ী সঞ্চয়স্থানে থাকা ফাইলগুলিতে ত্রুটিগুলি সংশোধন করতে বিটিআরএফ থাকে
  • অদলবলে আছে ??? <--- এটি আমার প্রশ্ন

1
এনক্রিপ্ট হওয়া অদলবদলের পার্শ্ব-প্রতিক্রিয়া হিসাবে ত্রুটি সনাক্তকরণ হবে না? যদি এনক্রিপ্ট করা স্ট্রিমটি ড্রাইভে দূষিত হয় তবে ডিক্রিপশনটি ফুরিয়ে যাবে ... তখন সিস্টেমটি কীভাবে প্রতিক্রিয়া জানায় তা আমি জানিনা!
স্টিফেন কিট

বিটিআরএস নিয়ে আমার কোনও অভিজ্ঞতা নেই তবে আপনি উদ্ধৃত লিঙ্কটি পড়েছি এবং আমি মনে করি আপনি কিছু উপেক্ষা করছেন। তারা এমন ফাইলগুলি উল্লেখ করছে যাতে ব্লকগুলি গতিশীলভাবে তৈরি করা হয়, অর্থাত্ স্পার্স ফাইল। আপনি একটি উত্সর্গীকৃত আরআরটিএফস পার্টিশন তৈরি করতে পারবেন, সিওডাব্লু ছাড়াই মাউন্ট করতে পারেন, আপনার পছন্দসই অদলবদলের আকারের সাথে শূন্যের (ডিডি if = / dev / শূন্য) ভরা একটি ফাইল তৈরি করতে পারেন এবং সেই ফাইলটি সোয়াফ ফাইল হিসাবে মাউন্ট করতে পারেন। আমি পারফরম্যান্স পেনাল্টি বহন করার কোনও কারণ দেখছি না।
ওথিয়াস

3
@ কর্মক্ষমতাজনিত কারণে এমডি কেবলমাত্র একটি ডিভাইস থেকে পড়েন (আরও সঠিকভাবে, এটি সমস্ত ডিভাইস থেকে পড়ে তবে একক পাঠ্যে কেবল একটি ডিভাইস জড়িত); এটি জড়িত সমস্ত ডিভাইসের সামগ্রীর তুলনা করতে পারে তবে এটি পৃথক অপারেশন, স্ক্রাবিং
স্টিফেন কিট

2
@ ওথিয়াস: নোডাটাকো সেট করা চেকসামগুলিও অক্ষম করে: বিটিআরএফস.উইকি.কারেল.আরপি / ইনডেক্স.এফপি / মাউন্ট_ওপশনস ... "এটি চেকসামিংটিও বন্ধ করে দেয়! ফ্লিপ এবং বিট পচা সনাক্ত করা যেতে পারে।
জেমস জনস্টন

3
@ ওথিয়াস: "অবশেষে, নন এসডিডি ডিস্কের সাথে প্রতি 512 বা 1 কে ব্লকের সাথে একটি সিআরসি যুক্ত থাকে" .... সত্য, তবে এটি ডিস্কের বাইরে বিট ফ্লিপের বিরুদ্ধে সুরক্ষা দেয় না। (এবং আপনি ক্লোজড-সোর্স ওয়ান-অফ মালিকানাধীন ড্রাইভ ফার্মওয়্যারের উপরও প্রচুর ভরসা রাখেন)) বিটিআরএফ এবং জেডএফএসের প্রথম স্থানে থাকার কারণগুলি: তারা অন্তর্নিহিত স্টোরেজকে বিশ্বাস করবেন না (অন্যথায় তারা বিরক্ত করবেন না প্রথম স্থানে চেকসামিং সহ)। উদাহরণস্বরূপ, কিছু ব্যবহারকারী খারাপ এসটিএ ক্যাবলিং এবং / অথবা ফ্ল্যাশী পাওয়ার সাপ্লাইয়ের কারণে বিট ফ্লিপগুলি রিপোর্ট করেছেন।
জেমস জনস্টন

উত্তর:


5

আমরা অদলবদল থেকে প্রাপ্ত তথ্যের অখণ্ডতা বিশ্বাস করি কারণ স্টোরেজ হার্ডওয়্যারটিতে চেকসাম, সিআরসি এবং অন্যান্য রয়েছে।

উপরের একটি মন্তব্যে আপনি বলেছেন:

সত্য, তবে এটি ডিস্কের বাইরে বিট ফ্লিপ থেকে রক্ষা করবে না

"এটি" এর অর্থ এখানে ডিস্কের চেকসামগুলি।

এটি সত্য, তবে এসটিএ কমান্ড এবং ডেটার জন্য 32-বিট সিআরসি ব্যবহার করে। সুতরাং, আপনার কাছে ডিস্ক এবং SATA নিয়ামকটির মধ্যে নির্বিচারে ডেটা কলুষিত করার 1 থেকে 4 বিলিয়ন সম্ভাবনা রয়েছে। এর অর্থ হ'ল যে অবিচ্ছিন্ন ত্রুটি উত্সটি প্রতি 125 এমআইবি স্থানান্তরিত হিসাবে প্রায়শই ত্রুটি প্রবর্তন করতে পারে তবে মহাজাগতিক রশ্মির মতো একটি বিরল, এলোমেলো ত্রুটি উত্সটি অদৃশ্যভাবে স্বল্প হারে অন্বেষণযোগ্য ত্রুটির কারণ হতে পারে।

এছাড়াও বুঝতে পারছি যে আপনি একটি উৎস যে কাছাকাছি এক 125 প্রতি MiB স্থানান্তরিত একটি হার যে কোন জায়গায় একটি ধরা পড়েনি ত্রুটি ঘটায় পেয়েছেন যদি কর্মক্ষমতা হতে হবে ভয়ানক উচ্চ সংখ্যা কারণে শনাক্ত করা পুনরায় স্থানান্তর প্রয়োজন ত্রুটি। নিরীক্ষণ এবং লগইন সম্ভবত আপনাকে সনাক্ত করা দুর্নীতি এড়াতে সময়মতো সমস্যা সম্পর্কে সতর্ক করবে।

স্টোরেজ মিডিয়ামের চেকসাম হিসাবে, প্রতিটি এসএটিএ (এবং এটির আগে, পিএটিএ) ডিস্কে প্রতি-সেক্টর একরকম চেকসাম ব্যবহার করে। "এন্টারপ্রাইজ" হার্ড ডিস্কগুলির অন্যতম বৈশিষ্ট্য হ'ল অতিরিক্ত ডেটা অখণ্ডতা বৈশিষ্ট্য দ্বারা সুরক্ষিত বৃহত্তর খাতগুলি , একটি অনির্দিষ্ট ত্রুটির সম্ভাবনাটিকে হ্রাস করে।

এই ধরনের ব্যবস্থা ছাড়াই, প্রতিটি হার্ডড্রাইভের অতিরিক্ত খাত পুলের কোনও অর্থ হতে পারে না : ড্রাইভটি নিজেই একটি খারাপ খাত সনাক্ত করতে পারে না, তাই এটি কখনই নতুন সেক্টরগুলিকে অদলবদল করতে পারে না।

অন্য মন্তব্যে আপনি জিজ্ঞাসা করেছেন:

যদি Sata এত বিশ্বাসযোগ্য হয় তবে জেডএফএস, বিটিআরএফএস, রেফার্সের মতো চেকসামড ফাইল সিস্টেম কেন আছে?

সাধারণভাবে বলতে গেলে, আমরা দীর্ঘমেয়াদী ডেটা সঞ্চয় করার জন্য অদলবদলকে জিজ্ঞাসা করছি না। সোয়াপ স্টোরেজের সীমাটি হ'ল সিস্টেমের আপটাইম , এবং স্যুপের বেশিরভাগ ডেটা প্রায় দীর্ঘস্থায়ী হয় না, কারণ আপনার সিস্টেমে ভার্চুয়াল মেমরি সিস্টেমের মধ্য দিয়ে যাওয়া বেশিরভাগ ডেটা অনেক খাটো-জীবিত প্রক্রিয়ার অন্তর্ভুক্ত।

সর্বোপরি, আপটাইমগুলি কয়েক বছর ধরে সাধারণত সংক্ষিপ্ত হয়ে গেছে, কার্নেল এবং libcআপডেটগুলি, ভার্চুয়ালাইজেশন, ক্লাউড আর্কিটেকচার ইত্যাদির বৃদ্ধি ফ্রিকোয়েন্সি সহ কী ঘটে what

তদ্ব্যতীত, অদলবদলের বেশিরভাগ ডেটা সহজাতভাবে একটি ভালভাবে পরিচালিত সিস্টেমে ব্যবহৃত হয় না, এটি মূল র‍্যাম থেকে নিজেকে চালিত করে না। এই জাতীয় সিস্টেমে একমাত্র জিনিসগুলি অদলবদলে শেষ হয় এমন পৃষ্ঠাগুলি যা প্রোগ্রামটি প্রায়শই ব্যবহৃত হয় না often এটি আপনার অনুমানের থেকে বেশি সাধারণ। বেশিরভাগ গতিশীল লাইব্রেরি যা আপনার প্রোগ্রামগুলিতে আপনার রুটিনগুলির সাথে লিঙ্ক করে যা আপনার প্রোগ্রামটি ব্যবহার করে না, তবে সেগুলি গতিশীল লিঙ্কার দ্বারা র‍্যামে লোড করতে হয়েছিল । ওএস যখন দেখে যে আপনি লাইব্রেরিতে প্রোগ্রামের সমস্ত পাঠ্য ব্যবহার করছেন না, তখন এটি আপনার অ্যাপ্লিকেশনগুলি যে কোড এবং ডেটা ব্যবহার করে তা ব্যবহারের জন্য জায়গাটি সরিয়ে দেয় । যদি এমন অদলবদলের স্মৃতি পৃষ্ঠাগুলি দূষিত হয় তবে কে কখন জানতে পারে?

জেডএফএসের পছন্দগুলির সাথে এর বিপরীতে যেখানে আমরা আশা করি যে তথ্যটি যথাযথভাবে এবং অবিচ্ছিন্নভাবে সংরক্ষণ করা হবে, যাতে এটি কেবলমাত্র সিস্টেমের বর্তমান আপটাইম ছাড়াই নয়, স্টোরেজ সিস্টেমের সমন্বিত পৃথক স্টোরেজ ডিভাইসের জীবনকে ছাড়িয়ে যায়। জেডএফএস এবং অন্যান্য এগুলি অদলবদলের দ্বারা সমস্যার সমাধানের চেয়ে প্রায় দুই মাপের দৈর্ঘ্যের টাইম স্কেল দিয়ে সমস্যার সমাধান করছে। আমাদের লিনাক্স অদলবদলের তুলনায় জেডএফএসের জন্য দুর্নীতি সনাক্তকরণের প্রয়োজনীয়তা রয়েছে।

জেডএফএস এবং এ জাতীয় পরিবর্তনগুলি এখানে অন্য কী উপায়ে পৃথক: আমরা স্ব্যাপ ফাইল সিস্টেম একসাথে রেড করি না। যখন একটি একক মেশিনে একাধিক সোয়াপ ডিভাইস ব্যবহার করা হয়, তখন এটি একটি জেবিওডি স্কিম, রেড -0 বা তার বেশি নয়। (যেমন ম্যাকোস-এর চেইনড অদলবদল ফাইল স্কিম , লিনাক্স swaponইত্যাদি) swap ডিভাইসগুলি যেমন RAID এর মতো পরস্পর নির্ভরশীল না হয়ে স্বতন্ত্র, তাই আমাদের বিস্তৃত চেকসামিংয়ের প্রয়োজন নেই কারণ একটি সোয়াপ ডিভাইস প্রতিস্থাপনের জন্য অন্যান্য আন্তঃনির্ভরশীল অদলবদল ডিভাইসের দিকে তাকানো জড়িত না প্রতিস্থাপন ডিভাইসে থাকা উচিত এমন ডেটা। জেডএফএসের শর্তাবলী, আমরা অন্যান্য স্টোরেজ ডিভাইসে রিলান্ড্যান্ট কপিগুলি থেকে অদলবদল অদলবদল করতে পারি না।

এর সবকটির অর্থ এই যে আপনার অবশ্যই একটি নির্ভরযোগ্য অদলবদল ডিভাইসটি ব্যবহার করা উচিত। আমি একবার কোনও অসুস্থ জেডএফএস পুলটি উদ্ধার করতে একটি $ 20 বহিরাগত ইউএসবি এইচডিডি ঘের ব্যবহার করেছি, কেবল এটি আবিষ্কার করতে যে ঘেরটি নিজেই অবিশ্বাস্য ছিল, প্রক্রিয়াটিতে তার নিজস্ব ত্রুটিগুলি প্রবর্তন করেছিল। জেডএফএসের শক্তিশালী চেকসামিং আমাকে এখানে সংরক্ষণ করেছিল। অদলবদল ফাইলের সাহায্যে স্টোরেজ মিডিয়ার এ জাতীয় অবিশ্বাস্য চিকিত্সা দিয়ে আপনি পালাতে পারবেন না। যদি অদলবদল ডিভাইসটি মারা যাচ্ছে, এবং এইভাবে এটি সবচেয়ে খারাপ অবস্থানে চলেছে যেখানে এটি প্রতি 125 এমআইবি স্থানান্তরিত করে একটি অন্বেষণযোগ্য ত্রুটি ইনজেকশন করতে পারে, আপনাকে কেবল এটিকে বদলাতে হবে, ASAP।

এই প্রশ্নের মধ্যে প্যারানোয়ার সামগ্রিক বোধ বাইজেন্টাইন জেনারেলদের সমস্যার একটি উদাহরণকে রূপান্তরিত করে । এটি পড়ুন, কম্পিউটার বিজ্ঞানের জগতে সমস্যাটি বর্ণনা করার জন্য একাডেমিক কাগজে 1982 তারিখটি চিন্তা করুন এবং তারপরে সিদ্ধান্ত নিন যে আপনি, 2019 সালে এই সমস্যাটি যুক্ত করার জন্য নতুন চিন্তাভাবনা আছে কিনা। এবং যদি তা না হয় তবে আপনি কেবল তিন দশক সিএস গ্র্যাজুয়েটদের দ্বারা ডিজাইন করা প্রযুক্তি ব্যবহার করবেন যারা বাইজেন্টাইন জেনারেল সমস্যা সম্পর্কে সবাই জানেন know

এটি ভাল ট্রড গ্রাউন্ড। আপনি সম্ভবত এমন একটি ধারণা, আপত্তি বা সমাধান নিয়ে আসতে পারবেন না যা কম্পিউটার বিজ্ঞান জার্নালে মৃত্যুর বিষয়ে ইতিমধ্যে আলোচনা করা হয়নি।

স্যাটা অবশ্যই একেবারে নির্ভরযোগ্য নয় তবে আপনি যদি একাডেমিয়ায় বা কার্নেল বিকাশকারী দলের মধ্যে যোগ না দিয়ে থাকেন তবে আপনি এখানে শিল্পের রাজ্যে বৈষয়িকভাবে যুক্ত হওয়ার মতো অবস্থানে যাবেন না। এই সমস্যাগুলি ইতিমধ্যে হাতে রয়েছে যেমনটি আপনি ইতিমধ্যে লক্ষ করেছেন: জেডএফএস, বিটিআরএফস, রেফার্স ... একটি ওএস ব্যবহারকারী হিসাবে আপনাকে কেবল বিশ্বাস করতে হবে যে ওএসের নির্মাতারা আপনার জন্য এই সমস্যার যত্ন নিচ্ছেন, কারণ তারা এও জানেন বাইজেন্টাইন জেনারেলদের সম্পর্কে

এটা বর্তমানে ব্যবহারিক না ZFS বা Btrfs শীর্ষে আপনার সোয়াপ ফাইল করা, কিন্তু যদি উপরে আপনি আশ্বস্ত নয়, তাহলে আপনি অন্তত এটা XFS অথবা ext4 উপরে করা যেতে পারে। এটি ডেডিকেটেড অদলবদল বিভাজন ব্যবহার করার চেয়ে ভাল।


1
আপনার যদি RAID থাকে তবে আপনি আদর্শভাবে RAID- র শীর্ষে আপনার অদলবদল চালান। অন্যথায়, আপনার অদলবলে মরে যাওয়ার পরে আপনি অদলবদল করা প্রোগ্রামগুলি ক্রাশ করবেন। RAID এর অন্যতম ব্যবহার হ'ল ডিস্ক ব্যর্থতা থেকে বাঁচা, একটি নতুন ডিস্ককে হট-অদলবদল করা এবং পুনরায় বুট না করে চালিয়ে যাওয়া।
সোর্সজেদি

2

জন্য dm-অখণ্ডতা

দেখুন: ডকুমেন্টেশন / ডিভাইস-ম্যাপার / ডিএম-অখণ্ডতা। টেক্সট

dm-integrityসাধারণত জার্নালিং মোডে ব্যবহৃত হত। অদলবদলের ক্ষেত্রে আপনি জার্নালিং না করেই ব্যবস্থা করতে পারেন। এটি পারফরম্যান্সের ওভারহেডকে উল্লেখযোগ্যভাবে হ্রাস করতে পারে। অপরিচ্ছন্ন শাটডাউন করার পরে ত্রুটি ধরা এড়াতে আপনার প্রতিটি বুটে সোয়াপ-ওভার-অখণ্ডতা পার্টিশনটি পুনরায় ফর্ম্যাট করতে হবে কিনা তা আমি নিশ্চিত নই।

এর প্রাথমিক ঘোষণায়dm-integrity লেখক পরিবর্তে "উচ্চ স্তরের ডেটা অখণ্ডতা সুরক্ষা" এর জন্য একটি অগ্রাধিকার উল্লেখ করেছেন। অদলবদলের ক্ষেত্রে, এটি র‌্যামে চেকসামগুলি সংরক্ষণের সম্ভাবনাটি খুলবে। যাইহোক, এই বিকল্পের জন্য উভয়কেই বর্তমান অদলবদল কোডে অপ্রচলিত পরিবর্তন প্রয়োজন এবং মেমরির ব্যবহার বাড়ানো দরকার। (বর্তমান কোড ট্র্যাকগুলি স্বতন্ত্র পৃষ্ঠাগুলি / ক্ষেত্রগুলি নয়, এক্সটেন্টগুলি ব্যবহার করে দক্ষতার সাথে অদলবদল করে)।


DIF / DIX হল?

লিনাক্স ২.২.২7 (২০০৮) এ ওরাকল দ্বারা ডিআইএক্স সমর্থন যুক্ত করা হয়েছিল

ডিআইএক্স ব্যবহার করে কি শেষ থেকে শেষের সততা সরবরাহ করে?

আপনি আপনার বিক্রেতার সাথে পরামর্শ করতে পারেন। আমি জানি না তারা কীভাবে বলতে পারে যে তারা যদি এ সম্পর্কে মিথ্যা বলে থাকে।

ওএস (অপারেটিং সিস্টেম) এবং এইচবিএর মধ্যে ফ্লাইটে ডেটা রক্ষার জন্য ডিআইএক্সের প্রয়োজন

ডিআইএফ নিজে থেকে এইচবিএ এবং স্টোরেজ ডিভাইসের মধ্যে ফ্লাইটে ডেটার সুরক্ষা বাড়ায় । (আরও দেখুন: ত্রুটির হারের পার্থক্য সম্পর্কে কিছু পরিসংখ্যান সহ উপস্থাপনা )।

যথাযথভাবে গার্ড ক্ষেত্রের চেকসামটি প্রমিত করা হয়েছে, বিশ্রামে কোনও তথ্য সুরক্ষা না দিয়ে ডিআইএক্স কমান্ড প্রয়োগ করা প্রযুক্তিগতভাবে সম্ভব । কেবলমাত্র পড়ার সময় এইচবিএ (বা স্টোরেজ ডিভাইস) চেকসামটি পুনরায় তৈরি করুন। এই দৃষ্টিভঙ্গিটি মূল ডিআইএক্স প্রকল্পের দ্বারা বেশ স্পষ্ট করা হয়েছিল।

  • DIF / DIX হল হয় লম্ব যৌক্তিক ব্লক চেকসাম করতে
    • আমরা এখনও আপনাকে ভালবাসি, বিটিআরএফস!
    • লজিকাল ব্লক চেকসাম ত্রুটিগুলি কলুষিত ডেটা সনাক্ত করতে ব্যবহৃত হয়
    • READ সময়ে সনাক্তকরণ হয়
    • ... যা কয়েক মাস পরে হতে পারে, আসল বাফারটি হারিয়ে যায়
    • আসল বাফার গার্ফড করা থাকলে যে কোনও রিন্ডন্ড্যান্ট কপিগুলিও খারাপ হতে পারে
  • ডিআইএফ / ডিআইএক্স সক্রিয়ভাবে দুর্নীতি প্রতিরোধ সম্পর্কে
    • প্রথমে ডিস্কে খারাপ ডেটা সংরক্ষণ হতে বাধা দেওয়া
    • ... এবং আসল বাফারটি স্মৃতি থেকে মুছে ফেলার আগে সমস্যাগুলির সন্ধান করা

- oss.oracle.com থেকে lpc08- ডেটা-অখণ্ডতা.পিডিএফ

ডিআইএক্স সম্পর্কে তাদের প্রাথমিক পোস্টগুলির মধ্যে একটিতে ড্রাইভ ডিআইএফ সমর্থন করে না এমন সময়েও ওএস এবং এইচবিএর মধ্যে ডিআইএক্স ব্যবহারের সম্ভাবনার উল্লেখ করে।

সম্পূর্ণ উদ্যোগের ক্ষেত্রে "এন্টারপ্রাইজ" প্রসঙ্গে তুলনামূলকভাবে অসম্ভব যেখানে ডিআইএক্স বর্তমানে ব্যবহৃত হয়; লোকেরা এটি লক্ষ্য করবে। এছাড়াও, ডিআইএফ বিদ্যমান হার্ডওয়্যারের উপর ভিত্তি করে ছিল যা 520-বাইট সেক্টর দিয়ে ফর্ম্যাট করা যায়। ডিআইএফ ব্যবহারের জন্য প্রোটোকলের জন্য আপনাকে প্রথমে ড্রাইভটির পুনরায় ফর্ম্যাট করা প্রয়োজন, যেমন sg_formatকমান্ডটি দেখুন।

এর চেয়ে বেশি সম্ভবত এমন বাস্তবায়ন যা সত্য প্রান্ত থেকে শেষের নীতি অনুসরণ করে না । একটি উদাহরণ দেওয়ার জন্য, একজন বিক্রেতার উল্লেখ করা হয়েছে যা সিআইপিইউ চক্রগুলি সংরক্ষণ করার জন্য ডিআইএক্সের জন্য একটি দুর্বল চেকসাম বিকল্পকে সমর্থন করে যা স্ট্যাকের আরও নিচে আরও শক্তিশালী চেকসাম দ্বারা প্রতিস্থাপিত হয়। এটি দরকারী, তবে এটি সম্পূর্ণ শেষ থেকে শেষ সুরক্ষা নয়।

বিকল্পভাবে, একটি ওএস নিজস্ব চেকসাম তৈরি করতে পারে এবং এটিকে অ্যাপ্লিকেশন ট্যাগের জায়গাতে সঞ্চয় করতে পারে। তবে বর্তমান লিনাক্স (v4.20) এ এর ​​জন্য কোনও সমর্থন নেই । ২০১৪ সালে লিখিত মন্তব্যটি এটি হতে পারে কারণ "খুব কম স্টোরেজ ডিভাইসই আসলে অ্যাপ্লিকেশন ট্যাগের স্পেস ব্যবহারের অনুমতি দেয়"। (এটি স্টোরেজ ডিভাইস নিজেই, এইচবিএ, বা উভয়ই বোঝায় কিনা আমি নিশ্চিত নই)।

লিনাক্সের সাথে কাজ করে এমন কোন ধরণের ডিআইএক্স ডিভাইস উপলব্ধ?

ডেটা এবং অখণ্ডতা মেটাডেটা বাফারগুলির পৃথকীকরণ এবং চেকসামগুলিতে পছন্দকে ডেটা ইন্টিগ্রিটি এক্সটেনশনস [ডিআইএক্স] হিসাবে উল্লেখ করা হয়। এই এক্সটেনশনগুলি প্রোটোকল সংস্থাগুলির (T10, T13) আওতার বাইরে থাকায় ওরাকল এবং এর সহযোগীরা স্টোরেজ নেটওয়ার্কিং ইন্ডাস্ট্রি অ্যাসোসিয়েশনের মধ্যে এগুলি মানক করার চেষ্টা করছে।

- v4.20 / ডকুমেন্টেশন / ব্লক / ডেটা-সততা .txt

উইকিপিডিয়া আমাকে জানিয়েছে ডিআইএফ NVMe 1.2.1 এ প্রমিত করা হয়েছে। এসসিএসআই এইচবিএ-র জন্য, যদি আমাদের কাছে নির্দেশ করার মান নেই তবে এটি পিন করা কিছুটা কঠিন বলে মনে হচ্ছে। এই মুহুর্তে "লিনাক্স ডিআইএক্স" সমর্থন :-) সম্পর্কে কথা বলা সবচেয়ে সুনির্দিষ্ট হতে পারে। ডিভাইস উপলব্ধ আছে:

এসসিএসআই টি 10 ​​ডিআইএফ / ডিআইএক্স [এসআইসি] সম্পূর্ণরূপে রেড হ্যাট এন্টারপ্রাইজ লিনাক্স .4.৪ এ সমর্থিত, যদি হার্ডওয়্যার বিক্রেতাকে এটি যোগ্যতা অর্জন করে এবং নির্দিষ্ট এইচবিএ এবং স্টোরেজ অ্যারে কনফিগারেশনের জন্য সম্পূর্ণ সমর্থন সরবরাহ করে। ডিআইএফ / ডিআইএক্স অন্যান্য কনফিগারেশনে সমর্থিত নয়, এটি বুট ডিভাইসে ব্যবহারের জন্য সমর্থিত নয়, এবং এটি ভার্চুয়ালাইজড গেস্টগুলিতে সমর্থিত নয়।

বর্তমান সময়ে, নিম্নলিখিত বিক্রেতারা এই সমর্থনটি সরবরাহ করার জন্য পরিচিত ...

- RHEL 7.5 রিলিজ নোট, অধ্যায় 16. স্টোরেজ

RHEL 7.5 রিলিজ নোটগুলিতে উল্লিখিত সমস্ত হার্ডওয়্যারটি ফাইবার চ্যানেল।

আমি এই বাজার জানি না। মনে হচ্ছে ডিআইএক্স ভবিষ্যতে সার্ভারগুলিতে আরও বিস্তৃত হতে পারে। এটি কেন গ্রাহক এসটিএ ডিস্কের জন্য উপলব্ধ হবে তার কোনও কারণ আমি জানি না - যতদূর আমি জানি যে কমান্ড ফর্ম্যাটের কোনও ডি-ফ্যাক্টো স্ট্যান্ডার্ডও নেই। এটি এনভিএম-তে আরও বিস্তৃতভাবে পাওয়া যায় কিনা তা আমি আগ্রহী।


ধন্যবাদ! আমি ভেবেছিলাম আমি ডেভ-ম্যাপারের জন্য কিছু অখণ্ডতা "অ্যাডন" সম্পর্কে কিছু শুনেছি, তবে সত্যই নিশ্চিত ছিল না।
পোজ

2

অদলবলে আছে ??? <--- এটি আমার প্রশ্ন

অদলবদল এখনও লিনাক্সে সুরক্ষিত নেই (তবে ইউপিডি দেখুন)।

ওয়েল, অবশ্যই লিনাক্সে জেডএফএস রয়েছে যা একটি সোয়াপ স্টোরেজ হতে সক্ষম তবে কিছু পরিস্থিতিতে এখনও একটি লক-আপ রয়েছে - এইভাবে কার্যকরভাবে সেই বিকল্পটি প্রত্যাহার করে।

বিটিআরএফস এখনও অদলবদল ফাইল পরিচালনা করতে পারে না । তারা লুপব্যাকের সম্ভাব্য ব্যবহারের কথা উল্লেখ করেছে যদিও এটি খারাপ পারফরম্যান্স হিসাবে চিহ্নিত। একটি ইঙ্গিত অস্পষ্ট আছে যে লিনাক্স 5 এর শেষ পর্যন্ত (?) থাকতে পারে…

প্রচলিত অদলবদলকে চেকসামগুলি দিয়ে নিজেই সুরক্ষিত করার জন্য প্যাচগুলি এটি মূল স্রোতে স্থান দেয়নি।

সুতরাং, সমস্ত-মধ্যে-সব: না। লিনাক্স এখনও সেখানে একটি ফাঁক আছে।

UPD। : @ সোর্জেজেডি যেমন উল্লেখ করেছেন যে ডিএম-অখণ্ডতার মতো একটি সরঞ্জাম রয়েছে। সংস্করণ ৪.১২ সাল থেকে লিনাক্স কার্নেলটি ডিভাইস-ম্যাপারের লক্ষ্য অর্জন করেছে যা কোনও সাধারণ ব্লক ডিভাইসে চেকসাম সরবরাহের জন্য ব্যবহার করা যেতে পারে এবং যেগুলি স্বাপের জন্য রয়েছে তা ব্যতিক্রম নয় exception সরঞ্জামটি বৃহত্তর ডিস্ট্রোজে বিস্তৃতভাবে সংহত করা হয়নি এবং তাদের বেশিরভাগই উদেব উপ-সিস্টেমে কোনও সমর্থন নেই, তবে শেষ পর্যন্ত এটির পরিবর্তন হওয়া উচিত। যখন রিডানডেন্সি সরবরাহকারীর সাথে জুড়ি তৈরি করা হয়, এমডি ওরফে লিনাক্স সফটওয়্যার রেডের শীর্ষে রাখুন, কেবল বিট রট সনাক্ত করা সম্ভব হবে না তবে স্বাস্থ্যকর ডেটাতে I / O অনুরোধটি পুনরায় রুট করা সম্ভব হবে কারণ ডিএম-অখণ্ডতা নির্দেশ করে যে কোনওটি আছে ইস্যু এবং এমডি এটি পরিচালনা করা উচিত।


0

আমি মনে করি না যে "প্রচলিত" উপায় আছে, তাই নিম্নলিখিতটি আমার ব্যক্তিগত মতামত।

কোনও সম্ভাব্য ব্যবহারকারীর দৃষ্টিকোণ থেকে বিটিআরএফসের অগ্রগতি পর্যবেক্ষণ করে, আমাকে বলতে হবে এটি এখনও আমার কাছে কোনওভাবেই অস্পষ্ট। এমন বৈশিষ্ট্য রয়েছে যা পরিপক্ক এবং উত্পাদন ব্যবহারের জন্য প্রস্তুত, এবং এমন বৈশিষ্ট্য রয়েছে যা আপাতদৃষ্টিতে অপরিণত এবং ব্যবহার করা বিপজ্জনক।

ব্যক্তিগতভাবে, কোন বৈশিষ্ট্যটি ব্যবহার করব এবং কোনটি নয়, কীভাবে এই বৈশিষ্ট্যগুলি বন্ধ করতে হবে বা কীভাবে এই বৈশিষ্ট্যগুলি বজায় রাখতে হবে তা নির্ধারণ করার জন্য আমার কাছে সময় দেওয়ার দরকার নেই।

বিপরীতে, জেডএফএস হল রক-সলিড এবং পরিপক্ক (আইএমএইচও)। সুতরাং, আপনার প্রশ্নের উত্তর দেওয়ার জন্য, আমি জেডএফএস ব্যবহার করব (উপায় দ্বারা, এটি খুব বেশি স্মৃতি গ্রহণ করে না - নীচে দেখুন)।

তবে আপনার জন্য, বিটিআরএফস সঠিক পছন্দ হতে পারে যেহেতু আপনি এটি ইতিমধ্যে ব্যবহার করছেন (যদি আমি আপনাকে সঠিকভাবে পাই তবে) এবং উপরের মন্তব্যগুলির মধ্যে একটিতে কীভাবে এটি অদলবদলের জন্য ব্যবহার করা যায় তা দেখানো হয়েছে।

শুদ্ধ সুযোগ দ্বারা, আমি শেষ দিনগুলিতে জেডএফএসে কিছু লিনাক্স সার্ভার রেখেছি, প্রতিটি সময় রুট ফাইল সিস্টেম এবং অদলবদল সহ। আমি এটি করার আগে, আমি খুব ভালভাবে কিছু গবেষণা করেছি, যা আমাকে বেশ কয়েক দিন সময় নিয়েছিল। আমি যা শিখেছি তার একটি সংক্ষিপ্তসার:

জেডএফএসের স্মৃতিশক্তি consumption

জেডএফএসের মেমরির খরচ সম্পর্কে একটি সাধারণ ভুল ধারণা রয়েছে। জেডএফএস সাধারণত খুব বেশি স্মৃতি গ্রহণ করে না ; আসলে এটি 2 জিবি র‌্যামের মেশিনে টিবি স্টোরেজ সহ চালায়। কেবলমাত্র যদি আপনি সদৃশ ব্যবহার করেন (ডিফল্টরূপে বন্ধ থাকে) তবে তার জন্য প্রচুর এবং প্রচুর র‍্যাম দরকার।

হার্ডওয়্যার ত্রুটি সনাক্তকরণ / সংশোধন

ডেটা অখণ্ডতার জন্য সাটা, পটা, রেড অথবা অন্যান্য ত্রুটি সনাক্তকরণ / সংশোধন প্রক্রিয়া যথেষ্ট কিনা তা এমন একটি বিষয় যা নেট এর সব জায়গাতেই অন্তহীন আলোচনা এবং এমনকি শিখা যুদ্ধের কারণ হয়ে দাঁড়ায়। তত্ত্ব অনুসারে, একটি হার্ডওয়্যার স্টোরেজ ডিভাইসটির যে কোনও ত্রুটির মুখোমুখি হওয়ার রিপোর্ট করা উচিত (এবং সম্ভবত এটি সংশোধন করা) এবং সমস্ত স্তরের ডেটা ট্রান্সমিশন হার্ডওয়্যার (চিপসেট, মেমরি ইত্যাদি) পাশাপাশি করা উচিত।

ওয়েল, তারা সব ক্ষেত্রে হয় না, বা তারা ত্রুটি থেকে surpringly প্রতিক্রিয়া। উদাহরণস্বরূপ, আসুন একটি সাধারণ RAID5 কনফিগারেশন নেওয়া যাক। সাধারণত, যদি একটি ডিস্কের সমস্যা থাকে তবে এটি এটি RAID কে জানায় যা ফলস্বরূপ অন্যান্য ডিস্কগুলি থেকে পড়তে তথ্য তৈরি করে এবং তা ত্রুটিযুক্ত ডিস্কে আবার লিখে দেয় (যা সম্ভবত পুনরায় পুনরুদ্ধার করে ডেটা লেখার আগে সেক্টর); যদি একই ডিস্কটি খুব বেশি ত্রুটির খবর দেয়, RAID এটিকে অফলাইনে নিয়ে যায় এবং প্রশাসককে (সঠিকভাবে কনফিগার করা থাকলে) অবহিত করেন।

এখনও অবধি, খুব ভাল, তবে এমন কিছু ক্ষেত্রে রয়েছে যেখানে ত্রুটিযুক্ত কোনও ত্রুটি রিপোর্ট না করেই ডিস্ক থেকে ত্রুটিযুক্ত ডেটা বের হয়ে যায় (পরবর্তী বিভাগটি দেখুন)। বেশিরভাগ RAIDs সমতা তথ্য ব্যবহার করে এই পরিস্থিতি সনাক্ত করতে পারে, তবে তাদের প্রতিক্রিয়াটি বোকামি: ত্রুটিটি রিপোর্ট করার পরিবর্তে এবং ডেটাগুলি পাস হওয়া থেকে থামানোর পরিবর্তে তারা কেবল ত্রুটিযুক্ত তথ্যের উপর ভিত্তি করে প্যারিটি পুনরায় গণনা করবে এবং নতুন পক্ষকে স্বতন্ত্রদের কাছে লিখবে ডিস্ক, এইভাবে ত্রুটিযুক্ত ডেটাটিকে চিরকালের জন্য সঠিক হিসাবে চিহ্নিত করে।

এটা কি যুক্তিসঙ্গত আচরণ? যতদূর আমি জানি, বেশিরভাগ হার্ডওয়্যার RAID5 নিয়ন্ত্রক এবং এমনকি লিনাক্সের এমডি RAID এইভাবে কাজ করে।

আমি বিটিআরএসফের ত্রুটি সংশোধন সম্পর্কে জানি না, তবে শেষ পর্যন্ত আপনার ডক্সটি আরও একবার সাবধানে পড়া উচিত, বিশেষত যদি আপনি বিটিআরএফস এর র‌্যাড ব্যবহার করছেন।

নীরব বিট পচা

সমস্ত শিখা যুদ্ধ এবং (ছদ্ম-) বৈজ্ঞানিক আলোচনা সত্ত্বেও বাস্তবতা তত্ত্বের চেয়ে বেশিরভাগ ক্ষেত্রেই আলাদা, এবং নীরব বিট পচা অবশ্যই ঘটে যায় যদিও তত্ত্বটি বিপরীতভাবে বর্ণনা করতে পারে (নীরব বট রট সাধারণত এর অর্থ হ'ল স্টোরেজ ডিভাইসটির রিপোর্টিং ছাড়াই হার্ডওয়্যার স্টোরেজের ডেটা দূষিত হয়) ত্রুটি যখন এই ডেটা পড়া হয়, কিন্তু আমি এই সংজ্ঞা সংক্রমণ পথে যে কোনও জায়গায় উল্টানো বিট যোগ করব)।

যা ঘটেছিল তা আমার ব্যক্তিগত মতামত নয়: কমপক্ষে গুগল, অ্যামাজন এবং সিইআরএন ঠিক সেই বিষয়ে প্রচ্ছদ করে বিস্তারিত সাদা কাগজপত্র প্রকাশ করেছে। কাগজপত্র বিনামূল্যে ডাউনলোডের জন্য প্রকাশ্যে উপলব্ধ। তারা কয়েক মিলিয়ন হার্ড ডিস্ক এবং কয়েক সহস্র হাজার সার্ভার / স্টোরেজ ডিভাইসগুলির সাথে নিয়মিত পরীক্ষা-নিরীক্ষা করেছে, হয় তাদের আবিষ্কার করা ডেটা দুর্নীতিতে সমস্যা হওয়ার কারণে বা এটি হওয়ার আগে তারা এটি রোধ করতে কী করতে হবে তা জানতে চেয়েছিল।

সংক্ষেপে, তাদের সার্ভার ফার্মগুলিতে ডেটাগুলি এমটিবিএফ পরিসংখ্যান বা অন্যান্য তত্ত্বের তুলনায় উল্লেখযোগ্য পরিমাণে হারের তুলনায় দূষিত হয়েছিল। উল্লেখযোগ্যভাবে উচ্চতর দ্বারা, আমি প্রস্থের অর্ডার বলতে চাই।

তাই নীরব বিট পচা, অর্থাত্ সংক্রমণ পথের যে কোনও সময়ে সনাক্ত করা ডেটা দুর্নীতি, একটি বাস্তব জীবনের সমস্যা।

ডেটা আজীবন

ওয়ারেন ইয়াং সঠিক যখন তিনি বলেন যে অদলবদলের ডেটা কম জীবনকাল। তবে আমি নিম্নলিখিত বিবেচনাটি যুক্ত করতে চাই: কেবলমাত্র ডেটা (নথিগুলির অর্থে) অদলবদল হয় না, তবে ও / এস বা অন্যান্য চলমান সফ্টওয়্যারগুলির অংশগুলি (সম্ভবত আরও বেশি সম্ভবত) হয়ে যায় । অদলবদুতে আমার যদি এমপি 3 থাকে তবে আমি ফ্লিপিং বিট নিয়ে বেঁচে থাকতে পারি। যদি (একটি চরম পরিস্থিতির কারণে) আমার প্রোডাকশনটির httpd সার্ভার সফ্টওয়্যারটির কিছু অংশ অদলবদল হয় তবে আমি কোনও উপায়েই ফ্লিপিং বিটের সাথে বাঁচতে পারি না যা পরে সনাক্ত না হলে দুর্নীতিবাজ কোড কার্যকর করে।

উপসংহার

আমার জন্য, জেডএফএস এই সমস্যাগুলি সমাধান করে, বা আরও স্পষ্টভাবে, এটি তাদের ডিস্কগুলি থেকে মেমরির দিকে সরিয়ে দেয় এবং এর ফলে কিছু আকারের অর্ডার দ্বারা নীরব বিট পচনের সম্ভাবনা হ্রাস পায় । তদতিরিক্ত, যদি সঠিকভাবে কনফিগার করা থাকে (যেমন RAID এর পরিবর্তে আয়না), এটি একটি পরিষ্কার এবং যুক্তিসঙ্গত ত্রুটি সংশোধন সরবরাহ করে যা প্রত্যাশার মতো কাজ করে এবং সর্বোপরি সহজে বোঝা যায়।

এটি বলার পরে, দয়া করে নোট করুন যে আপনি কখনই পরম সুরক্ষা পাবেন না। ব্যক্তিগতভাবে, আমি আমার ডিসিগুলির চেয়ে আমার ইসিসি র‌্যামকে বেশি বিশ্বাস করি এবং আমি নিশ্চিত যে জেডএফএস এর প্রান্ত থেকে শেষ চেকসাম সহ প্রস্থের আদেশ দ্বারা সমস্যার সম্ভাবনা হ্রাস করে। যদিও আমি ইসিসি র‌্যাম ছাড়া জেডএফএস ব্যবহার করার পরামর্শ দিই না

দাবি অস্বীকার: আমি কোনও জেডএফএস বিক্রেতার বা বিকাশকারীর সাথে কোনওভাবেই যুক্ত নই। এটি জেডএফএসের সমস্ত বৈকল্পিক (কাঁটাচামচ) এর ক্ষেত্রে সত্য। আমি গত দিনগুলিতে সবেমাত্র এর ভক্ত হয়েছি ...

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.