ডেটা প্রুফিংয়ে ত্রুটি


0

ডেটা এনকোড করা কি এমনভাবে সম্ভব যে এটি দুর্নীতি থেকে স্ব-পুনরুদ্ধার করতে পারে? (দুর্নীতি - উদাহরণস্বরূপ, হার্ড সেক্টর বা খারাপ সেক্টর সহ ইউএসবি ড্রাইভ)

আমি ব্যাকআপ, রেইড বা ফাইল সিস্টেম মেরামত সম্পর্কিত সমাধানগুলি খুঁজছি না। আমি এমন সমাধান খুঁজছি যা কাঁচা ডেটাতে একরকম স্ব-নিরাময় প্রক্রিয়া নিয়োগ করে।

আমি আরও সচেতন যে আমি সময়ের আগে আমার ডেটা চেকসাম করতে পারি এবং দুর্নীতি হয়েছে কিনা তা আমাকে জানতে (বেশিরভাগ ক্ষেত্রে) আমাকে সহায়তা করবে । আমার জন্য এটি কেবল অর্ধেক যুদ্ধ, আমার দরকার সিস্টেমকে কেবল এটিই জানার দরকার যে কিছু পরিবর্তন হয়েছে কিন্তু নিজেই পরিবর্তন থেকে পুনরুদ্ধার করতে সক্ষম হবেন।

আমি জেডএফএস এবং এর ক্ষমতা সম্পর্কে সচেতন :

স্টোরেজ পুলটিতে জেডএফএস মিররিং বা RAID এর মাধ্যমে অতিরিক্ত কাজ করা থাকলে জেডএফএস ডেটা নিরাময় করতে পারে। স্টোরেজ পুলটিতে যদি কোনও একক ডিস্ক থাকে, তবে "অনুলিপি = 2" (বা "অনুলিপি = 3") নির্দিষ্ট করে যেমন অতিরিক্ত অপ্রয়োজনীয় সরবরাহ করা সম্ভব, যার অর্থ এই যে ডিস্কে ডেটা দু'বার (তিনবার) সংরক্ষণ করা হবে, কার্যকরভাবে অর্ধেক (বা, "অনুলিপিগুলি = 3" এর জন্য, এক তৃতীয়াংশ হ্রাস করা) ডিস্কের স্টোরেজ ক্ষমতা।

তবে আমি কিছুটা আলাদা সমাধান / সরঞ্জামের সন্ধান করছি, উদাহরণস্বরূপ এমন কিছু যা আমাকে ইউএসবি ফ্ল্যাশ ড্রাইভে ডেটা রক্ষা করতে দেয় যা ফ্যাট, ফ্যাট 32, এক্সএফএটি ফর্ম্যাট করা হয়। এ জাতীয় কি কোন অস্তিত্ব আছে?


আপনি কোন ধরণের ডেটা সুরক্ষার চেষ্টা করছেন? ডাটাবেস, ডকুমেন্টস, ছবি ইত্যাদি? আপনি কি সাধারণভাবে কথা বলছেন, বা এটি কোনও নির্দিষ্ট অ্যাপ্লিকেশনটির জন্য?
তাইগস্ট

সাধারণভাবে ডেটা, কোনও নির্দিষ্ট "ধরণের" ডেটা।
dtmland

আপনি মিডিয়াতে ডেটা সুরক্ষা দিতে পারবেন না যা সমতা বা ত্রুটি পুনরুদ্ধারের অফার করে না। আপনার মোতায়েন করা যে কোনও স্কীম ডেটা দুর্নীতির সাপেক্ষে ঠিক তেমন ডেটা রক্ষা করার কথা।
Рахматуллин

@। প্রাথমিকভাবে আমি এটি সম্ভব বলে বিশ্বাস করি নি, তবে আপনার নীচে এই উত্তরগুলিতে উল্লিখিত মত সরঞ্জামগুলি ব্যবহার করে মিডিয়াতে এমন ডেটা সুরক্ষিত করতে পারেন যা <ফাইল সিস্টেম ব্যবহার করে>> সমতা বা ত্রুটি পুনরুদ্ধারের প্রস্তাব দেয় না।
dtmland

হ্যাঁ, ততক্ষণ ততক্ষণ ত্রুটিগুলি সেই সরঞ্জামগুলির সরবরাহ করা সর্বাধিক ত্রুটি সংশোধনের চেয়ে ছোট। আপনার যদি 255 বাইট প্রতি 16 টিরও বেশি দূষিত বাইট থাকে তবে আপনার ডেটা চলে যায়। আপনি যদি যত্ন করেন এমন ডেটার জন্য সস্তার ফ্ল্যাশ লাঠিগুলি না কিনে বা ফ্লপিগুলিতে সংরক্ষণ না করেন তবে প্যারিয়টি বিট ত্রুটি সংশোধন প্রকল্পগুলির দ্বারা প্রদত্ত সুরক্ষা ডেটা হ্রাসের বিরুদ্ধে সুরক্ষার চেয়ে প্যারানাইয়ার জন্য প্রশংসনীয় মশালাগুলি more । এটি কোনও কিছুর চেয়ে ভাল তবে এটি নিরাপদ নয় ।
Рахматуллин

উত্তর:


2

আপনার কাছে তথ্যের পর্যাপ্ত পরিমাণের প্যারিটি / ব্যাকআপ কপি না থাকলে যাদুতে দূষিত ডেটা পুনরুদ্ধার করার জন্য এ জাতীয় কোনও সরঞ্জাম উপস্থিত নেই । @grawity মত সরঞ্জাম ইঙ্গিত PAR2 , QuickPar এবং WinRAR আপনি যা চান তা করতে পারেন। সঠিকভাবে কাজ করতে সেই সরঞ্জামগুলি সংরক্ষণাগারটিতে সমতা ডেটা তৈরি করবে তাই কিছু ডেটা দুর্নীতিগ্রস্থ হলে পুনরুদ্ধার সম্ভব (আশা করি)) আমি দীর্ঘ সময় উইনআর / 7 জনের ব্যবহারকারী কিন্তু আমি এই কার্যকারিতাটি কখনই অনুসন্ধান করতে পারি নি তাই এর কার্যকারিতা সম্পর্কে আমি মন্তব্য করতে পারি না।

বেশিরভাগ ফাইল সিস্টেমে এনটিএফএস চেক ডিস্কের মতো "স্ব নিরাময়" এর কিছু পরিমাপ রয়েছে যা এটি ঠিক করার মতো আপনার ডেটাটিকে দূষিত করার সম্ভাবনা রয়েছে।

আমি "সত্য" স্ব-নিরাময় ক্ষমতা বিবেচনা করব তা দিয়ে জেডএফএস একমাত্র ফাইল সিস্টেম নয়, তবে এটি সবচেয়ে পরিপক্ক। বিটিআরএফ এবং রেফার্সের "সত্য" স্ব-নিরাময় ক্ষমতাও রয়েছে। এমনকি "সত্য" স্ব নিরাময়ের ফাইল ফাইলগুলিতেও প্যারিটি ডেটা নিরাময়ের প্রয়োজন হয়।

আপনার সম্ভাব্য তথ্য যদি কোনও ফ্ল্যাশ ড্রাইভে রাখা সম্ভব হয় তবে তা রাখা সম্ভব নয়, এটি ফ্ল্যাশ হওয়ার কারণে নয়, তবে আপনার প্যারিটি ডেটা থাকলেও এটি কেবল একটি শারীরিক ডিভাইসে থাকবে। যদি আপনার অবশ্যই একটি ফ্ল্যাশ ড্রাইভ ব্যবহার করা হয় তা নিশ্চিত করুন যে এটি উচ্চ মানের মেমরি ব্যবহার করেছে এবং মহাজাগতিক রশ্মির ঝড় এড়ানো উচিত । @ গ্রাটিউটি উল্লেখ করা কয়েকটি সরঞ্জামগুলির সাথে পরীক্ষা করে দেখুন, আমি জানি আমি করব :)


2
"স্ব-নিরাময়" কোনও সাধারণ ডিস্ক চেকের মতো নয়, যা কেবল মেটাডেটা সামঞ্জস্য করার চেষ্টা করে । জেডএফএসের স্ব-নিরাময় কোডটি কেবলমাত্র সঠিক চেকসামযুক্ত ডেটার অনুলিপি ব্যবহার করে। এবং এটি ফাইল সিস্টেমের স্তরে করার দরকার নেই - একই (বা অনুরূপ) অ্যালগরিদমগুলি (উইন) আরএআর এর মত সংরক্ষণাগার দ্বারা বা পিএআর 2 / কুইকপ্যার এর মতো বিশেষ সরঞ্জাম দ্বারা প্রয়োগ করা যেতে পারে। ম্যাজিকালি ফ্লিপ বিট সনাক্তকরণের জন্য অনেক কম্পিউটার র‍্যাম ব্যবহার করে যা এতে নির্মিত ত্রুটি সংশোধন (ইসিসি) রয়েছে।
মাধ্যাকর্ষণ

1
@ গ্রায়েটি হ্যাঁ, সে কারণেই আমি উদ্ধৃতিগুলিতে "স্ব নিরাময়" ব্যবহার করেছি। এনটিএফএস চেক ডিস্কটি সত্যই স্ব-নিরাময় নয়, তবে এটি সেই ভূমিকাটি পূরণ করার চেষ্টা করে। এটি যেটি নেমে আসে তা হ'ল যদি আপনার কাছে উপাত্তের ভাল কপি না থাকে আরোগ্য করার কোনও উপায় নেই, সুতরাং একটি স্বনির্ভর সংরক্ষণাগার (উইনআরআর) নিজেই নিরাময় করতে পারে না, এটি কেবল আপনাকেই বলতে পারে যে এটি দূষিত। ন্যায্যতার ক্ষেত্রে ফাইল সিস্টেমের স্তরে এটি একই সত্য কারণ প্যারিটি ডেটা এখনও "স্বাস্থ্য" পেতে প্রয়োজন to আমি বলি "আরবিট্রে ফাইল সিস্টেম" কারণ কিছু ফাইল সিস্টেমে সঠিক সরঞ্জামগুলি বিল্ট (যেমন জেডএফএস, বিটিআরএফস, রেফার্স) রয়েছে। আমি এই বিষয়গুলিতে আরও পরিষ্কার হওয়ার জন্য আমার উত্তর সম্পাদনা করেছি।
ubiquibacon

2
WinRAR অতিরিক্ত "পুনরুদ্ধার ভলিউম" উত্পন্ন করতে সক্ষম যা ভেরিয়েবল পরিমাণে দুর্নীতি বা ডেটা হ্রাস থেকে পুনরুদ্ধার করতে পারে; উদাহরণস্বরূপ, একটি বড় সংরক্ষণাগারটি 10 ​​ভলিউম + 1 পুনরুদ্ধার ভলিউমে বিভক্ত করুন এবং পুরো অনুপস্থিত ভলিউমটিকে পুনরায় তৈরি করতে সক্ষম হবেন। তবে আমি জানি না এটি কতটা অগ্রসর। একটি একক ভলিউম পুনরুদ্ধারের জন্য, কেবলমাত্র তাদের সমস্তকে XORing করার ফলে যথেষ্ট পরিমাণে "পুনরুদ্ধার তথ্য" তৈরি হবে। তবে আমি নিশ্চিত যে এর চেয়ে আরও অনেক উন্নত অ্যালগরিদম রয়েছে। আমি এগুলি সম্পর্কে খুব কমই জানি, যদিও ইরেজর কোডিং এবং রিড-সলোমন এখন মনে পড়ে।
মাধ্যাকর্ষণ

@ গ্রায়েটি পুনরুদ্ধারের পরিমাণগুলি সম্পর্কে শীর্ষস্থানীয়দের জন্য ধন্যবাদ। আমি সুযোগ পাওয়ার সাথে সাথে WinRAR এ সেই কার্যকারিতাটি আবিষ্কার করব।
ubiquibacon

1

একটি পুরানো স্ল্যাশডট পোস্টের জন্য ধন্যবাদ , আমি একটি সমাধান / সরঞ্জাম পেয়েছি যা ফ্ল্যাশ ড্রাইভে ডেটা রক্ষা করবে।

রিড-সলোমন কোডগুলি দিয়ে আপনার ফাইলগুলি ingালছে

দেখে মনে হচ্ছে এটি দূষিত / ক্ষতিগ্রস্থ খাতগুলি নিরাময়ে ডেটা প্যারিটি ব্যবহার করে।

নিম্নলিখিতটি আমার গুরুত্বপূর্ণ ফাইলগুলিকে অতিরিক্তভাবে ""াল" হিসাবে ব্যবহার করার উপায়টির একটি সহজ বিবরণ যা যাতে হোস্টিংয়ের কিছু সেক্টর হারিয়ে যায়, তবুও আমি সমস্ত কিছু উদ্ধার করি।

এই প্রক্রিয়াটির পিছনে ধারণাটি কোডগুলি সংশোধন করার ক্ষেত্রে ত্রুটি, যেমন সর্বব্যাপী রিড-সলোমন। রিড-সলোমন সহ, প্যারিটি বাইটগুলি প্রতিটি ব্লকে নির্দিষ্ট পরিমাণের ত্রুটি থেকে ডেটা ব্লককে সুরক্ষিত করতে ব্যবহৃত হয়। নীচে বর্ণিত সরঞ্জামগুলিতে, 223 বাইটের একটি ব্লক 32 বাইটের সমতা দিয়ে isালানো হয়েছে। আসল 223 বাইটগুলি পরে 255 "ঝালিত "গুলিতে বিছিন্ন করা হয় এবং" ঝালিত "ব্লকের ভিতরে থেকে 16 বাইট শোরগোলের দিকে পরিণত হলেও পুনরুদ্ধার করা যায় ...

"ফ্রিজ" এবং "গলিত" স্ক্রিপ্টগুলি ইউএসবি ফ্ল্যাশ ড্রাইভে স্থাপন করা যেতে পারে এমন ফাইলগুলি তৈরি করতে (বা সেই বিষয়ে কোনও মাধ্যম) ব্যবহার করা যেতে পারে।

আমরা ফ্রিজ.শ স্ক্রিপ্ট সহ একটি ফাইল "রক্ষা করি", যা আমার প্যাকেজের অংশ; তারপরে আমরা হিমায়িত ফাইলটি দ্রবীভূত করি এবং নতুন উত্পন্ন ফাইলটি মূল ফাইলটির অনুরূপ (md5sum এর মাধ্যমে) যাচাই করি। এরপরে আমরা জিরো সহ 127 টি সেক্টর ওভাররাইট করতে ডিডি ব্যবহার করে ieldাল্ড ফাইলটি (এটি ক্রমাগত অনেকগুলি সেক্টর!) ইচ্ছাকৃতভাবে 64KB ধ্বংস করতে এগিয়ে যাই proceed আমরা আবার মেল্ট.শকে অনুরোধ করছি এবং আমরা দেখতে পাই যে নতুন উত্পন্ন ফাইল (ডেটা 3) এর মূল এমডি 5 এর সমান রয়েছে - এটি পুরোপুরি পুনরুদ্ধার করা হয়েছিল।

ফ্যান্টাস্টিক !!!


দুর্দান্ত, কেউ সিপি এবং আরএসএনসি-র সদৃশ করেছে। o_O
সাইরেক্স

@ সিরেক্স কিভাবে? কীভাবে তারা একই ফলাফল অর্জন করতে পারে?
dtmland

ভাল, "ঝাল" ফাইলটি অনুলিপি করছে, এবং "ফ্রিজ" ভাল ডেটা ঠিক করে দিচ্ছে। আসলে (আমি যা বলতে পারি) থেকে এটি মূলত সিপি ফাইল 1 ফাইল 2; আরএম ফাইল 1; সিপি ফাইল 2 ফাইল 1, না?
সাইরেক্স

1
সুতরাং ঠিক কীভাবে এই সমাধানটি পার্কিভের চেয়ে ভাল ?
করণ

1
আমি এর আগে পিএআর ফাইল এবং উইনআরআর এর পুনরুদ্ধার রেকর্ড ব্যবহার করেছি এবং তারা অনেক সহায়তা করেছে, তবে এই সমাধানটি আমার কাছে নতুন তাই আমি আরও গবেষণা ছাড়া তাদের তুলনা করতে পারি না।
করণ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.