ছোট পরিবর্তন সহ একটি বড় ফাইলের ব্যাক আপ কীভাবে করবেন?

Question

যদি ফাইলগুলির সেট (বেশ কয়েকটি জিবি বড় হয়) এবং প্রতিটি প্রতিদিন কিছুটা পরিবর্তিত হয় (এলোমেলো জায়গায়, কেবল শেষে তথ্য সংযুক্ত করা হয় না), কীভাবে এটি দক্ষতার সাথে অনুলিপি করা যায়? আমি বলতে চাইছি, এই অর্থে যে শুধুমাত্র পরিবর্তিত অংশগুলি আপডেট করা হয়, এবং পুরো ফাইলগুলি নয়। এর অর্থ এখানে কিছু কেবি অনুলিপি করার জন্য বা কিছু জিবিএসের মধ্যে পার্থক্য হবে।

Comments

বাইনারি বিভিন্ন? আমি মনে করি এটি একটি জিনিস তবে আমি মনে করি diffনা এটি করবে

— বিড়াল

@ কেট: diffপার্থক্য সম্পর্কে রিপোর্ট করতে সক্ষম হতে পারে, তবে এখানে সমস্যাটি ছোট পার্থক্যগুলি অনুলিপি করছে।

— কোওরা ফ্যানস

ঠিক আছে, আমি ভাবছিলাম যে কেবল ভিন্নতাগুলি অনুলিপি করুন - rsyncআরও ভাল

— বিড়াল

সার্ভার ফল্টে: বৃহত্তর একক ফাইলের বর্ধিত ব্যাকআপ (2011-01-07) এবং স্ট্যাক ওভারফ্লোতে: প্রতিটি বার পরিবর্তিত RSync একক (সংরক্ষণাগার) ফাইলটি কী প্রোগ্রাম ব্যবহার করবে (2011-03-04)।

— গ্রাহাম পেরিন

Answer 1

Rsync প্রোগ্রাম ঠিক তাই করছে। ম্যান পৃষ্ঠা থেকে:

এটি ডেল্টা-ট্রান্সফার অ্যালগরিদমের জন্য বিখ্যাত, যা গন্তব্যস্থলে কেবল উত্স ফাইল এবং বিদ্যমান ফাইলগুলির মধ্যে পার্থক্য পাঠিয়ে নেটওয়ার্কের মাধ্যমে প্রেরিত ডেটার পরিমাণ হ্রাস করে। Rsync ব্যাকআপ এবং মিররিংয়ের জন্য এবং প্রতিদিনের ব্যবহারের জন্য উন্নত অনুলিপি কমান্ড হিসাবে ব্যবহৃত হয়।

Comments

প্রকৃতপক্ষে, এই উত্তরটি লেখার সময় আরএসইএনসি আসলে চলছে, এই ফাইলটিতে আমার ফাইল সার্ভারে (জেডএফএস সহ) সমস্ত কিছু ব্যাকআপ করা up

— hlovdal

ব্যাকআপ উদ্দেশ্যে, আমি rdiff- ব্যাকআপ ( nongnu.org/rdiff-backup ) সুপারিশ করতে চাই । আমি বেশ কয়েক বছর ধরে চারটি আলাদা আলাদা মেশিনের ব্যাকআপ ব্যবহার করছি, ভাল ফলাফল নিয়ে।

— টমাস প্যাড্রন-ম্যাকার্থি

রোলিং চেকসাম ব্যবহার করে ফাইল খণ্ডের সাথে কীভাবে rsyncতুলনা করা যায় তার উইকিপিডিয়ায় একটি ভাল ব্যাখ্যা রয়েছে ।

— অ্যাডাম কাটজ

আমি আরএসসিএনকে একটি পুরানো ভিএম হার্ড ডিস্ক চিত্রটিতে "রিভার্ট" করার চেষ্টা করেছি যেখানে কেবলমাত্র ভিতরে থাকা কয়েকটি ফাইলই বদলে গেছে, দুঃখের সাথে আরএসসিএন পুরো ফাইলটি আবার অনুলিপি করছে (~ 300MB / s লেখার জন্য 3 মিনিট সময় নিচ্ছে)? rsync -av --progress --partial --inplace arch-test1.qcow2.bak arch-test1.qcow2

— feedc0de

Answer 2

আপনি সম্ভবত একটি আধুনিক ডুপ্লিকেটিকেট ব্যাকআপ প্রোগ্রাম চান। পরীক্ষা করে দেখুন BorgBackup ।

এটি আপনার বড় ফাইলের প্রতিটি সংস্করণের একাধিক ব্যাকআপ তৈরি করবে, তবে বিভিন্ন সংস্করণের মধ্যে সাধারণ সামগ্রী ভাগ করবে, সুতরাং আপনার বড় ফাইলের প্রদত্ত সংস্করণে ব্যবহৃত মোট স্থানটি কেবলমাত্র একক জন্য মোট ডিস্কের জায়গার চেয়ে কিছুটা বেশি হবে সংস্করণ, ধরে নিলাম যে বিভিন্ন সংস্করণ কেবল কিছুটা পৃথক।

Answer 3

আপনি অন্য কোন উপায়ে আছেন আই-ও সীমিত পারেন, যেমন Btrfs বা ZFS সরাসরি না করেও ক্রমবর্ধমান ব্যাকআপ সমর্থন হিসাবে একটি ফাইল সিস্টেম ব্যবহার খুঁজে যেমন কি নামে ফাইলের মধ্যে পার্থক্য, rsyncকি আছে।

ব্যবহার rsyncকরা ধীর এবং খুব আইও-নিবিড় হতে চলেছে।

কারণ ফাইলগুলিতে যে কোনও অ্যাপ্লিকেশন পরিবর্তন লিখতে থাকলে কোনওভাবেই আইও-সীমাবদ্ধ থাকে, ব্যবহারের rsyncফলে ফাইলগুলি উপস্থিত থাকার কারণেই অ্যাপ্লিকেশন থেকে উল্লেখযোগ্য আইও চক্রকে দূরে সরিয়ে নিয়ে চলেছে। এবং যদি আপনার ব্যাকআপ প্রক্রিয়া বা সিস্টেমটি আইও-সীমাবদ্ধ থাকে তবে rsyncআপনার উপলব্ধ ব্যাকআপ ব্যান্ডউইথ থেকে আইও চক্র দূরে নিয়ে যাচ্ছে।

শুধু গুগল "rsync ধীর" is উদাহরণস্বরূপ: স্থানীয় ডায়ারে এনএফএস-শেয়ার থেকে ফাইলগুলি অনুলিপি করার জন্য সিপির তুলনায় আরএসআইএনসি খুব ধীর (ফ্যাক্টর 8 থেকে 10)

Comments

এটির জন্য পরীক্ষা না করে সমস্ত মেটাডেটা সংরক্ষণ করার অতিরিক্ত সুবিধা রয়েছে এবং আপনার ব্যাকআপ কপিটি মূল অনুলির মতোই দুর্দান্ত knowing rsync সাধারণ ব্যবহারের জন্য ভাল, তবে আপনার যদি একটি আধুনিক ফাইল সিস্টেম থাকে তবে এর সুবিধাগুলি উপেক্ষা করা বোকামি।

— ব্যবহারকারী 121391