btrfs- সক্ষম ব্যাকআপ সমাধান

Question

বিআরটিএফস এই মাসে 14 তম ওরাকল ইএল-এ প্রোডাকশন হিট করার সাথে সাথে (লিনাক্স 3.2 থেকে কাজ করে fsck কাজ করার জন্য এবং স্ক্রাবিংয়ের সাথে) এটি ব্যবহারের জন্য আমি আমার বর্তমান ব্যাকআপ সমাধানটি নতুন করে ডিজাইনের কথা ভাবছিলাম। মনে রাখবেন যে আমি এটি 10TB এর চেয়ে কম পরিমাণে ডেটা, এটি মোটামুটি স্থিতিশীল (দৈনিক 1% এরও কম পরিবর্তিত) জন্য করার কথা ভাবছি। সংক্ষেপে একটি এসএমবি / সোহো ব্যাকআপ সমাধান।

ব্যাকআপটি কী করা উচিত:

1. প্রোডাকশন সার্ভারে ext [234] / এক্সএফএস / জেএফএসের একটি এলভিএম স্ন্যাপশট করুন
2. rsync/ ব্যাকআপ সার্ভারে বিটিআরএস-এ পরিবর্তিত ডেটা স্থানান্তর করে
3. বিটিআরএফএস ফাইল সিস্টেম স্ন্যাপশট
4. যখন মুক্ত স্থান কম চলছে তখন পুরানো স্ন্যাপশটগুলি ফেলে দিন

পেশাদাররা:

• সমস্ত ফাইল সহজেই উপলব্ধ, কোনও ডিকম্প্রেশন বা লুপ মাউন্টিংয়ের প্রয়োজন নেই
• বিগত স্ন্যাপশটগুলি সহজেই উপলভ্য ...
• ... তাই আমি সেগুলি কেবল পঠিত সাম্বা শেয়ার হিসাবে ভাগ করতে পারি (ছায়া অনুলিপি সমর্থন সহ)
• অনুলিপি-অন-লেখার জন্য স্ন্যাপশটগুলি সর্বনিম্ন পরিমাণ স্থান নেয় (কোনও পরিবর্তন ছাড়াই স্ন্যাপশট ডিস্কে আক্ষরিকভাবে কিছু কিবি লাগে)
• উচ্চ ব্যাকআপের ধারাবাহিকতা: ফাইলগুলিতে চেকসামগুলি, সমস্ত ডেটা স্ক্রাবিং এবং অন্তর্নির্মিত অতিরিক্ত কাজ

প্রশ্নাবলী:

• কিছু ব্যাকআপ সমাধান (বাকুলা, ব্যাকআপপিসি, ইত্যাদির আকারে) যা অনুলিপি ফাইল সিস্টেম সম্পর্কে অনুলিপি করে বা সহজেই তৈরি করা যায়?
• বা আমার কি অভ্যন্তরীণ rsyncসমাধানটি ব্যবহার করা দরকার ?
• ব্যাকআপের জন্য উত্সর্গীকৃত জেডএফএস বাক্সযুক্ত লোকেরা তাদের লিনাক্স মেশিনগুলির ব্যাকআপ নিতে কী করবে?

Comments

দেখতে পাচ্ছি না cons! এর মধ্যে একটি হ'ল বিটিআরএফস স্ন্যাপশটগুলি কেবলমাত্র ইনক্রিমেন্টাল ব্যাকআপের সমতুল্য (ডিস্কে আপনার ফাইলের ব্যাকআপের জন্য কোনও শারীরিক অনুলিপি নয়)। যা ডিস্ক পৃষ্ঠের সমস্যার মুখোমুখি হওয়ার সময় গুরুত্বপূর্ণ হতে পারে। নোট করুন যে আপনি বিটিআরএফএসে অন্তর্ভুক্ত নেটিভ আরএআইডি 1 সমর্থন সহ একটি অনুলিপি চাপতে পারেন।

— vaab

@ ওবাব: এটি একটি pro- যদি আপনি চেকসাম পেয়ে থাকেন এবং সক্রিয়ভাবে এফএস স্ক্রাব করেন তবে দু'টির বেশি কপির সত্যই প্রয়োজন নেই, তিনটি সম্ভবত RAID6 সমর্থন নিয়ে আসবে। আমি যেমন বলেছি, এটি ডেডিকেটেড ব্যাকআপ সিস্টেমের জন্য একটি সেটআপ, একক কম্পিউটারে এফএসের ভিতরে "ব্যাকআপ" কপি নয়। এটি হবে "RAID ব্যাকআপ নয়" এবং "স্ন্যাপশটগুলি ব্যাকআপ নয়"। cp -aএবং rsyncতার জন্য ...

— হুবার্ট কারিও

আমি বিআরটিএফ-তে ব্যাক আপ নেওয়ার বিষয়টিও বিবেচনা করছি, তবে আমি কেবল ভাবছিলাম rsync -a --delete /home/user /mnt/butterfs/backups/ && snapper create- ব্যাক আপ করার পরে একটি স্ন্যাপশট তৈরি করা বাদ দিয়ে, আপনি কী সাওয়াল থেকে সচেতন?

— অঘোষিত

@ উনহামার: ব্যবহার rsyncনা করে --inplaceআপনি দূরবর্তী ফাইল সিস্টেমে একই ডেটার একাধিক অনুলিপি পাবেন। (আরএসসিএনসি সাধারণত একটি অস্থায়ী লুকানো ফাইলে ডেটা অনুলিপি করে তারপরে পুরানো ফাইলের উপরে সরিয়ে দেয়, অনুলিপি করা ফাইলের অনুলিপি করে আপনি এইভাবে দুটি অনুলিপি পান)

— হুবার্ট করিও

Answer 1

আমি গত সপ্তাহে অনুরূপ কিছু জন্য কিছু বিস্তৃত অনুসন্ধান করেছি। আমি সমস্ত 4 টি পদক্ষেপের কোনও সমাধান খুঁজে পাইনি। হোম ব্যবহারকারীরা থেকে অনেকগুলি ব্লগ রয়েছে যারা ব্যাকআপগুলির জন্য ' rsync to btrfs ' চেষ্টা করে এবং বিটিআরএফস স্ন্যাপশটগুলি কীভাবে সম্পাদন করতে হয় তার সমস্ত প্রধান বিটিআরএফ উইকিতে রয়েছে।

এছাড়াও বেশ কয়েক জন ব্যক্তি রয়েছেন যারা বিটিআরএফএস স্ন্যাপশটগুলি ঘোরানোর বিভিন্ন উপায়ে চেষ্টা করছেন । তবে, আপনি প্রথম ব্যক্তি যিনি আমি দেখেছি যিনি ডিস্কের জায়গার উপর ভিত্তি করে স্ন্যাপশটগুলি ঘোরান। আমি নিজে বিটিআরএফএস-স্ন্যাপের সাথে খেলছি যা প্রতি ঘন্টা, সাপ্তাহিক এবং মাসিক স্ন্যাপশটের একটি সেট তৈরি করে, এবং এটি দুর্দান্ত এবং সহজ।

Dirvish প্রকল্পের আপনার প্রয়োজনীয়তা অনেক পূরণ বলে মনে হয়। কিছু বিকাশকারী বিটিআরএফ-এর সাথে ডারভিশকে সংহত করার চেষ্টা করছেন । তবে দিরভিশ প্রকল্পটি কিছুটা স্থবির বলে মনে হচ্ছে ।

এই সময়ে, আপনি বক্ররেখার চেয়ে এগিয়ে আছেন are

Comments

ঠিক আছে, আমি ব্যাকআপ পিসি হিসাবে ব্যথা মুক্ত হিসাবে একটি ব্যাকআপ সমাধান চাই: যখন ডিস্কের স্থান কম থাকে, তখন এটি কেবল পুরানো ডেটা (পুরানো স্ন্যাপশট) মুছে দেয়। আমি যখন ভীত ছিলাম যে আমি বাঁকির সামনে আছি, এমনটা জেডএফএসের মতো নয় যে গত কয়েক বছর ধরে আমাদের সাথে ছিল না ...

— হুবার্ট কারিও

Answer 2

আভি মিলার (লিনাক্সনফ.এইউ চলাকালীন তাঁর আলাপ) এর মতে, বিটিআরএফএস প্রেরণ / গ্রহণের বিষয়ে কাজ চলছে। এটি আরএসআইএনসি-র চেয়ে দ্রুত হবে কারণ ফাইলগুলিতে পরিবর্তনগুলি খুঁজতে এটি ডিরেক্টরিতে যেতে পারে না .. তবে এখনও প্রত্যাশিত প্রকাশের তারিখ আছে কিনা তা আমার জানা নেই।

তবে, বিটিআরএফএস-প্রগসে নির্মিত একটি ইউটিলিটি রয়েছে যা স্ন্যাপশট / ইত্যাদির মধ্যে পরিবর্তিত প্রতিটি ফাইলকে তালিকাভুক্ত করে .. বিটিআরএফস সাবভলিউম সন্ধান করুন নতুন

Comments

আমি বিটিআরএসএফ-এ ব্যাকআপ নিতে চাই , এর থেকে নয় ...

— হুবার্ট কারিও

Answer 3

আমি ব্যাকআপপিসির মতো একটি ওএস ব্যাকআপ সিস্টেমে কাজ করছি। আমি এই সম্পর্কে চিন্তাভাবনা করেছি। আসলে যা বাস্তবায়নে আমাকে থামিয়েছে তা হ'ল আপনি সাবভলিউমের মধ্যে হার্ডলিঙ্ক করতে পারবেন না। আপনি কেবল সাবভলিউমগুলির স্ন্যাপশট তৈরি করতে পারেন -> ব্যাকআপ ক্লায়েন্ট প্রতি এক সাবভলিউম। সুতরাং ফাইল স্তরের সদৃশ বৈশিষ্ট্য এই পদ্ধতির সাথে সহাবস্থান করতে পারে না। এবং সেই ফাইল স্তরের প্রতিলিপি সাধারণত প্রচুর স্থান সাশ্রয় করে। আপনি কি কেবল একটি সার্ভারের ব্যাক আপ নিতে চান?

বিটিআরএফগুলির যদি ব্লক স্তরের প্রতিলিপি থাকে তবে এই সমস্যাটি সম্ভবত এড়ানো যেতে পারে, তবে এটি সাধারণত অসফলভাবে ধীর হয় ...

তারপরে এই জাতীয় পদ্ধতির অবশ্যই একটি ফাইল সিস্টেমের (বিটিআরটিএস) সাথে একটি শক্ত সংহতকরণ আবশ্যক, সুতরাং এটি একটি alচ্ছিক বৈশিষ্ট্য হওয়া উচিত।

আমি জিজ্ঞাসা করছি কারণ আমি এমন একটি গাভী বৈশিষ্ট্য যুক্ত করার কথা ভাবছি, তবে উপরের তালিকাভুক্ত ত্রুটিগুলির কারণে আমার উচিত কিনা তা জানেন না।

সম্পাদনা করুন: ইউরব্যাকআপ লিনাক্স কার্নেলস> = 3.6 (ক্রস ভলিউম রিফ্লিংক সমর্থন সহ) দিয়ে এখন প্রশ্নে বর্ণিত হিসাবে ব্যাকআপগুলি সমর্থন করে। কীভাবে সেট আপ করবেন তা দেখুন ।

Comments

ক্রস-সাবভলিউম রিফ্লিংক অনুলিপি (এর মাধ্যমে সম্পন্ন একটি আধা-হার্ডলিঙ্ক cp --reflink) হয় ইতিমধ্যে বাস্তবায়ন করা হয়েছে বা অদূর ভবিষ্যতে কার্যকর করা হবে। FS প্রকারের ক্ষেত্রে অনলাইন ডি অনুলিপি পারেন ধীর (lessfs) অথবা র্যাম (ZFS) বিপুল পরিমাণে দরকার তাই এটি উপর নির্ভর করে হবে সত্যিই ব্যাকআপ সফটওয়্যার একটি খারাপ বৈশিষ্ট্য হবে। যে কোনও উপায়ে, বিটিআরএফস-ওরিয়েন্টেড ব্যাকআপ সফ্টওয়্যারটির একটি বড় শ্রোতা থাকবে, এটি পরের এক্সট্রোম হওয়ার কথা।

— হুবার্ট কারিও

আরও একটি বিষয়: আপনি সমস্ত সার্ভারকে একটি সাবভলিউমে রেখে এই সমস্যাটি ঘটাতে পারেন - আপনি স্ন্যাপশটের ক্ষমতা সংরক্ষণ করার সময় তাদের (অনুলিপি করতে) এর মধ্যে অনুলিপি করতে পারেন। আপনাকে ছাড় দেওয়ার পরে স্ন্যাপশট করতে হবে, আপনি কেবলমাত্র একটি একক সার্ভারের ব্যাকআপ নেওয়ার পরে স্ন্যাপশট করতে পারেন! আপনি যদি একবারে ব্যাকআপগুলি করেন তবে ব্যাকআপগুলি আরও বেশি জায়গা নেবে না। বিকল্পভাবে আপনি সমস্ত সার্ভারগুলি ব্যাকআপ করতে পারেন, ছাড়ুন এবং কেবল তখনই স্ন্যাপশট। এইভাবে আপনি একই সাথে কয়েকটি সার্ভারের ব্যাকআপ নিতে পারেন।

— হুবার্ট কারিও

তুমি ঠিক বলছো. ভেবে দেখিনি। সুবিধার জন্য আপনি অন্য ভলিউমে ডান স্ন্যাপশটগুলিতে সিলেক করতে পারেন। আমি ক্রস-ভলিউম হার্ডলিঙ্ক (বা --reflink) এর জন্য একটি প্যাচও দেখতে পেয়েছি তবে এটি এটি তৈরি করেছে / অথবা এটি মূলধারায় তৈরি করবে বলে মনে হয় না। আমি সত্যিই এটি দেখতে হবে! এখন আপনি সম্ভবত আপনার ব্যাকআপগুলি ssh এর মাধ্যমে করবেন। আমার প্রকল্প স্থানীয় নেটওয়ার্কগুলির জন্য বিশেষায়িত ... (স্বতঃ আবিষ্কার এবং আরও কিছু)

— উরোনি

হ্যাঁ, প্যাচটি জীবিত এবং কাজ করছে, দুর্ভাগ্যক্রমে মূল লাইনে নেই, কেন জানি না। আমি এটি সম্পর্কে ক্রিস ম্যাসনকে বাগ দেওয়ার চেষ্টা করছি। আপনার প্রকল্প হিসাবে, আমাকে একটি লাইন বাদ দিতে দ্বিধা বোধ করবেন, আমি আনন্দের সাথে এটি বিটা-পরীক্ষা করব (সময় অনুমতি দেওয়ার সাথে সাথে)। এটি নিশ্চিত আকর্ষণীয় শোনাচ্ছে।

— হুবার্ট কারিও

অবশেষে সেই প্যাচটি মূল লিনাক্স কার্নেল ৩.6 এ পৌঁছেছে। ক্রস-ডিভাইস রিফ্লিংক সহ এটি আসলে এত বেশি কাজ ছিল না। আমি এটি সম্পর্কে এখানে লিখেছি: urbackup.org/blog/?p=83 কোডটি গিট সংগ্রহস্থলের "পরবর্তী" শাখায় রয়েছে। আমি বর্তমানে এটি পরীক্ষা করছি।

— উরোনি

Answer 4

বিটিআরএফস উইকি পৃষ্ঠায় " কেস ইউজ কেসস " কিছু সরঞ্জাম তালিকাভুক্ত করে: স্ন্যাপবিআরটি , স্নেপার , বিটিআরএফস -টাইম-মেশিন, উরব্যাকআপ।

অটোসনেপ নামে একটি অন্তর্নির্মিত সরঞ্জামের জন্য একটি প্রস্তাব রয়েছে :

অটোসন্যাপ বৈশিষ্ট্যটি ব্যবহার করে, আপনি নিয়মিত বা ইভেন্ট ভিত্তিক স্ন্যাপশট নিতে এবং স্ন্যাপশটগুলি স্বয়ংক্রিয়ভাবে পরিচালনা করতে বিটিআরএফএস কনফিগার করতে পারেন।

অটোসন্যাপ কেবল স্ন্যাপশট নেওয়ার জন্য নয়, তৈরি হওয়া স্ন্যাপশট পরিচালনা করার জন্যও রয়েছে, এখন পর্যন্ত আপনি ফাইল-সিস্টেমের ব্যবহৃত জায়গার উপর ভিত্তি করে স্ন্যাপশটগুলি মুছতে অটোসন্যাপ কনফিগার করতে পারেন।

তবে, অক্টোবর ২০১৩ পর্যন্ত, উইকিতে বলা হয়েছে যে "বিটিআরএফএসের আপস্ট্রিম সংস্করণে অটোসন্যাপ কার্যকারিতা বর্তমানে অন্তর্ভুক্ত নেই।"

Answer 5

আমার একই রকম হতাশা ছিল, তাই আমি কয়েকটি স্ক্রিপ্ট তৈরি করে শেষ করেছিলাম যা আমি স্নাজজার বলছি । তারা একসাথে এসএসএসের মাধ্যমে স্ন্যাপশ্যাটিং, ছাঁটাই, পরিমাপ এবং পরিবহন সরবরাহ করে (তবে আজকের পাশাপাশি স্থানীয় ফাইল সিস্টেমগুলিতে / পাঠাতে / গ্রহণ করতে পারে)। পরিমাপগুলি কেবল স্ন্যাপশট পাথের sha512sum এবং পিজিপি স্বাক্ষরগুলির প্রতিবেদন। এটি মুক্তির জন্য বেশ প্রস্তুত নয় তবে কারও কাছে এই প্রাথমিক পর্যায়ে পর্যালোচনা করার সময় থাকলে আমি প্রতিক্রিয়া শুনতে পছন্দ করব love

সাধারণত আমি জন্য পৃথক সাবভলিউমগুলি দেখুন আছে - CLI শুধুমাত্র এই সময়ে, কিন্তু আমি কিছু সময় এটা সহজ অনেক Btrfs সাবভলিউমগুলি দেখুন সহ সিস্টেমের ব্যবহার করতে গ্রহণ করেছি /var/cache, /homeইত্যাদি যা / কম snapshotting থেকে বাদ দেওয়া দরকার নতুবা থাকতে পারে আরও আক্রমণাত্মক ছাঁটাইয়ের সময়সূচী।

আমি আশঙ্কা করছি ছাঁটাই অ্যালগরিদম খাঁটি স্ন্যাপশটের সেট এবং তাদের তারিখের উপস্থিতির বিষয়ে সিদ্ধান্ত নিয়েছে, ডিস্কের ব্যবহারের সীমাবদ্ধতা না হওয়া পর্যন্ত ছাঁটাই করার কিছুই নেই - আপনি প্রথমে কোনটি মুছবেন? প্রথমে ঘন্টা বা ঘরের সংখ্যা কমিয়ে দেবে? সম্ভবত সবচেয়ে পুরানো, উদাহরণস্বরূপ। yearlies? বিভিন্ন মোতায়েনের বিভিন্ন অগ্রাধিকার থাকবে; এবং আমি জানতে পারি না যে এটিই কেবলমাত্র ব্যাকআপ স্তর (কোনও ক্ষেত্রে আইনী / বীমা সংক্রান্ত ক্ষেত্রে আপনাকে সবচেয়ে পুরানো ব্যাকআপগুলি ফেলে দেওয়া উচিত নয়), বা কেবলমাত্র একটি মধ্যবর্তী (যদি আপনি সম্ভবত সেই বছরগুলি সংরক্ষণ করেন তবে কোথাও নিরাপদ) অন্যত্র)।

আমি জেডএফএস সমর্থন এবং / বা ইন্টারঅ্যাপেরিবিলিটি কোনও সময়ে যুক্ত করব; এই মুহুর্তে "শূন্য" নির্ভরতার জন্য দৃ desire় আকাঙ্ক্ষার কারণে এটি বেশিরভাগ পিক্সিক-ইশ শেল এবং পারলে লেখা হয়েছে, আমি আশা করছি যে কোনও সময়ে সমান্তরালে একটি ক্লিনার পাইথন বিকল্প বাস্তবায়ন বজায় রেখেছি।

Comments

যদি আপনার এফএস-এর খুব বড় এবং প্রায়শই পরিবর্তন না হয় তবে এক মাস আগে থেকে স্ন্যাপশট রাখার মধ্যে খুব সামান্য পার্থক্য রয়েছে এবং পুরো সপ্তাহের জন্য প্রতিদিনের তুলনায় গত সপ্তাহে মাত্র 1 জন - বিটিআরএফগুলির মধ্যে পার্থক্য সংরক্ষণ করতে হবে বর্তমান অবস্থা এবং এক মাস আগে থেকে যে কোনও উপায়ে - আমি কেবল দৈনিকগুলি রাখি, তবে এটি সংকুচিত এবং আলাদা হওয়ার কারণে আমি এগুলি সহজেই অর্ধেক বছর পিছনে রাখতে পারি - তবে কমপক্ষে কিছু জায়গা মুক্ত করার প্রাচীনতম গ্যারান্টিটি বাদ দিচ্ছি

— হুবার্ট কারিও

ভাল, আমার ট্র্যাক রাখতে একটি তুচ্ছ সংখ্যক ভিএম রয়েছে - কিছু বড় ট্রানজিট ফাইল (অর্থাত্ অনন্য এক্সটেন্ট সহ স্ন্যাপশট) যা আপনার পরামর্শ অনুসারে মধ্যবর্তী স্ন্যাপশটগুলি ছাঁটাই থেকে উপকৃত হতে পারে। সুতরাং যদিও এটি সত্য যে ছাঁটাইয়ের মধ্যস্থতাকারীরা সবচেয়ে পুরনোটি ড্রপ করার মতো ডিস্ক মুক্ত করে না, আমি কী বলতে পারি ... শুধুমাত্র ন্যূনতম সংখ্যার স্ন্যাপশটের চারপাশে রাখা এবং বিআরটিএফ-এর মতো সিওডাব্লু ফাইল সিস্টেমের সাথে এটি করা যতটা দক্ষ বলে মনে হয় পেয়েছে, তবে আমি বুঝতে পারি যে এর চেয়ে উপযুক্ত সমাধান বাছাই করার মতো আরও অনেক কিছুই আছে :)

— csirac2

@ সিসিআরাক ২ আপনি কি মেনটেনইগ স্নাজজার? আমি এই ধরণের সমাধান খুঁজছি। যদি সক্রিয়ভাবে এটি রক্ষণাবেক্ষণ করা হচ্ছে তবে আমি স্নাজজারে আগ্রহী। গিটহাব সাম্প্রতিক ক্রিয়াকলাপ দেখায় বলে মনে হচ্ছে না ...

— মাউন্টেনএক্স

@ মাউন্টেনএক্স যখন আমি স্ন্যাজার সম্পর্কে খুব প্রাথমিক প্রতিক্রিয়া পাইনি, আমি এক ধরনের উত্সাহ হারিয়েছিলাম .. যখন আমি এটি লিখতে শুরু করি, তখন সত্যিই কেবল ওপেনসুএসের স্নেপার এবং বিটিআরএফস স্বয়ংক্রিয়করণের জন্য প্রচুর শেল / পাইথন স্ক্রিপ্ট ছিল। বিশ্বের সাথে এটি ভাগ করে নেওয়ার সময়, প্রচুর অন্যান্য বিকল্প পপ আপ হয়ে গেছে, এবং আমি বলব যে বিটিবিবিকে মনে হচ্ছে অনেক গতি রয়েছে (স্বয়ংক্রিয় পরীক্ষার অভাব [সম্ভবত এখন স্থির?] যদিও এটি ছিল)। যদি আমাকে আবারও এটি করতে হয় তবে আমি সম্ভবত সানয়েড লেখকের সাথে সেখানে বিটিআরএফএসের সামঞ্জস্যতা যুক্ত করার জন্য সহযোগিতা করেছি। আপনার চিন্তা শুনতে আগ্রহী।

— সিশিরাক 2