কীভাবে বড় স্কেল ব্যাকআপ করবেন গিটলাব?


13

গিটল্যাব সমর্থন জিজ্ঞাসা করার সময় গেইলাব অন-প্রাথমিক ভিত্তিতে যারা 3TB ব্যাকআপ করবেন সে বিষয়ে তারা যখন জবাব দেয় তারা আমাদের সরঞ্জামটি ব্যবহার করে যা একটি টারবাল তৈরি করে।

এটি কেবলমাত্র সমস্ত স্তরে আমার কাছে ভুল বোঝায়। এই টারবালটিতে পোস্টগ্রিস ডাম্প, ডকার ইমেজ, রেপো ডেটা, জিআইটি এলএফএস, ইত্যাদি কনফিগারেশন ইত্যাদি রয়েছে। খুব গতিশীল ডেটা সহ কেবি সহ স্থির তথ্যের টিবি ব্যাক আপ করা সঠিক নয়। এবং তারপরে ইস্যুটি আসে, আমরা প্রতি ঘন্টা একটি ব্যাকআপ করতে চাই।

প্রশ্ন

ধারাবাহিক ব্যাকআপ পাওয়ার জন্য আমি অন্যের কাছ থেকে তারা কীভাবে এটি করে তা সত্যিই জানতে চাই।

লিনাক্সে জেডএফএস আমার সাথে ঠিক আছে, যদি এটি সমাধানের অংশ হয়।


3
কেন এই ভুল? এটি সম্পূর্ণরূপে পুনরুদ্ধার করতে আপনি আপনার গিটল্যাবকে পুরোপুরি ব্যাক আপ করুন। আমি এটা ভুল বলে মনে করি না। অবশ্যই এটি বলার চেয়ে অনেক বেশি জায়গা ব্যবহার করে, ইনক্রিমেন্টাল ব্যাকআপ, তবে ... আমি ব্যাকআপ আকারের বিষয়ে চিন্তা করব না।
লেনি

3
প্রতি ঘন্টা ব্যাকআপ নেওয়া শোনা যায় না তবে তাদের পদ্ধতির সাথে ঘন্টারও কম সময়ে 3 টিবি করা অসম্ভব। এবং মাত্র এক দিনের জন্য ব্যাকআপগুলি হবে T 100TB, যেখানে কেবলমাত্র ডেটাতে 10MB পরিবর্তন হতে পারে।
সান্দ্রা

ঠিক আছে, এটি একটি সাধারণ প্রশ্ন, সাধারণভাবে ব্যাকআপ সম্পর্কে নয় তবে ঘন ঘন ব্যাকআপ সম্পর্কে।
লেনি

5
তাদের সরকারী দস্তাবেজে এমনকি তারা তাদের পদ্ধতিটি ধীর বলে উল্লেখ করেছেন এবং বিকল্পগুলির পরামর্শ দিয়েছেন: If your GitLab server contains a lot of Git repository data you may find the GitLab backup script to be too slow. In this case you can consider using filesystem snapshots as part of your backup strategy.যদিও আমি অভিজ্ঞতা থেকে বলতে পারি না। তবে শীঘ্রই আমাকে এই জাতীয় কিছু অন্তর্ভুক্ত করতে হতে পারে ...
লেনি

গিটল্যাবের কনফিগারেশন ফাইল এবং ব্যাকআপ ফ্ল্যাগে অপশন রয়েছে যা আপনাকে বিভাগগুলি বাদ দিতে বা কোনও অবজেক্ট
স্টোরগুলিতে

উত্তর:


10

ব্যাকআপগুলির মধ্যে (1 ঘন্টা) এর মধ্যে অল্প সময়ের জন্য, আপনার সেরা বেটটি ফাইল-সিস্টেম-স্তরের স্ন্যাপশট এবং send/recv সমর্থন নির্ভর করে ।

জোল ব্যবহার করা আপনার পরিবেশে যদি সমস্যা না হয় তবে আমি এটি ব্যবহার করার জন্য দৃ strongly়ভাবে পরামর্শ দেব। জেডএফএস একটি খুব দৃ .় ফাইল সিস্টেম এবং এটি আপনাকে যে সমস্ত অতিরিক্ত দেয় (যেমন: সংক্ষেপণ) এটি আপনাকে সত্যই পছন্দ করবে। যখন মিলিত হয় sanoid/syncoid, এটি একটি খুব শক্তিশালী ব্যাকআপ কৌশল সরবরাহ করতে পারে। প্রধান বিচ্ছিন্নতা হ'ল এটি মূললাইন কার্নেলের অন্তর্ভুক্ত নয়, সুতরাং আপনার এটি আলাদাভাবে ইনস্টল / আপডেট করা দরকার।

বিকল্পভাবে, যদি আপনাকে সত্যিকারের মূললাইন অন্তর্ভুক্ত জিনিসগুলির মধ্যে সীমাবদ্ধ করতে হয় তবে আপনি বিটিআরএফএস ব্যবহার করতে পারেন। তবে এর (বহু) ত্রুটিগুলি এবং পিটা বুঝতে অবশ্যই ভুলবেন না ।

অবশেষে, একটি বিকল্প সমাধান ব্যবহার করা lvmthin(সাথে যেমন নিয়মিত ব্যাকআপ নেওয়া snapper), তৃতীয় পক্ষের সরঞ্জামগুলির উপর নির্ভর (যেমন: bdsync, blocksync, ইত্যাদি) কপি করতে / জাহাজ বদ্বীপ শুধুমাত্র।

একটি পৃথক পদ্ধতির জন্য দুটি অনুলিপি করা মেশিন থাকবে (এর মাধ্যমে DRBD) যেখানে আপনি ইন্ডিপেন্ডেন্ট স্ন্যাপশটগুলি মাধ্যমে নেন lvmthin


পোস্টগ্রিসের কী হবে? এক মিনিটের জন্য গিটল্যাব এবং পোস্টগ্রিজগুলি থামিয়ে দিতে চান, যাতে একটি সংমিশ্রিত শাপশট তৈরি করা যায়? আদর্শভাবে এটি দুর্দান্ত হবে যদি স্ন্যাপশটটি তৈরি করার সময় পোস্টগ্রাগগুলি কেবল পঠন মোডে রাখা যায়।
সান্দ্রা

4
@ সান্দ্রা একটি ফাইল-সিস্টেম স্ন্যাপশট থেকে পুনরুদ্ধার করার জন্য জেনেরিক "হোস্ট ক্র্যাশ" পরিস্থিতি হিসাবে পোস্টগ্রেস্কেল (এবং অন্য কোনও সঠিকভাবে লিখিত ডাটাবেসগুলি) উপস্থিত হওয়া উচিত, যার ফলে তার নিজস্ব পুনরুদ্ধার প্রক্রিয়া (যেমন: কোনও আংশিক লিখিত পৃষ্ঠা মুখ্য ডাটাবেসে প্রতিশ্রুতিবদ্ধ)। অন্য কথায়, স্ন্যাপশট নেওয়ার সময় আপনাকে কেবল পঠনযোগ্য মোডে পোস্টগ্রাগ লাগাতে হবে না।
shodanshok

14

আপনি কী ব্যাক আপ করছেন তা আমি পর্যালোচনা করব এবং সম্ভবত "মাল্টি-পাথ" পদ্ধতির ব্যবহার করব। উদাহরণস্বরূপ, আপনি ব্যতীত সার্ভারগুলিতে গিট পুলগুলির মাধ্যমে নিয়মিত চালিয়ে গিট সংগ্রহস্থলগুলি ব্যাকআপ করতে পারেন could এটি কেবলমাত্র পৃথক অনুলিপি করতে পারে এবং সমস্ত গিট সংগ্রহস্থলের দ্বিতীয় কপি সহ আপনাকে ছেড়ে যাবে। সম্ভবত আপনি এপিআই দিয়ে নতুন রেপগুলি সনাক্ত করতে পারেন।

এবং সমস্যাগুলি ব্যাকআপ করার জন্য "বিল্ট-ইন" ব্যাকআপ প্রক্রিয়াগুলি ব্যবহার করুন I ইত্যাদি আমি সন্দেহ করি যে 3TB এই অংশ থেকে এসেছে যাতে আপনি খুব অল্প ব্যয়ে খুব প্রায়শই ব্যাকআপ নিতে সক্ষম হন। আপনি রেপ্লিকেশন সহ উষ্ণ স্ট্যান্ডবাই সহ পোস্টগ্রাইএসকিউএল ডাটাবেসও সেট আপ করতে পারেন।

সম্ভবত আপনার 3TB ডকার রেজিস্ট্রিতে ধারক চিত্র থেকে আসে। আপনি কি তাদের ব্যাক আপ প্রয়োজন? যদি তা হয় তবে তার জন্য আরও ভাল পদ্ধতির উপায় থাকতে পারে।

মূলত, আমি সত্যিই এটি কী তা দেখার জন্য সুপারিশ করব যা আপনার ব্যাকআপ তৈরি করে এবং বিভিন্ন অংশে ডেটা ব্যাকআপ করে।

এমনকি গিটল্যাব থেকে ব্যাকআপ সরঞ্জামে সিস্টেমের কিছু অংশ যেমন ডকার রেজিস্ট্রি অন্তর্ভুক্ত / বাদ দেওয়ার বিকল্প রয়েছে।


1
গিট টানগুলি নিখুঁত বর্ধিত ব্যাকআপ নয়। git push --forceহয় কীভাবে এটি প্রয়োগ করা হবে তার উপর নির্ভর করে তাদের থেকে ব্যাকআপগুলি ভেঙে দেয় বা ইতিহাস মুছে ফেলবে।
ব্যবহারকারী 37131366

@ dn3s এ কারণেই আপনি সর্বদা প্রধান সংগ্রহশালায় গিট পুশ - ফোর্স অক্ষম করে রাখুন। কেউ যদি ইতিহাস পরিবর্তন করতে চায় তবে তারা নিজের কাঁটা তৈরি করতে পারে এবং এটি নিয়ে আসা সমস্ত ঝুঁকি গ্রহণ করে।
Charlie_pl

2
এটি প্রতিরূপের জন্য ভাল হতে পারে , তবে আপনি চান না যে আপনার ব্যাকআপগুলির সততা সঠিক প্রয়োগের আচরণের উপর নির্ভর করবে to যদি অ্যাপ্লিকেশনটিতে কোনও বাগ থাকে, বা এটি রাস্তায় ভুল কনফিগার করা থাকে তবে কী ঘটবে? যদি আপনার সার্ভারটি কোনও দূষিত ব্যবহারকারী দ্বারা আপোস করা হয় তবে কী হবে? যদি আপনার অ্যাপ্লিকেশনটিতে ব্যাকআপ হোস্ট থেকে সামগ্রী সরিয়ে নেওয়ার ক্ষমতা থাকে তবে ইনক্রিমেন্টাল রিমোট ব্যাকআপের মান অনেকটাই হারাতে পারে।
ব্যবহারকারী 37131366
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.