20 + টিবি ডেটা কীভাবে ব্যাকআপ করবেন?


86

ফটোগ্রাফি সেশনগুলি সংরক্ষণ করার জন্য আমি যে সংস্থার জন্য কাজ করি তার একটি এনএএস সার্ভার রয়েছে। প্রতিটি সেশন প্রায় 100gb হয়। গত কয়েক বছর ধরে এই সার্ভারটি 10+ টিবিবি ডেটা সংগ্রহ করেছে এবং আমরা ফটোশুটের পরিমাণ দ্রুত বাড়িয়ে তুলছি। আমি অনুমান করি যে পরের বছরের শেষের দিকে আমাদের এই এনএএস এ 20+ টিবি সংরক্ষণ করা হবে। আমরা বর্তমানে এই সার্ভারটিকে সিম্যানটেক ব্যাকআপেক্সের সাহায্যে এলটিও -5 টেপ ব্যবহার করে টেপ করতে ব্যাক আপ করছি। যেহেতু এই সার্ভারটির আকার বৃদ্ধি পেয়েছে তাই এই সার্ভারটির পুরো ব্যাকআপগুলি রাতারাতি শেষ হচ্ছে না। এই পরিমাণে ডেটা কীভাবে ব্যাকআপ করা যায় সে সম্পর্কে কারও কি কোনও পরামর্শ আছে? আমরা কি টেপ পর্যন্ত এটি সমর্থন করা উচিত? এর চেয়ে ভাল আরও কোন বিকল্প আছে কি?


36
আপনি কেন প্রতি রাতে ফুল ব্যাকআপ করছেন? কেন সপ্তাহে একবার সম্পূর্ণ ব্যাকআপ চালাবেন না এবং সপ্তাহে বাকি remaining দিন বর্ধমান ব্যাকআপ চালাবেন না কেন?
joeqwerty

9
আমরা এটিই করছি, দুঃখিত আমি উল্লেখ করিনি যে ... সাপ্তাহিক পূর্ণটি হ'ল সম্পূর্ণ হয় না।
যিশু ফিদালগো

6
একটি সাপ্তাহিক পূর্ণ রাতারাতি সম্পন্ন প্রয়োজন? পর্যাপ্ত পরিমাণে ডেটাসেটের জন্য সাপ্তাহিক 24 ঘন্টার বেশি সময় গ্রহণ করা অস্বাভাবিক নয়।
স্টিফান লাসিউইস্কি

2
আপনি কোন ধরণের এনএএস ব্যবহার করছেন?
ew white

6
আপনি কি ফটোশ্যুটগুলির বৃদ্ধি তাত্পর্যপূর্ণ ?
অঙ্কুর

উত্তর:


114

আপনাকে একটি পদক্ষেপ ফিরে নিতে হবে এবং চিন্তাভাবনা বন্ধ করতে হবে "আমার এনএএস-তে আমার কাছে 20 টিবি হয়েছে, আমার ব্যাকআপ নেওয়া দরকার!" এবং এমন একটি স্টোরেজ কৌশল বিকাশ করে যা আপনার ডেটার প্রকৃতি বিবেচনা করে:

  • এটি কোথা থেকে আসছে এবং আপনি কত নতুন ডেটা পাচ্ছেন? (আপনি আপনার প্রশ্নে এটি পেয়েছেন)
  • একবারে ডেটা ব্যবহার করার পরে কীভাবে ব্যবহার করা যায়? লোকেরা কি ছবি সম্পাদনা করছেন? আপনি কি মূলগুলি রাখেন এবং সম্পাদিত সংস্করণগুলি তৈরি করেন?
  • কতক্ষণ আপনার সমস্ত ডেটা রাখা দরকার? 2 বছর আগে লোকেরা কি এখনও ছবিতে পরিবর্তন আনছে?

শেষ দুটি প্রশ্নের উত্তরের উপর নির্ভর করে আপনার সম্ভবত একটি ভিন্ন ভিন্ন ব্যাকআপ সিস্টেমের চেয়ে আর্কাইভ সিস্টেমের বেশি প্রয়োজন ।

অবিচলিত ডেটা (যেমন 2 বছরের পুরানো ছবি যা আপনি "কেবলমাত্র ক্ষেত্রে" ধরে রাখেন) প্রতি রাতে বা এমনকি প্রতি সপ্তাহে ব্যাক আপ করার দরকার নেই, এটি সংরক্ষণাগারভুক্ত করা দরকার। আপনি আসলে যা করেন তা আরও জটিল হতে পারে তবে ধারণাগতভাবে সমস্ত পুরানো ছবি টেপ (একাধিক অনুলিপি) লেখা যায় এবং আর কোনও ব্যাক আপ নেওয়া যায় না।

আপনার মন্তব্যের ভিত্তিতে, কিছু অতিরিক্ত চিন্তা:

  • যেহেতু আপনি প্রতিটি অঙ্কুরের অরিজিনালটি ছোঁয়াচে রেখেছেন এবং একটি অনুলিপি নিয়ে কাজ করছেন এবং ধরে নিয়েছেন যে কমপক্ষে কিছু আসল ছবিগুলি ডডস, তাই আপনি অর্ধেক ব্যাক আপ করার জন্য প্রয়োজনীয় পরিমাণের ডেটা কাটাতে সক্ষম হতে পারেন।

  • আপনার যদি এখনও যে কোনও উইন্ডো থাকে তবে আপনি যদি পুরো ব্যাকআপটি শেষ করতে না পারেন তবে জিনিসগুলিকে গতি বাড়ানোর একটি সাধারণ উপায় হ'ল প্রথমে ডিস্ক-টু-ডিস্ক ব্যাকআপ করা এবং তারপরে ব্যাকআপ সেটটি টেপ করে অনুলিপি করা।


1
আসল অঙ্কুরটি অচ্ছুতভাবে সংরক্ষণ করা হয়, তারপরে ফটোশুটের আর একটি অনুলিপি সম্পাদনার জন্য ব্যবহৃত হয়। তথ্য প্রায় 2 বছর রাখা প্রয়োজন হতে পারে।
যিশু ফিদালগো

20
+1 ভাল বলেছেন। ব্যাকআপ এবং আর্কাইভের মধ্যে পার্থক্য কীভাবে হয় তা আমি অবাক, সাধারণভাবে, খুব কমই বোঝা গেল। আমি আমার সিস্টেমের পূর্ণ এবং বর্ধিত ব্যাকআপগুলি এবং ইমেল এবং নথিগুলির মতো সাময়িক ডেটাগুলি করি, তবে আমার ফটোগ্রাফি সংরক্ষণাগারভুক্ত (1.2TB এবং বর্ধমান :-))। আশা করি ডিস্ক-টু-ডিস্কের পরামর্শের জন্য আমি আরও একটি +1 দিতে পারি।
প্রাক্তন আম্ব্রিস

8
+1 আমি বাজি ধরতে পারি যে NAS- তে 80% ডেটা আর একবার ব্যবহার করা হয় না।
স্টিফান লাসিউইস্কি

+1 এখানে সর্বোত্তম বিকল্পটি হ'ল পরিবর্তনগুলি ক্যাপচার করতে ডেস্ক ডেল্টা ট্রান্সফার থেকে দৈনিক এবং এমনকি প্রতি ঘণ্টায় ডিস্ক করা এবং তারপরে একটি আর্কাইভ বা অফ-সাইট সরবরাহকারী / অবস্থানের উপর সাপ্তাহিক বা আধা সাপ্তাহিক ভিত্তিতে পূর্ণ বা বর্ধিত ব্যাকআপগুলি প্রেরণ করা। আমরা একটি ডিআর দৃশ্যে ডেটা ক্ষতির পরিমাণ হ্রাস করতে প্রতি 15 মিনিটে আমাদের এসকিউএল ফাইলগুলির ডেল্টা ব্যাকআপ নিই।
ব্রেন্ট পাবস্ট

12

আপনার দুটি বিকল্প রয়েছে:

বিকল্প 1:

  1. অন্য একটি এনএএস কিনুন
  2. আপনার ব্যবহারকারীদের নতুন_এনএএস এ অ্যাক্সেস দিন
  3. 2 বছরেরও বেশি পুরানো সমস্ত ফাইলকে নতুন_এনএএস এ সরান
  4. যথারীতি পুরানো_নাস ব্যাক আপ দিন
  5. প্রতি 6 মাস অন্তর 2 বছর পুরানো ফাইলগুলিকে নতুন_এনএএস এ স্থানান্তরিত করে

বিকল্প 2:

  1. অন্য একটি এনএএস কিনুন
  2. rsyncপ্রতি ঘন্টা চালান : old_NAS -> new_NAS

    অথবা, আরডিআইফ-ব্যাকআপের মতো আরও ভাল কিছু ব্যবহার করা যা আরএসসিএন + ফাইলের পরিবর্তনের সাথে ডেল্টাস রাখে (আপনি ফাইলগুলির পুরানো সংস্করণ পুনরুদ্ধার করতে পারেন)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. প্রতি 6 মাসে পুরানো ফাইলগুলি এমন কিছু চলমান পরিষ্কার করে:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

2

আপনার ব্যাকআপগুলি কেন রাতারাতি শেষ করতে হবে? ফাইলসভারের পারফরম্যান্স? দিনের বেলা প্রভাব সীমাবদ্ধ করতে আপনি আপনার ব্যাকআপ সফ্টওয়্যারটির ব্যান্ডউইথকে সীমাবদ্ধ করতে সক্ষম হতে পারেন। অথবা অন্যান্য ট্র্যাফিকের উপর প্রভাব সীমাবদ্ধ করতে টেপ ড্রাইভের সাথে কথা বলার জন্য আপনার এনএএস-তে একটি ইন্টারফেস উত্সর্গ করুন।

আপনি উইকএন্ডে পুরো ডাম্প চালাতে পারেন এবং সপ্তাহের মধ্যে কেবল ইনক্রিমেন্টস করতে পারেন? কেউ যদি আশেপাশে না থাকে তবে সমস্যাটি যদি উইকএন্ডে টেপগুলি পরিবর্তন করে চলেছে, তবে কোনও টেপ পরিবর্তন করার জন্য কাউকে দেওয়ার চেয়ে সস্তা টেপ লাইব্রেরি / অটোচ্যাঞ্জারের দাম অনেক কম।

আপনি কি আপনার ডেটা একাধিক গ্রুপে ভাগ করতে পারেন যা আপনার ব্যাকআপ উইন্ডোর মধ্যে যথেষ্ট ছোট?

আমাদের একটি এনএএস-তে প্রায় 50TB ডেটা রয়েছে এবং 2 টি টেপ ড্রাইভ ব্যবহার করে পুরো জিনিসটির একটি সম্পূর্ণ ডাম্প পেতে এটি এক সপ্তাহের বেশি সময় নেয় (এক ভলিউমের প্রায় এক সপ্তাহ সময় লাগে কারণ এতে অনেকগুলি ছোট ফাইল রয়েছে)। আমরা যা করি তা হ'ল আমাদের ডেটাটিকে দ্বিতীয় এনএএস-এ প্রতিলিপি করা। আমাদের মাধ্যমিক এনএএসটি সাইটে রয়েছে (তবে প্রাথমিক থেকে আলাদা একটি ডেটাসেন্টারে), তাই আমরা এখনও সাইট-ব্যাকআপের জন্য টেপ করতে ডেটা বন্ধ করি। আমরা সেই মাধ্যমিক এনএএস থেকে ব্যাকআপগুলি চালিত করি যাতে ব্যাকআপগুলি কারও মন্থর হয় না।

যদি আপনি আপনার মাধ্যমিক এনএএসকে অনেক দূরে কলোক্ট করতে পারেন তবে এটি আপনার ব্যাকআপ হতে পারে, কোনও টেপের দরকার নেই।


1

আমি প্রতিটি শ্যুটিং সেশনের আকার সম্পর্কে কেবল সন্দেহ করি, এটি কি সত্যিই 100 জিবি / সেশন? আপনার সংস্থা প্রতি মাসে কতটি সেশন করে?

যেহেতু আপনি বেশিরভাগ পুরানো সেশনগুলি সংরক্ষণ করছেন যা প্রায়শই ব্যবহার করা হবে না ইত্যাদি ইত্যাদি এবং সম্ভবত সেই তথ্যটি প্রায়শই পুনরুদ্ধার করার প্রয়োজন হয় না, আমি আপনাকে পরামর্শ দিচ্ছি যে কোনও কাজকর্মীর পরিষেবাগুলি আপনার জন্য এই কাজের যত্ন নিতে ব্যবহার করুন to ।

যেমন উদাহরণস্বরূপ, অ্যামাজন গ্লিসিয়ারের মতো একটি অনলাইন পরিষেবা ব্যবহার করে সেই 20 টিবি সংরক্ষণ করা $ 200 / মাসের চেয়ে কিছুটা বেশি ব্যয় করতে পারে। আপনার যদি সেই আর্কাইভগুলি ঘন ঘন পুনরুদ্ধার করতে হয় বা সম্পূর্ণরূপে পুনরুদ্ধার করতে হয় তবে এটি কিছু সময় / ব্যয় সীমাবদ্ধতায় পড়বে। যদি আপনি এই জিনিসগুলিকে কেবল "সেগুলি সঞ্চিত আছে" তা সংরক্ষণ করে রাখেন, সম্ভবত তৃতীয় অংশ ব্যবহার করা আপনার জীবনকে সহজ করে তুলতে পারে (এবং অন্য কোনও এনএএস, টেপ ইত্যাদি কেনার চেয়েও সস্তা)


1
প্রতি সেশনে 100 জিবি আমার কাছে কিছুটা উচ্চতর শোনায় তবে অযৌক্তিক নয়। আমাদের সাধারণত 32+ জিবি সেশন ছিল যেখানে আমি কাজ করতাম এবং আমাদের সরঞ্জামগুলি মাঝারি স্তরের ছিল।
টম মার্থেনাল

1

full backups of this server are not completing overnight
তারপরে ইনক্রিমেন্টাল ব্যাকআপ ব্যবহার করে দেখুন? প্রতি এক্সএক্স দিনে একটি পূর্ণ ব্যাকআপ, বাকীগুলি ইনক্রিমেন্টাল।

হার্ডডিস্কগুলি সস্তা, টেপের চেয়ে দ্রুত এবং ব্যাকআপের জন্য ব্যবহার করা যেতে পারে।

এছাড়াও এখন ক্লাউড ব্যাকআপের জন্য ভাল বিকল্প রয়েছে তাই এটি আরও এবং দ্রুত টেপগুলি যুক্ত করার প্রয়োজন নেই।
উদাহরণ স্বরূপ:


মন্তব্যগুলি দেখুন - এটি সাপ্তাহিক পূর্ণতা যা সম্পূর্ণ হচ্ছে না। অতিরিক্তভাবে, 20TB ডেটার জন্য ক্লাউড ব্যাকআপ ... ভাল ধারণা নয়। অ্যামাজন হিমবাহের "সস্তার" বিকল্পটির জন্য 2500 ডলার / বছর খরচ পড়বে এবং সমস্ত তথ্য পুনরুদ্ধার করতে ~ 36,000 ডলার লাগবে।
আশাহীন N00b

এটি আসলে খুব একটা নয়।
সাইরেক্স

1
আমি মনে করি এটি মতামতের বিষয়, যদি T 2400 / yr তুলনামূলকভাবে নিরাপদ এবং সম্পূর্ণ রক্ষণাবেক্ষণ মুক্ত সঞ্চয়স্থানের জন্য 20TB এর জন্য অনেক কিছু হয়। কোনও বিদ্যুৎ খরচ, কোনও শীতলকরণ, কোনও ব্যর্থ হার্ডওয়্যার, কোনও এসএলএ নেই, র্যাকের জায়গা নেয় না। এবং বেশিরভাগ সিস্টেমে যেমন আপনার প্রায় 0 টি পুনরুদ্ধার অপারেশন আশা করা উচিত। এবং যদি আপনার পুনরুদ্ধারের প্রয়োজন হয় তবে দামটি $ 36000 এর চেয়ে 1800 ডলারের চেয়ে বেশি (আপনি যে নম্বরটি পেয়েছেন তা নিশ্চিত নয়)।
টেড হানসেন

হিমবাহের জন্য, $ 36K বেশ কাছাকাছি। আমি 20TB- এ পুনরুদ্ধার ব্যয়ের জন্য মোটামুটি এটিকে $ 42K হিসাবে গণনা করি। যদিও এটি এখনও খুব বেশি নয়। ব্যান্ডউইথ একটি সমস্যা বেশি।
সাইরেক্স

1

আমি মনে করি এটির সর্বোত্তম সমাধান হ'ল আমরা আমাদের পে-রোলের ডেটা নিয়ে যা করি, এটি প্রয়োগ করার জন্য আপনার একটি ন্যূনতম প্রচেষ্টা নেওয়া উচিত।

  • প্রাথমিকভাবে, এটি বাকী সার্ভার ডেটার সাথে রাখা হয় যা প্রতিদিন ব্যাক আপ হয়। এই ব্যাকআপগুলিতে আমাদের ধারণের সময়কাল 13 মাস।

  • একবার আমরা আর প্রত্যাশা করি না যে ডেটা সংশোধন করা দরকার, (দুটি পে-পিরিয়ড পরে, আইআইআরসি) তথ্যটি (স্ক্রিপ্টের মাধ্যমে) নিয়মিত ব্যাকআপ থেকে বাদ দেওয়া কোনও সংরক্ষণাগার ভলিউমে সংরক্ষণ করা হয়।

  • সংরক্ষণাগারের ভলিউমটি বার্ষিক টেপটিতে ব্যাক আপ করা হয়, এবং টেপগুলি অনির্দিষ্টকালের জন্য সঞ্চয় করার জন্য সিন্টাসে প্রেরণ করা হয়।

এটি আমাদের সেই অপরিবর্তনীয় ডেটাতে সহজেই অনলাইন অ্যাক্সেসের অনুমতি দেয় (যাতে কোনও অ্যাকাউন্টেন্ট কোনও জিনিস দেখতে চাইলে আমাদের কোনও টেপে কল করতে হবে না), তথ্যের অনির্দিষ্ট অফ-সাইটের সংরক্ষণাগারটি বজায় রেখে আমাদের চিরতরে রাখতে হবে , এবং আমাদের ব্যাকআপ সিস্টেমটি ক্রাশ ছাড়াই। একই ধরণের সেটআপের মতো শব্দগুলি আপনার পক্ষে কাজ করতে পারে, যদিও আপনি সময় মতো ফ্যাশনে এই ডেটা অ্যাক্সেস করার প্রয়োজনীয়তার উপর নির্ভর করে আপনি অনলাইনে থাকা ডেটা পরিমাণ সামঞ্জস্য করতে চাইতে পারেন - 20 টিবি এন্টারপ্রাইজ-গ্রেড স্টোরেজ অনেক বেশি ব্যয়বহুল আপনি অফ-সাইট ভল্টসে সঞ্চয় করেন এমন LTO5 টেপের দুটি বা তিনটি সেট সংরক্ষণাগার করার চেয়ে।


0

হতে পারে আপনি আপনার নিজের নির্মাণ করতে পারেন Backblaze শুঁটি : 135Tb জন্য 7384 $
আরও তথ্যের জন্য এখানে ক্লিক করুন: Backblaze শুঁটি ভবন তথ্য

আপনি প্রয়োজনীয় টুকরোগুলি কিনতে এবং এটি নিজে তৈরি করতে পারেন।

হতে পারে আপনি এর মধ্যে 3 টি তৈরি করতে পারেন এবং 2 টি অনসাইট এবং 1 অফসাইট রাখতে পারেন। তারপরে আপনি একটি পোডকে "অনলাইন ডেটা" হিসাবে, দ্বিতীয় পোষ্টের পডটিকে প্রথম পোডের ব্যাকআপ হিসাবে এবং তৃতীয় অফসাইট পডকে জরুরি অফসাইট ব্যাকআপ হিসাবে ব্যবহার করতে পারেন।

প্রতিটি পোডের জন্য 135Tb স্টোরেজ সহ আপনি পরিবর্তনের কিছু ইতিহাস রাখার কথা ভাবতে পারেন ...
135Tb / 20Tb = 19 সম্পূর্ণ ব্যাকআপ অনুলিপি
বিকল্পভাবে আপনি 10 টি সম্পূর্ণ ব্যাকআপ এবং একটি হাস্যকর পরিমাণে ডিফারেনশিয়াল ব্যাকআপ রাখতে পারেন।

স্বাভাবিকভাবেই, আপনি যদি অফসাইট ব্যাকআপ চান তবে আপনার এক ধরণের বড় ব্যান্ডউইথ দরকার হবে ... :-)


5
যদি আপনার ডেটা এবং আপনার কাজটি আপনার পক্ষে গুরুত্বপূর্ণ, আপনি আপনার নিজের ব্যাকব্লেজ পোডটি স্ক্র্যাচ থেকে তৈরি করার চেষ্টা করবেন না। এটি একটি ভাল ধারণা বলে মনে হচ্ছে, যতক্ষণ না আপনি বুঝতে পেরেছেন যে আপনি আপনার সমস্ত ডিম একটি সত্যিই বড় ঝুড়িতে রাখছেন। সবচেয়ে খারাপ বিষয়, সেই ঝুড়িটি সম্পূর্ণভাবে সংহত হিসাবে পরীক্ষিত হয়নি tested ব্যাকব্লেজ সিক্রেট সস হ'ল অনেক শুঁটি জুড়ে সফ্টওয়্যার প্রতিরূপ, যা সম্পূর্ণ শুঁটি বিনাভাবে ব্যর্থ হতে দেয়। আমি পরিবর্তে একটি সুপার মাইক্রো স্টোরেজ সার্ভার, সেন্টোস, এক্সএফএস এবং আরডিফ-ব্যাকআপের প্রস্তাব দেব।
বুগাবু

-1

আমার সহকর্মী একটি সিনোলজি 8-ডিস্ক এনএএস কিনেছেন। এটি একটি হাইব্রিড RAID চালায়। তিনি কয়েক সপ্তাহ আগে নিউইগ থেকে আটটি 3 টিবি সিগেট ব্যারাকুডা প্রতি 89 ডলারে কিনেছিলেন। আপনি প্রযোজনা নাস থেকে জিগাবিট জুড়ে এই নতুন এনএএস-তে মিররটি আরএসসি করতে পারেন। যেহেতু আপনি কেবলমাত্র পার্থক্যগুলি স্থানান্তর করছেন তাই স্থানান্তরটি আরও কম সময় নেবে। তারপরে আপনি পূর্ণ বা ইনক্রিমেন্টাল সম্পাদন করতে ব্যাকআপ এনএএস ব্যবহার করতে পারেন। আপনার ব্যয় ব্যাকআপ এনএএস এর দরজা বাইরে $ 2000 ডলারের নিচে হবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.