আমাজন এস 3 এ সঞ্চিত ডেটার ব্যাক আপ নেওয়া


16

আমার কাছে ইসি 2 উদাহরণ রয়েছে একটি ওয়েব সার্ভার চলছে যা ব্যবহারকারীর আপলোড করা ফাইলগুলিকে এস 3 এ সঞ্চয় করে stores ফাইলগুলি একবার লিখিত হয় এবং কখনই পরিবর্তন হয় না তবে ব্যবহারকারীরা মাঝে মাঝে পুনরুদ্ধার করে। আমরা সম্ভবত প্রতি বছর প্রায় 200-500GB ডেটা জমা করব। আমরা নিশ্চিত করতে চাই যে এই ডেটাটি নিরাপদ, বিশেষত দুর্ঘটনাজনিত মোছা থেকে এবং কারণ নির্বিশেষে মুছে ফেলা ফাইলগুলি পুনরুদ্ধার করতে সক্ষম হতে চাই।

আমি এস 3 বালতিগুলির সংস্করণ বৈশিষ্ট্যটি পড়েছি, তবে কোনও সংশোধন ইতিহাস না থাকলে ফাইলগুলির জন্য পুনরুদ্ধার সম্ভব কিনা তা আমি খুঁজে পাচ্ছি না। সংস্করণে এখানে এডাব্লুএস ডক্স দেখুন:

http://docs.aws.amazon.com/AmazonS3/latest/dev/ObjectVersioning.html

এই উদাহরণগুলিতে, তারা ডেটা আপলোড করা হয়েছে এমন দৃশ্য দেখায় না, তবে কখনও সংশোধন করা হয় না এবং তারপরে মুছে ফেলা হয়। এই দৃশ্যে ফাইলগুলি কি পুনরুদ্ধারযোগ্য?

তারপরে, আমরা ভেবেছিলাম আমরা কেবলমাত্র S3 ফাইলগুলি বস্তুর জীবনচক্র পরিচালনা ব্যবহার করে গ্লিসিয়ারে ব্যাকআপ করতে পারি:

http://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-mgmt.html

তবে, মনে হচ্ছে এটি আমাদের পক্ষে কার্যকর হবে না, কারণ ফাইলটি বস্তুটি গ্লিসিয়ারে অনুলিপি করা হয়নি তবে গ্লিসিয়ারে স্থানান্তরিত হয়েছে (আরও সঠিকভাবে মনে হচ্ছে এটি একটি বস্তুর বৈশিষ্ট্য যা পরিবর্তিত হয়েছে, তবে যাইহোক ...)।

সুতরাং মনে হচ্ছে এস 3 ডেটা ব্যাকআপ করার সরাসরি কোনও উপায় নেই এবং এস 3 থেকে স্থানীয় সার্ভারে ডেটা স্থানান্তর করা সময় সাপেক্ষ হতে পারে এবং সময়ের সাথে সাথে তাৎপর্যপূর্ণ স্থানান্তর ব্যয়ও হতে পারে।

পরিশেষে, আমরা ভেবেছিলাম আমরা মাসিক পূর্ণ ব্যাকআপ হিসাবে পরিবেশন করার জন্য প্রতি মাসে একটি নতুন বালতি তৈরি করব এবং প্রথম বালিকেটের ডেটা নতুন দিনে 1 টি অনুলিপি করব। তারপরে সদৃশতার মতো কিছু ব্যবহার করে ( http://dusedity.nongnu.org/ ) আমরা প্রতি রাতে ব্যাকআপ বালতিটি সিঙ্ক্রোনাইজ করব। মাস শেষে আমরা ব্যাকআপ বালতিটির বিষয়বস্তু হিমবাহ স্টোরেজে রেখে দেব এবং মূল বালতির একটি নতুন, বর্তমান কপি ব্যবহার করে একটি নতুন ব্যাকআপ বালতি তৈরি করব ... এবং এই প্রক্রিয়াটি পুনরাবৃত্তি করব। দেখে মনে হচ্ছে এটি স্টোরেজ / ট্রান্সফার ব্যয়কে কাজ করবে এবং হ্রাস করবে, তবে আমি নিশ্চিত নই যে নকলটি প্রথমে নিয়ন্ত্রণকারী ক্লায়েন্টের কাছে ডেটা নামিয়ে না নিয়ে সরাসরি বালতি থেকে বালতি স্থানান্তর করতে দেয় কিনা।

সুতরাং, আমি অনুমান করি এখানে বেশ কয়েকটি প্রশ্ন রয়েছে। প্রথমত, এস 3 সংস্করণ ফাইলগুলি কখনই সংশোধন করা হয়নি তার পুনরুদ্ধারের অনুমতি দেয়? এস 3 থেকে গ্লিসিয়ারে ফাইলগুলি অনুলিপি করার কোনও উপায় আছে যা আমি মিস করেছি? ট্রান্সফার ব্যয় এড়াতে ডুপুলিটি বা অন্য কোনও সরঞ্জাম সরাসরি এস 3 বাল্টির মধ্যে ফাইল স্থানান্তর করতে পারে? অবশেষে, আমি কি এস 3 ডেটার ব্যাকআপ নেওয়ার বিষয়ে আমার দৃষ্টিভঙ্গির চিহ্নটি বন্ধ করে দিচ্ছি?

আপনি প্রদত্ত যে কোনও অন্তর্দৃষ্টি দেওয়ার জন্য অগ্রিম ধন্যবাদ!

হালনাগাদ

অ্যামাজন সম্প্রতি ঘোষণা করেছে যে সংস্করণ এখন জীবনচক্রের বিধিগুলির সাথে কাজ করে


aws.amazon.com/blogs/aws/archive-s3-to-glacier/… + নীচের অংশে একটি দুর্দান্ত সংক্ষিপ্ত ইউটিউব ভিডিও আছে যা s3 হিমবাহকে ব্যাখ্যা করছে
সমমান 8

উত্তর:


10

আমি এস 3 বালতিগুলির সংস্করণ বৈশিষ্ট্যটি পড়েছি, তবে কোনও সংশোধন ইতিহাস না থাকলে ফাইলগুলির জন্য> পুনরুদ্ধার সম্ভব কিনা তা আমি খুঁজে পেতে পারি না। সংস্করণে এখানে ডাব্লুএস ডক্স দেখুন:

আমি এই চেষ্টা করেছি। হ্যাঁ, আপনি মূল সংস্করণ থেকে পুনরুদ্ধার করতে পারেন। আপনি যখন ফাইলটি মুছবেন তখন এটি মুছে ফেলা চিহ্নিতকারী হয়ে যায় এবং আপনি তার আগে সংস্করণটি পুনরুদ্ধার করতে পারেন, যেমন: একক, কেবলমাত্র, পুনর্বিবেচনা।

তারপরে, আমরা ভেবেছিলাম আমরা কেবল S3 ফাইলগুলিকে বস্তু জীবনচক্র> পরিচালনা ব্যবহার করে গ্লিসিয়ারে ব্যাকআপ করতে পারি:

তবে, মনে হচ্ছে এটি আমাদের পক্ষে কার্যকর হবে না, কারণ ফাইল বস্তুটি গ্লিসিয়ারে অনুলিপি করা হয়নি তবে> গ্লিসিয়ারে স্থানান্তরিত হয়েছে (আরও সঠিকভাবে মনে হয় এটি একটি অবজেক্ট বৈশিষ্ট্য যা পরিবর্তিত হয়েছে, তবে> যাইহোক ...)।

হিমবাহ সত্যিই দীর্ঘমেয়াদী স্টোরেজ জন্য বোঝানো হয়, যা খুব কমই অ্যাক্সেস করা হয়। একসাথে আপনার ডেটার একটি বড় অংশ পুনরুদ্ধার করা খুব ব্যয়বহুলও হতে পারে, কারণ এটি প্রচুর ডেটা পয়েন্ট-ইন-সময় পুনরুদ্ধারের জন্য নয় (শতাংশ বুদ্ধিমান)।

পরিশেষে, আমরা ভেবেছিলাম আমরা মাসিক পূর্ণ> ব্যাকআপ হিসাবে পরিবেশন করতে প্রতি মাসে একটি নতুন বালতি তৈরি করব এবং প্রথম বালিকেটের ডেটা নতুন দিনে 1 টি অনুলিপি করব Then org / ) আমরা প্রতি> রাতে ব্যাকআপ বালতিটি সিঙ্ক্রোনাইজ করব।

এটি করবেন না, আপনার অ্যাকাউন্টে প্রতি 100 বালতি থাকতে পারে, তাই 3 বছরে আপনি আপনার বালতি ভাতার এক তৃতীয়াংশ ঠিক ব্যাকআপ নিয়ে নিয়েছেন।

সুতরাং, আমি অনুমান করি এখানে বেশ কয়েকটি প্রশ্ন রয়েছে। প্রথমত, এস 3 সংস্করণটি কখনও কখনও সংশোধিত হয়নি এমন ফাইলগুলি পুনরুদ্ধারের অনুমতি দেয়?

হ্যাঁ

এস 3 থেকে গ্লিসিয়ারে ফাইলগুলি অনুলিপি করার কোনও উপায় আছে যা আমি মিস করেছি?

আমি জানি না


ধন্যবাদ সিরেক্স, একটি স্পষ্টতা: আমরা কেবল একবারে (চলতি মাস) একটি করে ব্যাকআপ বালতি রাখি এবং গত মাসে ব্যাকআপটি গ্লিসিয়ায় সংরক্ষণ করি এবং তারপরে কিছু সাধারণ ধরে রাখার নীতিতে গ্লিসিয়ারের অনুলিপিগুলি মুছি (প্রতি মাসে 3 মাসের জন্য) ত্রৈমাসিক এক বছরের জন্য)। আপনি কি মনে করেন এটি সম্ভব, বা এই কৌশলটি আটকাচ্ছে এমন আরও কিছু AWS সীমাবদ্ধতা রয়েছে?
Fiver

হুম, আমার ধারণা এটি যুক্তিসঙ্গত। যদিও আমি ক্রোধে চেষ্টা করে দেখিনি (অথবা এই বিষয়ে হিমবাহ, আমরা সিডনি ব্যবহার করি এবং এটি দেখার সময় এটি পাওয়া যায় নি)
সিরেক্স

3

আমি এস 3 লাগাতে চাই না, কারণ এটি ধীর এবং হ্যাং হয়ে যেতে পারে এবং পুরানো স্কুল এনএফএসের মতো সম্পাদন করতে পারে। প্রয়োজন হিসাবে ঠিক উপরে / নিচে ভাল better

http://s3tools.org/s3cmd

এটির স্ক্রিপ্ট করা সহজ ... আপনার ~ / .s3cfg ফাইলটি ভুলে যাবেন না


বাহ, দেখতে সুন্দর লাগছে!
জ্যাকগল্ড

@nandoP +1 টি আমি s3cmd ব্যবহার ও রোলিং আমার নিজের চিন্তা ছিল
Fiver

1

আপনার যেমন S3FS এর দরকার হতে পারে যা আপনার এস 3 বালতিগুলি মূলত স্থানীয় ফাইল সিস্টেম হিসাবে মাউন্ট করে:

http://code.google.com/p/s3fs/wiki/FuseOverAmazon

আমি এই কাঁটাযুক্ত সংস্করণটি ব্যবহার করতে পছন্দ করি কারণ এটি অ্যামাজন এস 3 এর জন্য ওয়েব কন্ট্রোল প্যানেলে যা তৈরি করা হয়েছে একই ফোল্ডার কাঠামোটিকে ধরে রাখে:

https://github.com/tongwang/s3fs-c

তারপরে আমার কাছে কিছু শেল স্ক্রিপ্ট রয়েছে যা মূলত rsyncআমার স্থানীয় সেটআপগুলিতে ডেটা সিঙ্ক করতে ব্যবহার করে।

সাধারণভাবে, আমি দেখতে পাই যে এস 3 এফএস অ্যামাজন এস 3 বালতির মধ্যে থাকা সামগ্রীগুলি পড়ার জন্য সবচেয়ে ভাল কাজ করে। লেখার মতো সামঞ্জস্যপূর্ণ নয়। তবে এস 3 বালতিগুলির ব্যাক আপ করার উদ্দেশ্যে, এস 3 এফএস-এর টনি ওয়াং কাঁটা দুর্দান্ত কাজ করে।


1
এটি দরকারী মনে হয়। এটি ক্লায়েন্টকে ডাউনলোড না করে সরাসরি বালতির মধ্যে স্থানান্তর করে?
Fiver

সম্ভবত হ্যাঁ আমি এটি স্থানীয়ভাবে সার্ভারে মাউন্ট করতে এবং আমাদের স্থানীয় মেশিনে ব্যাকআপ নিতে ব্যবহার করি। তবে যেহেতু এটির লেখার ক্ষমতা রয়েছে তাই আমি বালতিগুলির মধ্যে ডেটা বদলানোর জন্য "এর মধ্যে যান" হিসাবে ব্যবহার করব না। মূলত কোনও মধ্যস্থতাকারী মেশিনে, একটি মাউন্ট পয়েন্টে একটি বালতি মাউন্ট করুন। তারপরে অন্য বালতিটিকে অন্য মাউন্ট পয়েন্ট হিসাবে মাউন্ট করুন। এবং তারপরে একটি আরএসএনসি করুন। তবে আমি যেমন বলেছি, পরিবর্তনের সময় / তারিখগুলি অ্যামাজন এস 3 এর সাথে অদ্ভুত হতে পারে কারণ এটি আসলে কোনও ফাইল সিস্টেম নয়। তবে পরীক্ষা নিরীক্ষা।
জ্যাকগল্ড
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.