কীভাবে এস 3 বালতিটি বিভিন্ন জায়গায় সরিয়ে নেওয়া যায়

20

আমরা আমাদের ওয়েবপ্যাটে কয়েক মিলিয়ন এন্ট্রি সংরক্ষণের জন্য এস 3 ব্যবহার করি, এখন আমরা পুরো জিনিসটি ইসি 2, ইইউ সার্ভারগুলিতে স্থানান্তরিত করি এবং আমরা সেই এস 3 ডেটাটি ইইউতে স্থানান্তরিত করতে চাই। তবে আমরা যে বালতিটি ব্যবহার করি তা মার্কিন যুক্তরাষ্ট্রে রয়েছে এবং পুরো বালতি সামগ্রীটি বিভিন্ন বালতিতে সরানোর কোনও সরঞ্জাম নেই বলে মনে হচ্ছে।

পরে যখন আমরা EU বালতিতে স্যুইচ করি তখন কীভাবে ডেটা সিঙ্ক্রোনাইজ করা যায় তা নিয়েও সমস্যা রয়েছে, মাইগ্রেশন চলাকালীন সময়ে যে ডেটা তৈরি করা হবে।

amazon-ec2 amazon-s3

— skrat
সূত্র

18

নতুন আধিকারিক এডাব্লুএস সি এল আই এর বেশিরভাগ কার্যকারিতা সমর্থন করে s3cmd।

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket --source-region us-west-1 --region us-west-2

— এবি
সূত্র

অঞ্চলের নামের একটি তালিকা আপনি কোথায় পাবেন?

— বার্ট

আপনি এখানে এস 3 অঞ্চলগুলি দেখতে পাবেন: ডকসস.এওএস.ম্যাজোন.com / জেনারেল / ্লেস্ট / জিআর / আরেন্ডে এইচটিএমএল#s3_region আপনি যে ইসি 2 অঞ্চলগুলি পেয়েছেন এটি প্রায় একই aws ec2 describe-regions, তবে us-east-1এটি এস 3 এর জন্য মার্কিন স্ট্যান্ডার্ড হিসাবেও পরিচিত এবং এটি historicalতিহাসিক কারণে কিছুটা আলাদা।

— এবি

5

আমার ধারণা, আপনি চালাতে পারবেন:

s3cmd --recursive cp s3://oldbucket/ s3://newbucket

এটি সরাসরি এটি অনুলিপি করা উচিত।

— আলেক্সি
সূত্র

— সি এল এলআই

3

আমি এটি করার জন্য কোনও প্যাকেজযুক্ত সমাধান সম্পর্কে জানি না, তবে এটি মূলত কেবল একটি বালতি তালিকা এবং তারপরে প্রতিটি জিনিসকে মার্কিন বালতি থেকে ইইউ বালতিতে পুট-কপি করুন। পিইউপি-অনুলিপি এপিআই "যদি-সংশোধিত-পরে" এবং "যদি-না-মিলছে" সমর্থন করে তবে আপনি এটি অনুলিপি প্রচেষ্টা ছাড়াই বারবার চালাতে পারেন: http://docs.amazonwebservices.com/AmamazS3/2006-03-01/ এপিআই / index.html? RESTObjectCOPY.html

লাইভ মাইগ্রেশনের জন্য, আমি নিম্নলিখিত পদ্ধতির পরামর্শ দেব:

Alচ্ছিক প্রথম পদক্ষেপ: আপনার যদি স্থানান্তরিত করতে প্রচুর পরিমাণে ডেটা থাকে তবে মার্কিন যুক্তরাষ্ট্রে কোনও শারীরিক ডিভাইসে ডেটার প্রথম স্ন্যাপশট ক্যাপচার করতে এডাব্লুএস আমদানি / রফতানি ব্যবহার বিবেচনা করুন এবং এটি শারীরিকভাবে ইইউতে প্রেরণ করুন। এটি আপনার সময় এবং অর্থ সাশ্রয় করতে পারে।
- উপরে বর্ণিত হিসাবে যদি-সংশোধিত-বা-না-মিলছে না ব্যবহার করে মার্কিন যুক্তরাষ্ট্র থেকে ইইউতে ডেটা মাইগ্রেট করার জন্য একটি স্ক্রিপ্ট সেট আপ করুন। বাসি মার্কিন ডেটা (একবার আপনি নীচে 5 ধাপে উঠলে) দিয়ে তাজা ইইউ ডেটা ক্লোবার না করে এটিকে যথেষ্ট স্মার্ট করুন। দুটি বালতি মোটামুটি একই অবস্থায় না আসা পর্যন্ত এটিকে অবিচ্ছিন্নভাবে চালান।
- আপনার ওয়েব অ্যাপ্লিকেশনটিকে মার্কিন যুক্তরাষ্ট্র এবং ইইউ উভয় বালিকে একই সাথে মার্কিন যুক্তরাষ্ট্রে একচেটিভাবে তথ্য পেতে অবিরত রাখুন data
- আপনার মাইগ্রেশন স্ক্রিপ্টটি চালানো চালিয়ে যান যতক্ষণ না আপনি এই বিষয়ে নিশ্চিত হন যে বালতিগুলি ঠিক একই অবস্থায় রয়েছে (বা আপনি যতটা কাছাকাছি পেতে পারেন, যথাযথ ধারাবাহিকতা দিলে)।
- ইইউ বালতি থেকে একচেটিয়াভাবে জিইটি ডেটাতে আবার ওয়েব অ্যাপ্লিকেশনটি সংশোধন করুন।
- আপনি এখন আপনার স্থানান্তর স্ক্রিপ্টটি বন্ধ করতে পারেন can
- চূড়ান্ত ধারাবাহিকতার অসঙ্গতিগুলি সন্ধান করুন এবং সেগুলি পরিষ্কার করুন।
- মার্কিন বালতিতে পুটিং ডেটা বন্ধ করতে ওয়েব অ্যাপ্লিকেশনটি সংশোধন করুন।
- মার্কিন বালতিতে সবকিছু মুছে ফেলুন।

মাইগ্রেশন চলাকালীন আপনার ইউরোপীয় ইউনিয়নের বালতিতে এস 3 হ্রাস করা রিডানডেন্সি স্টোরেজটি কম দামের হার এবং দ্রুত প্রতিক্রিয়ার সময়গুলি পেতে আপনি ব্যবহার করতে চাইতে পারেন, কারণ তথ্যটি মার্কিন ডেটা কেবলমাত্র নকল uplic

— user44700
সূত্র

1

আপনি ক্রস-অঞ্চল প্রতিলিপি সেট আপ করার বিষয়েও বিবেচনা করতে পারেন, যা আপনাকে https://aws.amazon.com/blogs/aws/new-cross-region-replication-for-amazon- অঞ্চলের মধ্যে সিঙ্ক ডেটা উভয়ই অনুলিপি করতে এবং রাখতে দেয় allows S3 /

— jareks
সূত্র

স্বাবলম্বী হতে দয়া করে আপনার পোস্টটি প্রসারিত করুন।

— হরিণ হান্টার

0

আমি এস 3 এর সাথে মোটামুটি কাজ করেছি এবং এমন কোনও সরঞ্জাম পাইনি যা এই স্থানীয়ভাবে করবে। যাইহোক, দুটি বালতি একে অপরের সাথে সিঙ্কে রাখার জন্য বেশ কয়েকটি এস 3 সিএমডি-সিঙ্ক সিঙ্ক স্ক্রিপ্টগুলি ব্যবহার করা এত কঠিন হবে না ।

— EEAA
সূত্র

হ্যাঁ, এটি কার্যকর হবে, তবে আমাদের স্থানীয়ভাবে সমস্ত কিছু ডাউনলোড করতে হবে, যখন এস 3 এপি এন্ট্রিগুলি ডাউনলোড না করে চলন্ত / অনুলিপি সমর্থন করে।

— স্ক্র্যাট