এস 3 বালতিগুলির মধ্যে ফাইলগুলি সরানোর সর্বোত্তম উপায়?

Question 1

আমি প্রতিদিন একটি প্রোডাকশন বালতি থেকে কিছু ডেভলপমেন্ট বালতিতে অনুলিপি করতে চাই।

উদাহরণস্বরূপ: প্রোডাকশনবকেট / ফিড / ফিডনাম / তারিখ বিকাশবুকিট / ফিড / ফিডনাম / তারিখে অনুলিপি করুন

যে ফাইলগুলি আমি চাই সেগুলি ফোল্ডারের কাঠামোর মধ্যে এত গভীর, প্রতিটি ফোল্ডারে গিয়ে কপি / পেস্ট করা খুব সময়সাপেক্ষ।

আমি প্রতিটি বালতিতে ড্রাইভ মাউন্ট করে এবং একটি উইন্ডোজ ব্যাচের স্ক্রিপ্ট লেখার সাথে ঘুরেছি, তবে এটি খুব ধীর এবং এটি অকারণে সমস্ত ফাইল / ফোল্ডারগুলি স্থানীয় সার্ভারে ডাউনলোড করে আবার ব্যাক আপ করে।

Question 2

হালনাগাদ

অ্যালবার্জ (+1) দ্বারা নির্দেশিত হিসাবে , আজকাল দুর্দান্ত এডাব্লুএস কমান্ড লাইন ইন্টারফেস (প্রায়) সমস্ত জিনিস এডাব্লুএসের সাথে কথোপকথনের জন্য সর্বাধিক বহুমুখী দৃষ্টিভঙ্গি সরবরাহ করে - এর মধ্যে বেশিরভাগ পরিষেবাদির এপিআইগুলিকে অন্তর্ভুক্ত করে এবং এটি আপনার সাথে ডিল করার জন্য উচ্চ স্তরের এস 3 কমান্ডগুলিও দেখায় বিশেষত কেস ব্যবহার করুন, এস 3 এর জন্য এডাব্লুএস সিএলআই রেফারেন্সটি দেখুন :

সিঙ্ক - ডিরেক্টরি এবং এস 3 উপসর্গ সিঙ্ক করে । আপনার ব্যবহার কেস আওতায় পড়ে উদাহরণ 2 (আরও জরিমানা ব্যবহার গ্রেনেড --exclude, --includeএবং উপসর্গ ইত্যাদি হ্যান্ডলিং পাওয়া যায়):
নিম্নলিখিত সিঙ্ক কমান্ডটি নির্দিষ্ট উপসর্গ এবং বালতির অধীনে বস্তুগুলিকে অন্য নির্দিষ্ট উপসর্গ এবং বাল্টির অধীনে এস 3 বস্তু অনুলিপি করে সিঙ্ক করে। [...]
```
aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
```

সম্পূর্ণতার জন্য, আমি উল্লেখ করব যে নিম্ন স্তরের এস 3 কমান্ডগুলি এখনও এস 3 এপি সাব কমান্ডের মাধ্যমে পাওয়া যায় , যা শেষ পর্যন্ত উচ্চতর স্তরের কার্যকারিতা গ্রহণের আগে অ্যাডাব্লুএস সি এল আই- তে কোনও এসডিকে ভিত্তিক সমাধানটি সরাসরি অনুবাদ করতে দেয়।

প্রাথমিক উত্তর

এস 3 বালতিগুলির মধ্যে ফাইলগুলি মুভিং করা PUT অবজেক্ট - অনুলিপি এপিআইয়ের মাধ্যমে অর্জন করা যেতে পারে (এর পরে ডিলিট অবজেক্ট ):

পুট অপারেশনের এই বাস্তবায়নটি এমন একটি সামগ্রীর অনুলিপি তৈরি করে যা ইতিমধ্যে অ্যামাজন এস 3 এ সঞ্চিত রয়েছে। একটি পুট অনুলিপি অপারেশন হ'ল জিইটি সম্পাদন করা এবং তারপরে একটি পুট করা। অনুরোধ শিরোনাম, এক্স-এমজেজ-অনুলিপি-উত্স যুক্ত করা, পুট অপারেশনটি গন্তব্য বালতিতে উত্সটির অনুলিপিটি তৈরি করে। সূত্র

সমস্ত বিদ্যমান এডাব্লুএস এসডিকে উপলক্ষে উপলব্ধ নমুনা রয়েছে, একটি একক অপারেশনে অবজেক্টগুলি অনুলিপি করা দেখুন । স্বাভাবিকভাবেই, এখানে একটি স্ক্রিপ্টিং ভিত্তিক সমাধান হ'ল সুস্পষ্ট প্রথম পছন্দ, সুতরাং রুবির জন্য অ্যাডাব্লুএস এসডিকে ব্যবহার করে কোনও বিষয় অনুলিপি করা একটি ভাল সূচনা পয়েন্ট হতে পারে; আপনি যদি এর পরিবর্তে পাইথন পছন্দ করেন তবে বোটোর মাধ্যমেও এটি অর্জন করা সম্ভব , copy_key()বোটোর এস 3 এপিআই ডকুমেন্টেশনের মধ্যে পদ্ধতিটি দেখুন ।

PUT Objectকেবল ফাইলগুলি অনুলিপি করে, তাই আপনাকে DELETE Objectসফল কপি অপারেশনের পরেও একটি ফাইল স্পষ্টভাবে মুছে ফেলতে হবে, তবে বালতি এবং ফাইলের নাম পরিচালনা করার সামগ্রিক স্ক্রিপ্টটি ঠিক তখনই অন্য কয়েকটি লাইন হবে (স্বতন্ত্র উদাহরণগুলিও রয়েছে) , উদাহরণস্বরূপ প্রতি অনুরোধে একটি অবজেক্ট মুছে ফেলা ) দেখুন।

Question 3

নতুন আধিকারিক এডাব্লুএস সি এল আই এর বেশিরভাগ কার্যকারিতা সমর্থন করে s3cmd। আমি আগে s3cmdবা রুবি এডাব্লুএস এসডিকে ব্যবহার করে আসছি এই জাতীয় জিনিসগুলি করার জন্য, তবে সরকারী সিএলআই এটির জন্য দুর্দান্ত কাজ করে।

http://docs.aws.amazon.com/cli/latest/references/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

Question 4

এক বালতি থেকে অন্য বালিশে বা একই বালতিতে স্থানান্তর / অনুলিপি করতে আমি এস 3 সিএমডি সরঞ্জাম ব্যবহার করি এবং সূক্ষ্মভাবে কাজ করি। এই ক্ষেত্রে:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

Question 5

আমি এর জন্য প্রয়োজনীয় কপিগুলিকে সমান্তরাল করার জন্য আমার নিজস্ব কাস্টম টুলটি লেখার জন্য দিন কাটিয়েছি, তবে তারপরে আমি কীভাবে বৃহত্তর সমান্তরালতার সাথে বালতিগুলিকে সিঙ্ক্রোনাইজ করতে AWS S3 সিআইএল সিঙ্ক কমান্ডটি পেতে পারি তার ডকুমেন্টেশন জুড়ে ছুটে এসেছি । নিম্নলিখিত কমান্ডগুলি AWS CLI কে কাজ সম্পাদন করতে 1,000 থ্রেড (প্রতিটি ছোট ফাইল বা একাধিক অংশের অনুলিপিটির একাংশ) ব্যবহার করতে এবং 100,000 কাজ দেখার জন্য বলবে:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

এগুলি চালানোর পরে, আপনি নিম্নোক্তভাবে সাধারণ সিঙ্ক কমান্ডটি ব্যবহার করতে পারেন:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

একটি এম 4.এক্সলেজ মেশিনে (এডাব্লুএস - 4 কোর, 16 গিগাবাইট র‌্যামে) সিঙ্ক / কপির গতি প্রায় 9.5MiB / s থেকে 700 + MiB / s এ চলে গেছে, এর গতি বৃদ্ধি পেয়েছে ডিফল্ট কনফিগারেশন 70x।

আপডেট: দ্রষ্টব্য যে S3CMD বছরের পর বছর ধরে আপডেট করা হয়েছে এবং আপনি যখন প্রচুর ছোট ফাইলগুলির সাথে কাজ করছেন তখন এই পরিবর্তনগুলি কেবল কার্যকর হয়। এছাড়াও নোট করুন যে উইন্ডোজে S3CMD (কেবল উইন্ডোজে) সামগ্রিক থ্রুপুটটিতে মারাত্মকভাবে সীমাবদ্ধ এবং আপনি কোন উদাহরণের আকার বা সেটিংস ব্যবহার করুন তা বিবেচনা না করেই প্রক্রিয়া প্রতি কেবল 3 জিবিপিএস অর্জন করতে পারে। অন্যান্য সিস্টেমগুলির মতো এস 5 সিএমডি তেও একই সমস্যা রয়েছে। আমি এস 3 টিমের সাথে এটি সম্পর্কে কথা বলেছি এবং তারা এটি সন্ধান করছে।

Question 6

.NET অনুরোধ হিসাবে উদাহরণ:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

ক্লায়েন্ট যেমন কিছু হচ্ছে

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

আরও ভাল উপায় হতে পারে, তবে কিছু ফাইল স্থানান্তরিত করার জন্য এটি আমি কিছু দ্রুত কোড লিখেছি।

Question 7

যদি আপনার এডাব্লুএসের মধ্যে একটি ইউনিক্স হোস্ট থাকে তবে s3tools.org থেকে s3cmd ব্যবহার করুন। অনুমতিগুলি সেট আপ করুন যাতে আপনার কীটি আপনার বিকাশের বালতিতে পড়ার অ্যাক্সেস হিসাবে থাকে। তারপরে চালান:

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

Question 8

আমার জন্য নিম্নলিখিত কমান্ডটি সবেমাত্র কাজ করেছে:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Question 9

এটি সম্পাদন করার জন্য এখানে একটি রুবি শ্রেণি রয়েছে: https://gist.github.com/4080793

ব্যবহারের উদাহরণ:

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

Question 10

প্রকৃতপক্ষে আমি সম্প্রতি এডাব্লুএস এস 3 ইন্টারফেসে কপি + পেস্ট ক্রিয়াকলাপটি ব্যবহার করি। আপনি যে ফাইলগুলি অনুলিপি করতে চান সেগুলিতে কেবল নেভিগেট করুন, "ক্রিয়াগুলি" -> "অনুলিপি করুন" এ ক্লিক করুন তারপরে গন্তব্য বালতিতে নেভিগেট করুন এবং "ক্রিয়াগুলি" -> "আটকান"

এটি ফাইলগুলি বেশ দ্রুত স্থানান্তরিত করে এবং এটি একটি কম সংশ্লেষিত সমাধানের মতো বলে মনে হয় যার কোনও প্রোগ্রামিংয়ের প্রয়োজন হয় না বা এর মতো শীর্ষ সমাধানগুলিও।

Question 11

আমরা আমাদের সংক্ষিপ্তসার ETL কাজ সঙ্গে ঠিক এই সমস্যা Snowplow যাতে আমরা আমাদের সমান্তরাল ফাইল কপি কোড (রুবি, উপরে নির্মিত নিষ্কাশিত, কুয়াশা নিজস্ব রুবি মণি, স্লুইচ নামক মধ্যে):

https://github.com/snowplow/sluice

স্লুইস এস 3 ফাইল মোছা, সরানো এবং ডাউনলোড করতেও পরিচালনা করে; সমস্ত সমান্তরাল এবং স্বয়ংক্রিয় পুনরায় চেষ্টা করুন যদি কোনও অপারেশন ব্যর্থ হয় (যা এটি আশ্চর্যরকমভাবে প্রায়শই ঘটে)। আমি আশা করি এটি কার্যকর!

Question 12

আমি জানি এটি একটি পুরানো থ্রেড তবে অন্যদের জন্য যারা সেখানে পৌঁছেছেন তাদের পরামর্শ হ'ল প্রোডাকশন বালতি থেকে বিকাশে একটি বিষয়বস্তু অনুলিপি করার জন্য একটি নির্ধারিত কাজ তৈরি করা।

আপনি ব্যবহার করতে পারেন যদি আপনি ব্যবহার করেন। নেট এই নিবন্ধটি আপনাকে সাহায্য করতে পারে

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

Question 13

নতুন সংস্করণ aws2 এর জন্য।

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME