কীভাবে এস 3 টিতে 10,000 টি ফাইল তৈরি করা যায়

Question 1

আমার কাছে বালতিতে 10,000 টি ফাইল রয়েছে 10,000 এগুলিকে আপলোড করার এবং এখুনি তাদের জনসাধারণ করার কোনও উপায় নেই বলে মনে হচ্ছে। সুতরাং আমি এগুলি সমস্ত আপলোড করেছি, তারা ব্যক্তিগত and এবং এগুলি সকলকে আমার প্রকাশ করা দরকার।

আমি আউস কনসোলটি চেষ্টা করেছি, এটি কেবল একটি ত্রুটি দেয় (কম ফাইলের সাথে ফোল্ডারগুলি নিয়ে কাজ করে)।

আমি ফায়ারফক্সে এস 3 ব্যবহার করার চেষ্টা করেছি, একই জিনিস।

এই সমস্ত জনসাধারণের জন্য চালানোর জন্য এমন কোনও সফ্টওয়্যার বা কোনও স্ক্রিপ্ট রয়েছে কি?

Question 2

আপনি বালতি নীতি তৈরি করতে পারেন (নীচের উদাহরণ দেখুন) যা বালতিতে থাকা সমস্ত ফাইলগুলিতে অ্যাক্সেস দেয়। বালতি নীতি AWS কনসোলের মাধ্যমে একটি বালতিতে যুক্ত করা যেতে পারে।

{
    "Id": "...",
    "Statement": [ {
        "Sid": "...",
        "Action": [
            "s3:GetObject"
        ],
        "Effect": "Allow",
        "Resource": "arn:aws:s3:::bucket/*",
        "Principal": {
            "AWS": [ "*" ]
        }
    } ]
}

অ্যামাজন দ্বারা সরবরাহিত নীতির নীতিগত জেনারেটর সরঞ্জামটিও দেখুন।

http://awspolicygen.s3.amazonaws.com/policygen.html

Question 3

আপনি যদি প্রথমবার আপলোড করছেন, আপনি ফাইলগুলি কমান্ড লাইনে আপলোড করার জন্য সর্বজনীন হতে সেট করতে পারেন:

aws s3 sync . s3://my-bucket/path --acl public-read

এডাব্লুএস কমান্ড লাইন ইন্টারফেসের সাথে হাই-লেভেল এস 3 কমান্ড ব্যবহার করার নথি হিসাবে

দুর্ভাগ্যক্রমে ফাইলগুলি আপলোড করা হলে এটি কেবল এসিএল প্রয়োগ করে। এটি (আমার পরীক্ষায়) ইতিমধ্যে আপলোড করা ফাইলগুলিতে এসিএল প্রয়োগ করে না।

আপনি যদি বিদ্যমান অবজেক্টগুলি আপডেট করতে চান তবে আপনি বালতিটি নিজের সাথে সিঙ্ক করতে সক্ষম হতেন তবে এটি কাজ বন্ধ করে দিয়েছে বলে মনে হয়।

[আর কাজ করছে না] কমান্ড লাইন থেকে এটি করা যেতে পারে:

aws s3 sync s3://my-bucket/path s3://my-bucket/path --acl public-read

(সুতরাং এটি আর প্রশ্নের উত্তর দেয় না, তবে রেফারেন্সের জন্য উত্তরটি রেখে দেয় কারণ এটি কাজ করত))

Question 4

আমাকে কয়েক লক্ষ বস্তু পরিবর্তন করতে হয়েছিল। এটি চালানোর জন্য আমি একটি ইসি 2 উদাহরণ উত্সাহিত করেছি, যার ফলে এটি সমস্ত দ্রুত হয়। আপনি aws-sdkপ্রথমে রত্নটি ইনস্টল করতে চাইবেন ।

কোডটি এখানে:

require 'rubygems'
require 'aws-sdk'


# Change this stuff.
AWS.config({
    :access_key_id => 'YOURS_HERE',
    :secret_access_key => 'YOURS_HERE',
})
bucket_name = 'YOUR_BUCKET_NAME'


s3 = AWS::S3.new()
bucket = s3.buckets[bucket_name]
bucket.objects.each do |object|
    puts object.key
    object.acl = :public_read
end

Question 5

আমার একই সমস্যা ছিল, @ ডানিয়েলভ্যানফ্যাঞ্জের সমাধান পুরানো, এসডিকে নতুন সংস্করণ শেষ হওয়ার কারণে।

কোড স্নিপেট যোগ করা যা আমার জন্য এখনই এডাব্লুএস রুবি এসডিকে দিয়ে কাজ করে:

require 'aws-sdk'

Aws.config.update({
  region: 'REGION_CODE_HERE',
  credentials: Aws::Credentials.new(
    'ACCESS_KEY_ID_HERE',
    'SECRET_ACCESS_KEY_HERE'
  )
})
bucket_name = 'BUCKET_NAME_HERE'

s3 = Aws::S3::Resource.new
s3.bucket(bucket_name).objects.each do |object|
  puts object.key
  object.acl.put({ acl: 'public-read' })
end

Question 6

নতুন এস 3 কনসোলের সাহায্যে কেবল এটি যুক্ত করতে চেয়েছিলেন আপনি নিজের ফোল্ডার (গুলি) নির্বাচন Make publicকরতে পারেন এবং ফোল্ডারগুলির অভ্যন্তরে সমস্ত ফাইলগুলি সর্বজনীন করতে নির্বাচন করতে পারেন। এটি ব্যাকগ্রাউন্ড টাস্ক হিসাবে কাজ করে তাই এতে যে কোনও সংখ্যক ফাইল হ্যান্ডল হওয়া উচিত।

Question 7

ক্লাইট ব্যবহার:

aws s3 ls s3://bucket-name --recursive > all_files.txt && grep .jpg all_files.txt > files.txt && cat files.txt | awk '{cmd="aws s3api put-object-acl --acl public-read --bucket bucket-name --key "$4;system(cmd)}'

Question 8

এটির আমার নিজের দরকার থাকলেও ফাইলগুলির সংখ্যা সিরিয়ালে ধীর হওয়ার জন্য ওয়ে করে তোলে। তাই আমি লিখেছি একটি স্ক্রিপ্ট এটি উপর আছে iron.io এর IronWorker সেবা। তাদের প্রতি মাসে 500 ফ্রি গণনা ঘন্টা এমনকি বড় বালতিগুলি হ্যান্ডেল করার জন্য যথেষ্ট (এবং যদি আপনি এর চেয়ে বেশি মূল্য নির্ধারণ করেন তবে)। যেহেতু এটি সমান্তরালভাবে করা হয় এটি আমার কাছে থাকা 32,000 বস্তুর জন্য এক মিনিটেরও কম সময়ে সম্পূর্ণ হয় tes এছাড়াও আমি বিশ্বাস করি যে তাদের সার্ভারগুলি ইসি 2 তে চলে তাই কাজ এবং এস 3 এর মধ্যে যোগাযোগটি দ্রুত হয়।

আমার স্ক্রিপ্টটি তাদের নিজস্ব প্রয়োজনের জন্য ব্যবহার করতে যে কেউ স্বাগত।

Question 9

বিকেটএক্সপ্লোরার এ দেখুন এটি বাল্ক অপারেশনগুলি খুব ভাল পরিচালনা করে এবং এটি একটি শক্ত এস 3 ক্লায়েন্ট।

Question 10

আপনি ভাববেন যে তারা জনসাধারণকে ডিফল্ট আচরণটি পড়তে বাধ্য করবে, তাই না? :) একটি সি # সমাধান থেকে এস 3 এর সাথে ইন্টারফেসে একটি কাস্টম এপিআই তৈরি করার সময় আমি আপনার হতাশাকে ভাগ করেছি। এখানে একটি স্নিপেট যা একটি S3 অবজেক্ট আপলোড করতে এবং এটি ডিফল্টরূপে পাবলিক-পঠিত অ্যাক্সেসে সেট করে lis

public void Put(string bucketName, string id, byte[] bytes, string contentType, S3ACLType acl) {
     string uri = String.Format("https://{0}/{1}", BASE_SERVICE_URL, bucketName.ToLower());
     DreamMessage msg = DreamMessage.Ok(MimeType.BINARY, bytes);
     msg.Headers[DreamHeaders.CONTENT_TYPE] = contentType;
     msg.Headers[DreamHeaders.EXPECT] = "100-continue";
     msg.Headers[AWS_ACL_HEADER] = ToACLString(acl);
     try {
        Plug s3Client = Plug.New(uri).WithPreHandler(S3AuthenticationHeader);
        s3Client.At(id).Put(msg);
     } catch (Exception ex) {
        throw new ApplicationException(String.Format("S3 upload error: {0}", ex.Message));
     }
}

টোএসিএলস্ট্রিং (এসিএল) ফাংশনটি সর্বজনীন-পঠিত ফেরত দেয় , BASE_SERVICE_URL হল s3.amazonaws.com এবং AWS_ACL_HEADER ধ্রুবকটি এক্স-এমজেজ-এসিএল । প্লাগ এবং ড্রিমমেজেজ স্টাফগুলি সম্ভবত আপনার কাছে অদ্ভুত লাগবে কারণ আমরা আমাদের HTTP যোগাযোগগুলিকে আরও সহজ করার জন্য স্বপ্নের কাঠামোটি ব্যবহার করছি। মূলত আমরা নির্দিষ্ট শিরোলেখগুলির সাথে একটি HTTP PUT করছি এবং প্রতি বিশেষ উল্লেখের জন্য একটি বিশেষ শিরোনাম স্বাক্ষর ( অনুমোদনের শিরোনাম কীভাবে তৈরি করা যায় তার উদাহরণগুলির জন্য এই ডাবস ডক্সে এই পৃষ্ঠাটি দেখুন )।

বিদ্যমান 1000 অবজেক্ট এসিএল পরিবর্তন করতে আপনি স্ক্রিপ্ট লিখতে পারেন তবে তাত্ক্ষণিক সমস্যা সমাধানের জন্য জিইউআই সরঞ্জামটি ব্যবহার করা আরও সহজ। আমি এখন অবধি সবচেয়ে ভাল ব্যবহার করেছি এস 3 এর ক্লাউডবেরি নামক একটি সংস্থা থেকে ; দেখে মনে হচ্ছে তাদের কমপক্ষে একটি পণ্যের জন্য তারা নিখরচায় 15 দিনের পরীক্ষা আছে। আমি কেবল যাচাই করেছি যে এটি আপনাকে একবারে একাধিক অবজেক্ট নির্বাচন করতে এবং প্রসঙ্গ মেনুটির মাধ্যমে তাদের এসিএল সর্বজনীনতে সেট করতে দেয়। মেঘ উপভোগ করুন!