এক বালতি বা প্রতি ব্যবহারকারী buckers একাধিক s3 ব্যবহারকারীদের

Question

বুদ্ধিমান মানুষ, এখানে নোব!

আমি ছবি / বস্তু সংগ্রহের জন্য s3 এ একটি মাল্টি-ব্যবহারকারী যন্ত্র নির্মাণের পরিকল্পনা করছি, এবং আমি s3 ব্যবহার করার পরিকল্পনা করছি। আমি পুরো সামনে শেষ পরিকল্পনা আছে কিন্তু আমি বালতি সিস্টেম সম্পর্কে একটি প্রশ্ন আছে।

আমার প্রত্যেক ব্যবহারকারীর কাছে এক বালতি থাকা উচিত, নাকি তাদের চারপাশে বিতরিত ব্যবহারকারীদের সাথে 4-5 buckets, বা আমার প্রতিটি ব্যবহারকারীর জন্য 1 বালতি থাকা উচিত?

প্রতিটি ব্যবহারকারীর গড় উদাহরণ হিসাবে প্রায় 35 গিগাবাইট সঞ্চয় করা হবে এবং আমি চাই যে ভবিষ্যতে 3,000 ব্যবহারকারীর সমতুল্য 300,000,000 এর মতো সহজে চালাতে সক্ষম হব (তাই যতটা সম্ভব মাপযোগ্য)

আমি কোন পদ্ধতিটি বেছে নেব এবং ড্রপবক্স তাদের S3 দিনের সময় কি করে?

Comments

যে কেউ এমন একটি সিস্টেম তৈরি করেছে যা এর আগে অনুরূপ শোনাচ্ছে, আমার কাছে কয়েকটি পরামর্শ আছে: প্রথমে, গড ব্যবহার করুন, ফাইল নামগুলি ব্যবহার করবেন না। আপনি আপনার S3 ফাইলের নামগুলিতে র্যান্ডম চীনা অক্ষরগুলি দেখান না চান। এই দীর্ঘ রান পরিচালনার জন্য অনেক সহজ, সহজে স্ক্রিপ্টগুলির সাথে হ্যাক করার জন্য, এবং আপনার হৃদরোগ সংরক্ষণ করবে। দ্বিতীয়ত, আপনার guids ফোল্ডারটি s3: //users-filess3.amazonaws.com/12/345/123-456-789-abc-def আপনি কিছু সময়ে ডিবাগ করার জন্য s3 কনসোলে ডুব করতে হবে , একটি ফোল্ডারে কয়েক মিলিয়ন ফাইল আছে, কনসোল অব্যবহারযোগ্য করে তোলে।

— KHobbits 4 ফেব. 2017 04:01

ওহ অবশ্যই. এটিও অসুরক্ষিত এবং ফাইলের নামগুলি বা ফাইলগুলিকে পরিষ্কার পাঠ্যগুলিতে রেখে যাওয়ার গোপনীয়তা লঙ্ঘনের কিছুটা। বালতি তথ্য যদিও জন্য ধন্যবাদ!

— BurnDownTheIgloo 4 ফেব. 2017 14:44

Answer 1

আপনি স্পষ্টভাবে প্রতিটি ব্যবহারকারী জন্য একটি বালতি প্রয়োজন হবে না। এডব্লিউএস সাপোর্টটি আপনার অ্যাকাউন্টের ডিফল্ট মোট বালতি সীমা 100 থেকে 300,000,000 এ বাড়ানোর অনুরোধ অনুমোদন করে এমন অসম্ভব বলে মনে হয় না। এছাড়াও, প্রাথমিক বালতি সৃষ্টি আক্রমনাত্মকভাবে বা রিয়েল-টাইমে করা হয় না।

অ্যামাজন S3 এর উচ্চ-উপলব্ধতা প্রকৌশলটি পেতে, স্থাপন করা, তালিকাবদ্ধ করা এবং ক্রিয়াকলাপগুলি মুছতে ফোকাস করা হয়। কেননা কেন্দ্রীভূত, গ্লোবাল রিসোর্স স্পেসের বিরুদ্ধে বালতি ক্রিয়াকলাপগুলি কাজ করে, আপনার অ্যাপ্লিকেশনটির উচ্চ-উপলভ্যতা কোড পাথের বাকেটগুলি তৈরি বা মুছতে উপযুক্ত নয়। আপনি কম চালানোর জন্য পৃথক পৃথকীকরণ বা সেটআপ রুটিনতে buckets তৈরি বা মুছতে ভালো।

http://docs.aws.amazon.com/AmazonS3/latest/dev/BucketRestrictions.html

আপনার অ্যাপ্লিকেশনটি ডিজাইন করুন যাতে আপনি কোন বালতি বা কয়েকটি ব্যবহার করেন কিনা তা কোন ব্যাপার না। কিভাবে? প্রতিটি ব্যবহারকারীর জন্য, bucket_id সংরক্ষণ করুন যেখানে সেই ব্যবহারকারীর ডেটা সংরক্ষণ করা হয়। তারপরে bucket_id 1 এ সকলের সাথে শুরু করুন এবং তারপরে নতুন ব্যবহারকারীদের নতুন বালতিতে যুক্ত করার জন্য যদি আপনার প্রয়োজন হয় ... অথবা যদি আপনি কিছু ব্যবহারকারীকে বিভিন্ন বালতিতে স্থানান্তরিত করার সিদ্ধান্ত নেন ... অথবা যদি আপনি ব্যবহারকারীদের স্থির করার সিদ্ধান্ত নেন, ব্যবহারকারীর আদর্শ অবস্থানে কাছাকাছি একটি বালতি মধ্যে স্টোরেজ।

S3 স্বয়ংক্রিয়ভাবে আপনার ট্রাফিক চাহিদা মেটাতে তার ক্ষমতা স্কেল হবে। আপনি আপনার অবজেক্টের পাথগুলি ডিজাইন করে সেই প্রক্রিয়াটিকে আরও সহজ করতে পারেন যাতে কীটির বাম দিকের কাছে বস্তুর কীগুলির অকার্যকর কার্যভার থাকে।

S3 ইন্ডেক্স পার্টিশনগুলি বিভাজন করে তার ক্ষমতাকে স্কেল করে, উদাহরণস্বরূপ, প্রতিটি বস্তুকে আপলোডের তারিখ দিয়ে শুরু হওয়া একটি পথটি সত্যিই খারাপ ধারণা হতে পারে, কারণ আপনার বালতি সূচকটি একটি ছোট অংশে ভারী আপলোড সহ একটি গরম স্পট বিকাশ করে। keypace।

দেখ http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html

একই কারণে, একটি অঞ্চলের মধ্যে আপনার buckets lexically sequential নাম দিতে না।

---

কি ড্রপবক্স হতে পারে সম্ভবত প্রাসঙ্গিক নয়।