একটি অ্যামাজন এস 3 বালতি মিরর করার ব্যবহারিক উপায় কী?

Question

আমি আমার অ্যামাজন এস 3 বালতিগুলিকে আয়না করতে চাই। আমি এটি করতে চাই কারণ 1) আমি কেবল আমার সরবরাহকারীর সাথে থাকা আমার সমস্ত ডেটা চাই না; এবং 2) সফ্টওয়্যার ত্রুটি বা সুরক্ষা লঙ্ঘনের ক্ষেত্রে আমি ডেটা ব্যাক আপ করতে চাই।

আমি এস 3 সিএমডি সিঙ্ক ফাংশন সহ একটি স্থানীয় ডিস্কে আয়না করতে পারি, তবে এটি খুব বড় বালতির জন্য স্কেল করে না এবং দ্রুত ব্যাকআপ পুনরুদ্ধারের জন্য কার্যকর নয়। আমি বরং আমার ডেটাটি র‌্যাকস্পেস ক্লাউড ফাইলগুলির মতো প্রতিযোগী হিসাবে মিরর করা উচিত।

লিনাক্স বাক্সে স্বয়ংক্রিয় উপায়ে এই ধরণের মিররিংয়ের সুবিধার্থে কারও কাছে একটি সহজ এবং শক্তিশালী উপায়ে কিছু পরামর্শ আছে?

Comments

আমি কি এই ধারণাটি ঠিক করেছিলাম যে উত্তরগুলির উত্তর না দিয়েই "1) আমি আমার সমস্ত ডেটা কেবলমাত্র একটি সরবরাহকারীর সাথে বিদ্যমান চাই না", কারণ সেগুলি কেবল একই সরবরাহকারীর মধ্যে মিরর বালতি রয়েছে?

— ক্রিস

Answer 1

আপনি "সিঙ্ক" বিকল্পের সাহায্যে " এস 3 সিএমডি " ইউটিলিটিটি ব্যবহার করতে পারেন , যদিও আমি আপনার প্রশ্নে হোঁচট খেয়েছি কারণ এই সিঙ্কিং প্রক্রিয়াটি আমার সদৃশ ব্যাকআপগুলি সরিয়ে দিচ্ছে কিনা তা জানার চেষ্টা করছি।

Comments

এটি সত্যিই সেরা সমাধান যা আমি পেয়েছি s3tools.org/s3cmd-sync

— জন

Answer 2

আমার একই সমস্যা হচ্ছিল তাই আমি একটি বিশেষভাবে একটি এস 3 বালতি অন্যকে মিরর করার জন্য ডিজাইন করা একটি ছোট্ট প্রোগ্রাম বেত্রাঘাত করেছি; আমি এটিকে এস 3 এসিরমিরার বলি।

আমি প্রথমে "এস 3 সিএমডি সিঙ্ক" পদ্ধতির চেষ্টা করেছিলাম, তবে এতে আমার কয়েকশো হাজার বস্তু সম্বলিত একটি বালতি ছিল এবং "এস 3 সিএমডি সিঙ্ক" কেবল সেখানে বসে ছিল, আমার সিস্টেমটি মারা না যাওয়া পর্যন্ত আরও কিছু না করে আরও বেশি স্মৃতি গ্রহন করেছিল। আমি তত্ক্ষণাত্ চলতে, 100 একত্রে থ্রেড (কনফিগারযোগ্য) এবং সিপিইউ এবং মেমরির পরিমিত ব্যবহার করার জন্য এস 3 এস 3 এমিরর ডিজাইন করেছি। আমি যদি নিজেই তাই বলি, এটি বেশ ফ্রেইকিন 'দ্রুত।

এটিকে অ্যাপাচি লাইসেন্সের আওতায় আমি গিথুব এ উপলব্ধ করেছি। যদি আপনি এটিকে ঘূর্ণি দেওয়ার সিদ্ধান্ত নেন তবে দয়া করে আপনার মতামতটি আমাকে জানান এবং এমন কিছু আছে যা উন্নত করা যায় let

লিঙ্কটি এখানে: https://github.com/cobbzilla/s3s3mirror

ধন্যবাদ!

• জোনাথান।

Comments

আপনার কাজের জন্য ধন্যবাদ, আমি এর মধ্যে একটি ডকার কনটেইনারকে নির্বাহযোগ্য করে তৈরি

— Panagiotis Moustafellos

Answer 3

এটি করার জন্য এখন অ্যামাজনের একটি সমর্থিত সরঞ্জাম রয়েছে, দ্য আউস ক্লিপ ।

এটি স্থানীয় এবং রিমোটের মধ্যে বা দুটি এস 3 অবস্থানের মধ্যে উভয় দিকেই মিরর করতে পারে।

দুর্ভাগ্যক্রমে র্যাকস্পেসের মতো নন-এস 3 অবস্থানের জন্য এটির সরাসরি কোনও সমর্থন নেই, তবে আমি ভেবেছিলাম যে এই প্রশ্নটি খুঁজে পাওয়া কিছুদের জন্য এটি একটি দরকারী উত্তর। আমার মত, আমি এটি সন্ধানের আগে।

নির্দিষ্টভাবে,

aws s3 sync s3://some/s3/path /some/local/path

Answer 4

পরীক্ষা করে দেখুন জঙ্গল ডিস্ক সার্ভার । এটি অ্যামাজন এস 3 এবং র্যাকস্পেস ক্লাউড ফাইল উভয়ের সাথেই কাজ করে। আপনি আপনার ফাইল সিস্টেমের বিভিন্ন স্থানে এস 3 এবং সিএফ মাউন্ট করতে পারেন এবং তারপরে দুজনের মধ্যে আরএসসিএন ব্যবহার করতে পারেন।

Comments

ধন্যবাদ, তবে আমার উল্লেখ করা উচিত ছিল যে আমি একটি সমাধান খুঁজছি যা আমি একটি লিনাক্স বাক্সে ক্রোন জব হিসাবে চালাতে পারি। আমি প্রশ্ন আপডেট করেছি।

— বেন

Answer 5

আপনি s3fs ব্যবহার করে বালতিগুলি ফিউজ দিয়ে মাউন্ট করার চেষ্টা করতে পারেন । এটি হয়ে গেলে আপনি মাউন্ট পয়েন্ট থেকে আপনার স্থানীয় ডিস্কে আরএসসিএন করতে পারেন।

Comments

S3fs এর জন্য +1, আমি 5TB আকার পর্যন্ত ফাইলগুলি সমর্থন করার জন্য কেবল একটি প্যাচ প্রতিশ্রুতিবদ্ধ করেছি।

— বেন লেমসুরিয়ার

Answer 6

আপনি মিনিও সার্ভার , ওপেন সোর্স এবং এস 3 সামঞ্জস্যপূর্ণ এপিআই সেটআপ করতে পারেন । আপনি এটি আপনার বিকল্প সার্ভার হিসাবে ইসি 2 বা যে কোনও মেঘ সরবরাহকারীকে সেট আপ করতে পারেন এবং মিনিও ক্লায়েন্টদের mc mirror কমান্ডটি ব্যবহার করে পর্যায়ক্রমে এস 3 এর মিরর নিতে পারেন। আপনি একই লেখার একটি সাধারণ ক্রোন স্ক্রিপ্ট স্বয়ংক্রিয় করতে পারেন।

আশা করি এটা সাহায্য করবে. দাবি অস্বীকার : আমি মিনির পক্ষে কাজ করি

Answer 7

বালতিগুলির অনলাইন সিঙ্ক্রোনাইজেশনের জন্য আপনি ক্রস-অঞ্চল প্রতিলিপি ব্যবহার করতে পারেন। এইভাবে আসল বালতির সমস্ত আপডেট স্বয়ংক্রিয়ভাবে অন্য অঞ্চলে এস 3 বালতিতে সিঙ্ক্রোনাইজ হবে: https://docs.aws.amazon.com/AmazonS3/latest/dev/crr.html

মনে রাখবেন যে এটির জন্য বালতিটির জন্য সংস্করণ সক্ষম করা দরকার তাই আপনি যদি বালতিগুলিতে অবজেক্টের আপডেট / মুছতে বেশি করেন তবে আপনি পুরানো বস্তুগুলি মুছতে জীবনচক্র নীতি সক্ষম করতে চাইবেন।

Comments

এটি আমরা ব্যবহার করতে বেছে নিয়েছি তবে নোট করুন যে প্রতিলিপিটি মিররিংয়ের মতো নয়। বড় পার্থক্য হ'ল মুছে ফেলা উত্স এবং গন্তব্যের মধ্যে প্রচার করা হয় না (গন্তব্যগুলি ফাইলগুলি পরিবর্তন করে যে এটি পরিবর্তন করবে, তবে সেগুলি কখনও সরাবে না বলে মনে হয়)।

— স্কট গার্টনার