অ্যামাজন এস 3 এর সাথে আরএসওয়াইএনসি ব্যবহার করছে [বন্ধ]

Question

আমি আমাদের ~ 100gb সার্ভার চিত্রগুলি ব্যাক আপ করতে অ্যামাজন এস 3 ব্যবহার করতে আগ্রহী (অ্যাক্রোনিস ব্যাকআপ সরঞ্জামগুলির মাধ্যমে তৈরি)

স্পষ্টতই, প্রতি রাতে এস 3 এ আপলোড করা ব্যান্ডউইথ এবং ব্যয়ের দিক থেকে ব্যয়বহুল হবে। আমি এস 3 এর সাথে আরএসআইএনসি ব্যবহারের বিষয়ে বিবেচনা করছি এবং এস 3 সিসিঙ্ক জুড়ে এসেছি। আমি কেবল ভাবছিলাম যে এটির ব্যবহারের কোনও অভিজ্ঞতা আছে, বা অন্য কোনও উপযোগিতা আছে কিনা?

Comments

S3rsync সম্পর্কে একটি জিনিস আমি লক্ষ্য করেছি যে আপনি বর্তমানে 10 জিবি বালতি আকারের মধ্যে সীমাবদ্ধ (FAQ দেখুন)। আপনার একাধিক বালতি থাকতে পারে তবে আপনার ডেটা 10 জিবি খণ্ডে বিভক্ত করতে হবে।

— দানা

Answer 1

আমি সম্প্রতি গুগলে এই থ্রেড জুড়ে হোঁচট খেয়েছি এবং প্রশ্নটি জিজ্ঞাসা করার পর থেকে দেখে মনে হচ্ছে আড়াআড়ি কিছুটা পরিবর্তন হয়েছে। এখানে প্রস্তাবিত বেশিরভাগ সমাধান হয় হয় আর রক্ষণাবেক্ষণ করা হয় না বা বাণিজ্যিকভাবে পরিণত হয়।

ফুস এবং সেখানে অন্যান্য সমাধানগুলির কিছু নিয়ে কাজ করার পরে কিছুটা হতাশার পরে, আমি পাইথন ব্যবহার করে এস 3 এবং গুগল স্টোরেজের জন্য নিজের কমান্ড-লাইন আরএসএনসি "ক্লোন" লেখার সিদ্ধান্ত নিয়েছি।

আপনি প্রকল্পটি গিটহাবটিতে দেখতে পারেন: http://github.com/seedifferencesly/boto_rsync

আরেকটি প্রকল্প যা সম্পর্কে আমাকে সম্প্রতি সচেতন করা হয়েছিল সেটি হ'ল "নকল"। এটি আরও কিছুটা বিস্তৃত দেখায় এবং এটি এখানে পাওয়া যাবে: http : //d નકલity.nongnu.org/

আশাকরি এটা সাহায্য করবে.

হালনাগাদ

এডাব্লুএস-এর পাইথন টিম তাদের মেঘ পরিষেবার জন্য বোটো ভিত্তিক সি এল এল প্রকল্পে কঠোর পরিশ্রম করছে। অন্তর্ভুক্ত সরঞ্জামগুলির মধ্যে এস 3 এর জন্য একটি ইন্টারফেস রয়েছে যা বোটো-আরসিএনসি দ্বারা সরবরাহিত বেশিরভাগ কার্যকারিতাটির সদৃশ (এবং বিভিন্ন উপায়ে সুপারসিডস):

https://github.com/aws/aws-cli

বিশেষত, syncকমান্ডটি প্রায় একইভাবে rync হিসাবে কাজ করতে কনফিগার করা যেতে পারে:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Comments

দুর্দান্ত অবদান! ধন্যবাদ এবং আমি শীঘ্রই আপনার কোড একটি শট দেব। অজগর / জ্যাঙ্গো শেখার জন্য আপনার কি কোনও পাঠ্য আছে? চিয়ার্স

— আইএনএলবিসি

আপনার প্রোগ্রামটি এস 3 সিএমডি এবং এস 3 সিঙ্কের সাথে তুলনা করে কী সুবিধা / পার্থক্য রয়েছে?

— জেমস ম্যাকমাহন

@ জেমসম্যাকমাহন এস 3 সিএমডি / এস 3 সিস্ক এস 3 এর জন্য আরও পূর্ণ বৈশিষ্ট্যযুক্ত সি এল এল (বালতি, তালিকার বিষয়বস্তুগুলি পরিচালনা করুন), যখন বোটো-আরএসএনসিআরএসসিএনকে নকল করার কঠোর প্রচেষ্টা।

— শেঠ

একটি s3fs ফিউজ আছে: github.com/s3fs-fuse/s3fs-fuse যা বেশ দুর্দান্ত কাজ করে এবং rsync এর সাথে মিলিত হতে পারে তবে আমি কতটা দক্ষতার সাথে নিশ্চিত নই।

— স্ট্যানিস্লাভ

আপনি যদি ব্যাখ্যা করতে পারেন যে কীভাবে "sync কমান্ডটি প্রায় ঠিক ঠিক একইভাবে rsync এর মতো কাজ করতে কনফিগার করা যায়"।

— trusktr

Answer 2

আমি এস 3 সিএমডি এবং এস 3 সেন্সের সাথে ভাগ্যও পেয়েছি , উভয়ই বিনামূল্যে।

Comments

এস 1 সিএমডি -.- এর জন্য +1

— fnkr

এস 3 সিএমডি-তে বড় ফাইলনাম (> 300k ফাইল) নিয়ে একটি সমস্যা আছে .. এটি 100 মিলিয়ন ওয়ার্কিং মেমরির প্রতি ফাইলের 1gig খায় যে সেই সীমাবদ্ধতাটি মনে রাখার জন্য ..

— টুসি

Answer 3

আপনার অ্যাক্রোনিস চিত্রগুলি কীভাবে তৈরি হয় তার উপর নির্ভর করে, আমি নিশ্চিত নই যে কোনও ধরণের আরএসএনসি আপনাকে ব্যান্ডউইদথ বাঁচাতে পারে। অ্যাক্রোনিস চিত্রগুলি একক ফাইল (গুলি), সুতরাং পরিবর্তিত পরিবর্তনের ব্যাক আপ নিতে কেবল রিসাইকটি তাদের মধ্যে পড়তে সক্ষম হবে না। আপনি কী ধরণের সার্ভার ইমেজ তৈরি করছেন তাও নিশ্চিত নন, তবে আপনি যেহেতু 100 গিগাবাইট বলেছিলেন আমি পুরোটা ধরে নিচ্ছি? একটি বর্ধিত চিত্র রাতের প্রতিচ্ছবি আকারে ব্যাপকভাবে কেটে যাবে, এভাবে ব্যান্ডউইথকে সাশ্রয় করবে। আপনি ছবিগুলি S3 এর চেয়ে বিকল্প স্থানে যেমন টেপ মিডিয়া হিসাবে সংরক্ষণ করতে এবং সেই অফ-সাইট সংরক্ষণ করতে পারেন।

Comments

না, আরএসসিএনসি এর মতো কাজ করে না। এটি যে কোনও ফাইল টাইপের সাথে কাজ করে এবং ফাইলটির সিঙ্কিংয়ের ইন্টার্নালগুলির কোনও জ্ঞানের প্রয়োজন নেই। পরিবর্তে এটি ফাইলের অংশগুলির হ্যাশগুলির সাথে তুলনা করে এবং কেবলমাত্র সেই অংশগুলি স্থানান্তর করে যা পৃথক। en.wikedia.org/wiki/Rsync

— অ্যালান ডোনেলি

এবং ছাগের কোনওটিই মিলবে না কারণ ইমেজের অভ্যন্তরে থাকা ফাইলগুলিতে কোনও ছোট পরিবর্তনই সংকোচনের কারণে পুরো ফাইলটিকে পরিবর্তিত করবে। এমনকি সংক্ষেপণ বন্ধ হয়ে গেলেও আমি নিশ্চিত নই যে এটি ভালভাবেই সিএসএনসি হবে কারণ চিত্রের অভ্যন্তরের ফাইলগুলি ক্রম পরিবর্তন করতে পারে এবং এটি কোনও শঙ্কার সন্ধান না করে কেবল রোলিংয়ের ভিত্তিতে মেলে।

— জেমসআরয়ান

Answer 4

আমি কখনই এস 3 সিঙ্ক চেষ্টা করিনি।

আমি আমাদের অফ-সাইট ব্যাকআপের জন্য সদৃশ ব্যবহার করছি। এটি এস 3 এ ইনক্রিমেন্টাল ব্যাকআপগুলি সমর্থন করে যদিও এটি অ্যামাজন এস 3 স্টোরেজ প্রোটোকলের কারণে ব্যান্ডউইথকে সত্যই সংরক্ষণ করছে না যেখানে কোনও ফাইল পরিবর্তন আপনাকে পুরো নতুন ফাইলটি আবার আপলোড করতে বাধ্য করে। যাইহোক সদৃশতা কেবলমাত্র গত বার্ষিক ব্যাকআপ থেকে পার্থক্য আপলোড করে।

সদৃশতার সাথে আপনাকে অন্য সার্ভারের মধ্য দিয়ে যাওয়ার দরকার হবে না যেমন S3sync করে, তবুও আপনি যদি আপনার ডেটা এনক্রিপ্ট করেন তবে এটি S3sync ব্যবহার করে দেখার মতো হওয়া উচিত।

Answer 5

এস 3 এর এডাব্লুএস ইম্পোর্ট / এক্সপোর্ট নামে একটি অ্যাড-অন পরিষেবা রয়েছে যা আপনাকে আপনার প্রাথমিক 100 জিবি ডেটা সেট করে একটি ইউএসবি ড্রাইভ প্রেরণ করতে দেয় এবং তারা তাদের ডেটা সেন্টারে কিছু ব্যাকএন্ড সরঞ্জাম ব্যবহার করে এটি এস 3 ক্লাউডে লোড করবে। আপনার 100 জিবি একবার উপরে উঠে গেলে, পরিবর্তিত সমস্ত কিছু ব্যাকআপ করার জন্য আপনি প্রতি রাতে কেবল ডিফারেনশিয়াল ব্যাকআপ করতে পারেন।

সাইটটি হ'ল http://aws.amazon.com/importexport/

যদি আপনার বেশিরভাগ ডেটা মোটামুটি স্থিতিশীল হয় তবে এটি একটি ভাল বিকল্প হবে, যদি পুরো 100 জিবি ডেটা প্রতিদিন পরিবর্তিত হয় তবে এটি আপনাকে খুব বেশি সাহায্য করবে না।

Comments

আপনি কীভাবে মনে করেন যে তারা একটি 128 গিগাবাইট ফ্ল্যাশ ড্রাইভ "লোড" করে? আমি বিশ্বের বৃহত্তম ইউএসবি হাবের চিত্র, ইউএসবি সংযোগকারীগুলির সিলিং প্যাচ প্যানেল, গ্রাহক সরবরাহিত ফ্ল্যাশ ড্রাইভগুলিতে পূর্ণ 3/4, সমস্তই একক ব্লেড সার্ভারের পিছনে যাচ্ছে।

— পল

কি ইমেজ !! বাস্তবে সম্ভবত বিশ্বের সবচেয়ে বড় ইউএসবি হাব তার পিসির সাথে সংযুক্ত কোনও ডেটা সেন্টারের অন্ধকার কোণে কিছু দরিদ্র লোক :)

— বানরমাজিক

Answer 6

আপনি মিনিও ক্লায়েন্ট ওরফে "এমসি" চেষ্টা করতে পারেন । এমসি অ্যামাজন এস 3 সামঞ্জস্যপূর্ণ ক্লাউড স্টোরেজ এবং ফাইল সিস্টেমগুলির সাথে কাজ করার জন্য ন্যূনতম সরঞ্জাম সরবরাহ করে।

এমসি নিম্নলিখিত কমান্ডগুলি প্রয়োগ করে

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

আপনি নিজের অপারেশন করতে মিরর কমান্ড ব্যবহার করতে পারেন। "লোকালডির" হ'ল স্থানীয় ডিরেক্টরি এবং এস 3 [অ্যামাজন এস 3 এর জন্য উলামা] এবং এস 3-তে আপনার বালতির নাম "রিমোটডির"।

$ mc mirror localdir/ S3/remoteDir

আপনি এটির জন্য ক্রোনজও লিখতে পারেন। এছাড়াও নেটওয়ার্ক আক্রোশের ক্ষেত্রে আপনি যে কোনও সময় সেই নির্দিষ্ট সময় থেকে আপলোডটি পুনরায় শুরু করতে "এমসি সেশন" ব্যবহার করতে পারেন।

PS: আমি মিনি প্রকল্পে অবদান রাখছি এবং আপনার মতামত এবং অবদান পেতে চাই। আশা করি এটা সাহায্য করবে.

Answer 7

নতুন জঙ্গল ডিস্ক সার্ভার সংস্করণ (বিটা) আপনার পক্ষে কার্যকর হতে পারে। এটিতে ব্লক-লেভেল ডি-ডুপ্লিকেশন রয়েছে, সুতরাং আপনার অ্যাক্রোনিস চিত্রগুলিতে যদি কিছু সাধারণ থাকে তবে এটি আপনার ব্যাকআপ নেওয়ার প্রয়োজন হ্রাস করবে। বৈশিষ্ট্যগুলি সার্ভার ব্যাকআপের জন্য উপযুক্ত। প্রকাশের নোটগুলি দেখুন।

আমি দু'সপ্তাহ ধরে বিটা পরীক্ষা করে যাচ্ছি এবং জিইউআইয়ের সাথে কয়েকটি ছোট সমস্যা বাদ দিয়ে আমি নিশ্চিত যে ফাইনালের মধ্যে ঠিক হয়ে যাবে, পণ্যটি নিয়ে আমি আগ্রহী ited