এস 3- সামঞ্জস্যপূর্ণ অবজেক্ট স্টোরেজ সিস্টেমগুলি [বন্ধ]

Question

কেউ কি প্রায় 100% অ্যামাজন এস 3 আরএসটিফুল এপিআই সুসংগত অবজেক্ট স্টোরেজ সিস্টেমটি পেরিয়ে এসেছেন?

আমি যা করছি তার পরে একটি স্তর যা কোনও (অগ্রাধিকার হিসাবে একটি পসিক্স) ফাইল সিস্টেমের শীর্ষে বসে যা অ্যামাজন এস 3 স্টাইলের RESTful এপিআই সংরক্ষণ করে ( PUT), পুনরুদ্ধার ( GET), স্ট্যাট ( HEAD) এবং মুছুন ( DELETE) মুছে ফেলেন , শালীন প্রমাণীকরণ সহ।

বাণিজ্যিক প্রকল্পগুলি / ধারণাগুলিও স্বাগত।

বিঃদ্রঃ:

আমি এ পর্যন্ত ইউক্যালিপটাস এবং কামুলাস চেষ্টা করেছি ; যার মধ্যে ইউক্যালিপটাস নিজেকে অন্ধভাবে S3- সামঞ্জস্যপূর্ণ বলে মনে করছে। প্রতিক্রিয়া এক্সএমএল নথিগুলি একেবারেই সামঞ্জস্যপূর্ণ নয় এবং কোনও কোনও এক্সএমএল নথি ছাড়াই নির্দিষ্ট জায়গায় প্যাচযুক্ত। কামুলাস প্রতিক্রিয়া নথিগুলি বেশ অনুরূপ রাখতে পরিচালিত হয়েছে, তবে মনে হয় ডেটা অখণ্ডতার কথা ভুলে গেছে!

আমি পরবর্তী অংশটি ব্যাখ্যা করতে পারি: ইউক্যালিপটাস এবং কামুলাস উভয়েরই অ্যামাজন এস 3 যে সততা যাচাইয়ের প্রস্তাব দেয় তার পক্ষে কোনও সমর্থন নেই। আপনি এস 3 এর সাথে যা করতে পারেন তা হ'ল আপনি পুট অনুরোধের সাথে একটি বেস 64 (এমডি 5 (ফাইল)) সরবরাহ করতে পারেন যা তারা সাফল্যের সাথে সাড়া দেওয়ার আগেই এস 3 দ্বারা যাচাই হয়ে যায়। ইউক্যালিপটাস এবং কামুলাস এটি সমর্থন করে না। ইউক্যালিপটাস সহ, আমরা কমপক্ষে প্রতিক্রিয়া নথিতে (এস 3- সামঞ্জস্যপূর্ণ আচরণ নয়) প্রদত্ত MD5 যাচাই করে এটির কাছাকাছি যেতে পারি। কামুলাসে, এটি সম্ভব নয় কারণ এটি কোনও কিছুর (এস 3 এর মতো) সাথে সাড়া দেয় না। এটি HEADঅনুরোধে কোনও ইটি্যাগ না দিয়ে কামুলাস আরও খারাপ করেছে ।

Answer 1

সুইফট ওপেনস্ট্যাকের অবজেক্ট স্টোরেজ ইঞ্জিন, এবং ফেব্রুয়ারী 2011-এ বেক্সার রিলিজ হিসাবে এটি একটি পরীক্ষামূলক এস 3- সামঞ্জস্যপূর্ণ মিডলওয়্যার দাবি করে। ওপেনস্ট্যাক যেহেতু অনেকটা মনোযোগ পাচ্ছে (ক্যানোনিকাল এই অক্টোবরে ইউক্যালিপটাসের তুলনায় উবুন্টুকে এটিতে স্থানান্তরিত করছে, উদাহরণস্বরূপ) এটি এক নজর দেওয়ার মতো হতে পারে।

Answer 2

শেষ পর্যন্ত আমাকে ইউক্যালিপটাস ওয়ালরাসকে নিয়ে এগিয়ে যেতে হয়েছিল। ঘটনাচক্রে আমি এটির সাথে কিছু মৌলিক সমস্যাগুলি সন্ধান করে শেষ করেছি, তাদের সকলেরই সম্ভাব্য কাজের আশপাশ ছিল।

আপনার মূল্যবান ইনপুট জন্য সবাইকে ধন্যবাদ!

Answer 3

[অস্বীকৃতি: আমি স্ক্যালিটির পক্ষে কাজ করি]

অ্যামাজন তাদের এডাব্লুএস পণ্যগুলিতে খুব সক্রিয় থাকে এবং তাদের এপিআইতে খুব ঘন ঘন সংযোজন এবং পরিবর্তন করে / উন্নতি করে। তারপরে একটি প্রায় -100% সামঞ্জস্যপূর্ণ পণ্য (বিশেষত বাণিজ্যিক পণ্যগুলিতে, সম্ভবত ওএসএস পণ্যগুলি যে কোনও পরিবর্তনের ক্ষেত্রে আরও প্রতিক্রিয়াশীল হবে) খুঁজে পাওয়া শক্ত। অনেকগুলি অবজেক্ট / ক্লাউড স্টোরেজ বিক্রেতারা কিছু সময়ের জন্য তাদের নিজস্ব প্রোটোকল নিয়ে বেড়াতে যাচ্ছিল (এটমোস, ডিডিএন এমনকি ওপেনস্ট্যাকের সুইফ্ট ..) তবে তারা বেশিরভাগই তাদের নিজস্ব প্রোটোকল এস 3 হিসাবে ব্যাপকভাবে ব্যবহৃত হওয়ার ধারণাটি ত্যাগ করেছেন। তারা সবাই (প্রায়?) একটি এস 3- সামঞ্জস্যপূর্ণ ইন্টারফেস এখন বা আগামী মাসগুলিতে ঘোষণা করছে। এটি সমস্ত শিল্পের বাস্তবের স্ট্যান্ডার্ডের পরে। কেবলমাত্র প্রতিযোগী কেবলমাত্র তার মানকৃত প্রকৃতির কারণে সিডিএমআই হতে পারে এবং এটি এসএনআইএ, একটি অলাভজনক, অ-বিক্রয়কারী সংস্থা থেকে আসে। কিন্তু এটা'

এস 3-সামঞ্জস্যপূর্ণ ইন্টারফেস যতদূর যেতে পারে সেখানে কয়েকটি বিকল্প রয়েছে যেমন আপনি মেজেওর মতো, আপনি যেগুলি উল্লেখ করেছেন (ইউক্যালিপটাস এবং কামুলাস), ওপেনস্ট্যাক (যদিও এটি এখনও বের হয় নি আমি বিশ্বাস করি)। স্ক্যালালিটি এর মধ্যে অন্য একটি।

স্ক্যালিটির এস 3 বাস্তবায়ন (যাকে আরএস 2 বলা হয় - আরইএসটি স্টোরেজ সার্ভিস) এস 3 এর খুব কাছাকাছি যে আমাদের অনুরোধগুলি / জবাবগুলি আপনি এস 3 থেকে যা পাবেন তার সাথে সামঞ্জস্য রয়েছে। এস 3 এর পরিকাঠামোর সাথে যুক্ত কিছু কার্যকারিতা সুস্পষ্ট কারণে উপস্থিত নেই (উদাহরণস্বরূপ অঞ্চল নির্বাচন)। তবে প্রয়োজনীয় কমান্ডগুলি এখানে রয়েছে: GET / PUT / DELETE একটি অবজেক্ট, বালতি তৈরি এবং তালিকাভুক্তকরণ; এবং S3 মত ঠিক প্রতিক্রিয়া।

আমি কেবল আপনার দ্বিতীয় সমস্যার উত্তর দেওয়ার জন্য যুক্ত করব, স্কালিটির পণ্য, রিং, এমন একটি সফ্টওয়্যার অবজেক্ট স্টোরেজ প্ল্যাটফর্ম যা আপনি যে রিংটিতে সঞ্চিত সমস্ত বস্তুর পটভূমি অখণ্ডতা যাচাই করে পরীক্ষা করছেন এবং সেই ডেটা অখণ্ডতা সম্পর্কিত সমস্যাগুলি সমাধান করেন। কোনও অবজেক্ট সংরক্ষণ করা মূলত একটি লেনদেনের ক্যোয়ারী, এবং একবার কোনও বস্তুকে "সাফল্যের সাথে সঞ্চিত" হিসাবে দাবি করা হয়ে গেলে, এটি চিরদিনের জন্য থাকবে, ধ্রুবক অখণ্ডতা যাচাই করা (উদাহরণস্বরূপ প্রতিটি পাঠে)।

আমি বিশদে যাব না। আমরা কীভাবে সাধারণ ডেটা ম্যানেজমেন্ট দুঃস্বপ্নগুলি থেকে স্টোরেজ অ্যাডমিনগুলি হ্রাস করি এবং তাদের ডেটা উপলব্ধ রয়েছে তা জেনে রাতে তাদের ঘুমাতে দেয় তা বুঝতে আপনি আমাদের ওয়েবসাইটে যেতে পারেন। সর্বদা. :)

সেরা, মার্ক ভিলেমেড @ মাস্তাচাঁদ

Answer 4

নিউড্রিমের সিফটিতে একটি এস 3- সামঞ্জস্যপূর্ণ ফাস্টসিগি গেটওয়ে রয়েছে যা সেফ ফাইল সিস্টেমের মতো একই অবজেক্ট স্টোরেজ সিস্টেম ব্যবহার করে। ( http://ceph.newdream.net/wiki/RADOS_Gateway ) এখনও উত্পাদন প্রস্তুত নয়, তবে নিয়মিত আপডেট করে।

আমি ওপেনস্ট্যাকের অবজেক্ট স্টোরটি আমার পরীক্ষায় আরও নির্ভরযোগ্য পেয়েছি যদিও আমি তাদের ব্যবহৃত ক্লাউডফাইস স্টোরেজ সার্ভিসের জন্য র্যাকস্পেসের নিজস্ব জাভা ক্লায়েন্টের সাথে S3 সামঞ্জস্যপূর্ণ বা সত্যিই র্যাকস্পেসের নিজস্ব জাভা ক্লায়েন্টের সাথে উপযুক্ত নয় (যদিও তাদের নিজস্ব সংস্করণটির সুইফ্ট ব্যবহার করা হয়েছে)। যদিও এস -3 এবং সুইফট সমর্থন উভয়ই আমার জন্য কাজ করেছে জ্যাকলাউডস প্রকল্প।

Answer 5

আপনি ক্লাউড ফাউন্ড্রি vBlob এও দেখতে পারেন: https://github.com/cloudfoundry/vblob

এটি একটি নোড.জেএস অ্যাপ (সিএফ ইন্টিগ্রেশনের জন্য রুবি মোড়ক সহ) যা ভিএম "দেখতে" পারে এমন কোনও ফাইল সিস্টেমের উপরে এস 3 প্রোটোকলের ন্যায্য অংশকে প্রয়োগ করে imple

Answer 6

উভয় s3ql (গনুহ জিপিএল v3 এর) এবং s3backer (গনুহ জিপিএল v2) আপনি যা খুঁজছেন তা না।

Comments

শন; স্টোরেজের সাথে ইন্টারঅ্যাক্ট করার জন্য আমি কোনও ক্লায়েন্ট লাইব্রেরি বা ক্লায়েন্টকে খুঁজছি না; সার্ভার নিজেই আরও আগ্রহী।

— কোডমেডিক

Answer 7

পুরানো / উত্তরযুক্ত প্রশ্ন, তবে https://github.com/basho/riak_cs খালি খোলা ছিল https://github.com/basho/riak_cs এ : "রিয়াক সিএস রিয়কের শীর্ষে নির্মিত একটি অবজেক্ট স্টোরেজ সিস্টেম It এটি সুবিধামত রিয়াকে বড় বড় বস্তু সংরক্ষণ করে একটি এস 3- সামঞ্জস্যপূর্ণ ইন্টারফেস উপস্থাপন করে user এটি মুটি-টেন্যান্সির বৈশিষ্ট্য যেমন ব্যবহারকারীর অ্যাকাউন্ট, প্রমাণীকরণ, অ্যাক্সেস নিয়ন্ত্রণ ব্যবস্থা এবং প্রতি অ্যাকাউন্ট ব্যবহারের প্রতিবেদন সরবরাহ করে ""

Answer 8

আমি নিশ্চিত যে উপরে আপনি অনেকগুলি অপশন পেয়েছেন এখনও আপনার ওপেনস্ট্যাক সুইফ্টটি এটির একটি ওপেনসোর্স অবজেক্ট স্টোরেজ এবং এস 3 সামঞ্জস্যপূর্ণ এপিআই সমর্থন করে check এটি র্যাকস্পেস, এইচপি ক্লাউড কোরিয়া টেলিকম এবং আরও অনেকের জন্য অবজেক্ট স্টোরেজ সলিউশন হিসাবে ব্যবহৃত হয়।

ডকুমেন্টেশন http://docs.openstack.org/developer/swift/associated_projects.html Swift3 https://github.com/fujita/swift3 সুইডফুল ওপেনস্ট্যাক সুইফ্টের জন্য, অ্যামাজন এস 3 এপিআইয়ের মাধ্যমে সুইফটে অ্যাক্সেসের অনুমতি দেয়।

আশা করি এটা সাহায্য করবে.

Answer 9

[অস্বীকৃতি: আমি ক্লাউডিয়ান এর পক্ষে কাজ করি]

ক্লাউডিয়ান হাইপারস্টোর অবজেক্ট স্টোরেজ সফ্টওয়্যারটি 100% অ্যামাজন এস 3 এপিআই উপযুক্ত। এটি ত্রুটি কোডগুলি এবং অ্যামাজন এস 3 এর সমস্ত বৈশিষ্ট্যগুলি নিচে সমস্ত এস 3 এপিআই প্রয়োগ করে।

কিছু তালিকাভুক্ত করার জন্য, ক্লাউডিয়ান হাইপারস্টোর মাল্টি পার্ট আপলোড, অবজেক্ট ভার্সনিং, এস 3 সামঞ্জস্যপূর্ণ এসিএল, এস 3 এবং গ্লিসিয়ারকে অটো-টাইয়ারিং, এস 3 ক্রস-অরিজিন রিসোর্স শেয়ারিং (সিওআরএস), এস 3 এনকোডিং-টাইপ, অবস্থান সীমাবদ্ধতা এবং আরও অনেক কিছু সমর্থন করে।

এবং হ্যাঁ ক্লাউডিয়ানের সাথে আপনি পুট অনুরোধের সাথে একটি বেস 64 (MD5 (ফাইল)) সরবরাহ করতে পারেন যা সাফল্যের সাথে সাড়া দেওয়ার আগে যাচাই হয়ে যায়।

আরও তথ্যের জন্য এই ব্লগ পোস্টটি http://www.cloudian.com/blog/?p=64 এবং ক্লাউডিয়ান ওয়েবসাইট http://www.cloudian.com/products/cloudian-hyperstore.php এ দেখুন

Answer 10

আপনি s3fs চেক আউট করেছেন ? আপনি যে এমডি 5 চেকটি চান তা বৈশিষ্ট্যযুক্ত না ( http://code.google.com/p/s3fs/issues/detail?id=37&q=md5 ) তবে আমি মনে করি এটি কার্যকর করা খুব কঠিন হবে না। লক্ষণীয় যে অবশেষে সামঞ্জস্যপূর্ণ।

Comments

পোস্টারটি যা চায় তার বিপরীত আদেশ হ'ল এস 3 এফএস। এটি একটি এস 3 বালতি থেকে একটি ফাইল সিস্টেম তৈরি করে। ওপি একটি ফাইল সিস্টেমের বাইরে একটি এস 3 বালতি তৈরি করতে চায়।

— CRb