অ্যামাজন এস 3 বালতি সহ জিওসরবার

Question

আমার ভার্চুয়াল দৃষ্টান্তে আমার অ্যাপাচি জিওসরবার চালাচ্ছে, এবং আমি ভাবছি জিওসবারের ডেটা ডিরেক্টরিটি একটি অ্যামাজন এস 3 বালতিতে নির্দেশ করতে পারে কিনা। এটা কি সম্ভব? এটি কীভাবে পারফরম্যান্সকে প্রভাবিত করে?

যদি জি 3 জিওসিভারের ডেটা ডিরেক্টরির জন্য এস 3 হ'ল একটি দুর্বল সেটআপ আছে তবে আমার জিওসভার ডেটা ডিরেক্টরিতে প্রচুর পরিমাণে ডেটা যুক্ত করার জন্য কোনও পরামর্শ আছে? ডেটা ডিরেক্টরি সম্ভবত জিবি এর 100 এর দশকে পৌঁছতে পারে। আমি কি একটি বড় হার্ড ড্রাইভ সহ কেবল একটি সার্ভার পেয়েছি, বা একটি অ্যামাজন এস 3 বালতির মতো আরও একটি স্কেলযোগ্য সমাধানে সংযোগ স্থাপন করব?

Comments

তথ্য কি? আমি চিত্রকল্প অনুমান করি, তবে আপনি কি এটি টাইল করেছেন? রাস্টার জয়ের জন্য সম্ভবত কিছু ডাটাবেস :-)

— ব্র্যাডহার্ডস

আপনার ডেটা যদি রাস্টার হয় এবং ইন্টারেক্টিভ ডাব্লুএমএস এস 3 এর জন্য পড়তে এবং প্রক্রিয়া করা হয় তবে এটি ধীর গতিতে হতে পারে। অতীত অভিজ্ঞতা থেকে ইঙ্গিতগুলি, আপনি glusterfs + EBS দেখতে চাইতে পারেন।

— সিমোজো

জিও সার্ভারের অনুভূমিকভাবে স্থিতিস্থাপকভাবে স্কেলেবল বহরের জন্য শেয়ারড ডেটা বালতি হিসাবে এস 3 ব্যবহার করার আগ্রহ আমার আছে। আমি বর্তমানে এটির জন্য একটি ফাইল সিস্টেম মাউন্ট করতে এস 3 ফিউজ ব্যবহার তদন্ত করছি। এই ক্ষেত্রে অন্য কোনও সাফল্য / ব্যর্থতা শুনে শুনে দুর্দান্ত লাগবে।

— বিটজুনকি

এই বিষয়ে কোন অভিজ্ঞতা?

— জিওজেক 25'15

Answer 1

একটি এস 3 বালতিতে "সরাসরি" নির্দেশ করা (যেমন s3fs ব্যবহার করে) "সম্ভবত" একটি খারাপ ধারণা। উদাহরণস্বরূপ /programming/

জিও সার্ভার দ্বারা অ্যাক্সেসের জন্য ডেটা সঞ্চয় করার জন্য ইবিএস প্রায় অবশ্যই সঠিক জায়গা।

100 জিবি ইবিএস স্ট্যান্ডার্ডগুলি দ্বারা খুব পরিচালিত। (সর্বাধিক পরিমাণের আকার 16 টেরাবাইট!)

আমি আসল ডেটা এস 3-এ সঞ্চয় করতে এবং তারপরে প্রয়োজন অনুসারে আপনার দৃষ্টান্তগুলিতে প্রতিলিপি করার পরামর্শ দিতে পারি, যাতে একটি স্থানীয় কমান্ডের সাহায্যে আপনার স্থানীয় উদাহরণে এস 3 ফোল্ডারের সামগ্রী সিঙ্ক করতে AWS CLI সরঞ্জাম ব্যবহার করে। http://docs.aws.amazon.com/cli/latest/references/s3/sync.html )। এস 3 তাত্ক্ষণিকভাবে অপ্রয়োজনীয়, তবে আমি দেখতে পেয়েছি যে এটি নমনীয়তা এবং সুবিধার যোগ করে।

পার্শ্ব দ্রষ্টব্য: যদি আপনি যে কোনও উপায়ে বৃহত মাল্টি-কোর উদাহরণগুলি ব্যবহার করার পরিকল্পনা করছেন এবং আপনি জানেন যে ডেটা ভলিউমটি অপ্রত্যাশিতভাবে বাড়তে পারে না এবং আপনি নিজের দৃষ্টান্তগুলি স্বয়ংক্রিয়ভাবে তৈরি করতে সক্ষম হন তবে আপনি প্রকৃতপক্ষে উদাহরণস্বরূপ স্টোরেজ ("সাময়িক স্টোরেজ") ব্যবহার করে বিবেচনা করতে পারেন ) কারণ আপনার আসল ডেটা এস 3 এ নিরাপদে থাকবে, আপনি ইবিএস ফি বাঁচাতে পারবেন এবং উদাহরণস্বরূপ স্টোরেজ কিছু ক্ষেত্রে ইবিএসের তুলনায় কিছুটা দ্রুত হতে পারে।

Comments

এটি একটি বিস্তৃত উত্তর। : অপার এখানে একটু তথ্য আছে boundlessgeo.com/2013/04/...

— অ্যালেক্স Leith

আপনি পাইকিজিআইএস থেকে অ্যাডাব্লুএস কমান্ড চালু করতে কী ব্যবহার করেন? Processing.call? বোটো 3 চলমান বলে মনে হচ্ছে না। এটি অজগর 2 দিয়ে অসজিও শেলের মধ্যে চলে তবে 3 নয় ...

— লিও

Answer 2

এটি কি সম্ভব: জিওটিফ কমিউনিটি মডিউলের জন্য জিওসিভার এসএস ব্যবহার করে কোনও জিওটিআইএফএফ ফরম্যাটের সাথে উপযোগী এমন ডেটার জন্য এটি সহজেই অর্জন করা যেতে পারে - https://docs.geoserver.org/latest/en/user/commune/s3-geotiff/index .html

এটি কীভাবে পারফরম্যান্সকে প্রভাবিত করে? এটির উত্তর দেওয়া কঠিন, তবে আমি দামের একটি ভগ্নাংশে প্রায় EBS / EFS স্টোরেজের সমান পারফরম্যান্স পেয়েছি।