ইডাস্টিক ফাইল সিস্টেম (ইএফএস) এডাব্লুএস এর বাইরে মাউন্ট


23

আমার এমন একটি সার্ভার রয়েছে যা AWS এর বাইরে। আমি এটিতে একটি ইএফএস ভলিউম মাউন্ট করতে সক্ষম হতে চাই, তবে এটি সম্ভব কিনা আমি নিশ্চিত নই।

সম্ভবত আপনি যদি কোনও ভিপিসি তৈরি করেন এবং আপনি ভিপিএন এর উপর একটি টানেল তৈরি করেন?

এটা সম্ভব কিনা কেউ জানে?


এটি অবশ্যই সম্ভব ... আমি কিছুক্ষণের জন্য একটি টিএলএস টানেলের বাইরে এডাব্লুএস এর বাইরে থেকে ইএফএস ব্যবহার করছি ... তবে আমার মনে হয় এমন একটি "কৌশল" রয়েছে যা এটির জন্য আপনাকে বাস্তবায়ন করতে হবে হবে। আমি নিশ্চিত করব যে আমি এটি যেভাবে করছি এটি আসলে প্রয়োজনীয় (আমি এটি স্থাপন করার পরে অনেকক্ষণ হয়ে গেছে) বা এটি ছাড়া সম্ভব কিনা, এবং নিশ্চিত হয়ে গেলে আমি একটি উত্তর পোস্ট করব।
মাইকেল - স্কেলবট

ইএফএস বলতে একাধিক ইসি 2 দৃষ্টান্তের জন্য একটি ভাগ করা ফাইল সিস্টেম বোঝায়। বাহ্যিকভাবে আপনার এস 3 ব্যবহার করা বিবেচনা করা উচিত (যা কোনও ফাইল সিস্টেমের অনুরূপ, এটি আসলেই একটি অবজেক্ট স্টোর) বা সম্ভবত একটি ইবিএস উদাহরণ সহ একটি ছোট ইসি 2 উদাহরণ। হয় সম্ভবত ইএফএসের তুলনায় সস্তা হবে - এসএসডি-তে ইবিএস ইএফএসের দাম 1/3, চৌম্বকীয় ইবিএস ইফএসের মূল্য 1/6 এবং এস 3 ইফএসের দাম 1/10 তম। আপনি ঠিক কী অর্জন করতে চাইছেন যা ইএফএসকে সেরা বিকল্প হিসাবে তৈরি করে?
টিম

আমি ভেবেছিলাম যেহেতু একে এলাস্টিক ফাইল সিস্টেম বলা হয় এটি এডাব্লুএস এর বাইরের সাথে এটি সংযোগ করা সহজ হবে। এছাড়াও - আমি যদি এডাব্লুএস এর বাইরে ফাইলগুলি ব্যাকআপ করতে চাইতাম তবে এস 3 থেকে করা অসম্ভব হলে এটি শক্ত হবে। ইএফএস থেকে আমি এটি কেবল একটি ইসি 2 ইভেন্টে মাউন্ট করতে এবং ব্যাকআপটি সম্পাদন করতে পারি। তবে যদি তাদের উভয়ের ভিপিএন প্রয়োজন হয় তবে আমার ধারণা এটি খুব সামান্য পার্থক্য নিয়েছে ...
অ্যাডাম

এস 3 সহজেই বাইরের এডাব্লুএস থেকে সহজেই অ্যাক্সেসযোগ্য হয় নকশার মাধ্যমে, ইন্টিগ্রেশন / ব্যাকআপ / সত্যিই যে কোনও কিছুর জন্য খুব সহজ - সুপার নমনীয়। EFS EC2 উদাহরণগুলির মধ্যে ভাগ করা ফাইল সিস্টেম হিসাবে ডিজাইন করা হয়েছে, সুতরাং সম্ভবত AWS এর বাইরে ব্যবহার করা আরও কঠিন হবে, সম্ভবত একটি প্রক্সি হিসাবে EC2 উদাহরণ প্রয়োজন। উভয়কেই ভিপিএন লাগবে না। অনুমান করা এবং ঝাঁপিয়ে
টিম

উত্তর:


40

গুরুত্বপূর্ণ আপডেটগুলি:

অক্টোবরে, 2018 এ, এডাব্লুএস, ইএফএসের আওতাধীন নেটওয়ার্ক প্রযুক্তির সক্ষমতা প্রসারিত করেছে যাতে এটি এখন নীচে বিশদভাবে প্রক্সি ওয়ার্কআরাউন্ডটিকে অবলম্বন না করে পরিচালিত ভিপিএন সংযোগগুলি এবং ক্রস-অঞ্চল ভিপিসি পিয়ারিংয়ের স্থানীয়ভাবে কাজ করে।

https://aws.amazon.com/about-aws/whats-new/2018/10/amazon-efs-now-supports-aws-vpn-and-inter-region-vpc-peering/

ইএফএস 2016 সালের শেষের দিকে এডাব্লুএস ডাইরেক্ট কানেক্ট সংস্থার মাধ্যমে সংযোগের জন্য সমর্থন যোগ করেছে।

https://aws.amazon.com/blogs/aws/amazon-efs-update-on-premises-access-via-direct-connect-vpc/


মন্তব্যগুলি কিছু আকর্ষণীয় বিষয় উত্থাপন করেছে, যেহেতু আমার প্রাথমিক পাঠের প্রশ্নে, আমি আপনার ইএসএসের সাথে বেশি পরিচিতি পেতে পারি।

সুতরাং, প্রথমে, কিছুটা পটভূমি:

ইলাস্টিক ফাইল সিস্টেমে "ইলাস্টিক" মূলত স্টোরেজ স্পেস এবং থ্রুপুটের স্বয়ংক্রিয় স্কেলিংকে বোঝায় - বাহ্যিক অ্যাক্সেস নমনীয়তা নয়।

আপনি যে পরিমাণ ডেটা সঞ্চয় করতে পারবেন তাতে ইএফএসের কোনও অর্থবহ সীমা রয়েছে বলে মনে হয় না। ইএফএস ভলিউমে কোনও একক ফাইলের নথিভুক্ত সর্বাধিক আকার হল 52,673,613,135,872 বাইট (52 টিআইবি) । অন্যান্য সীমাগুলির বেশিরভাগই একইভাবে উদার।

ইএফএসটি যেভাবে বিল করা হয় তাতে বিশেষভাবে "স্থিতিস্থাপক"। ইবিএস ভলিউমের ফাইল সিস্টেমগুলির থেকে পৃথক, স্থানটি ইএফএসে পূর্বনির্ধারিত নয় এবং আপনি কেবলমাত্র প্রতি ঘণ্টায় গড় ভিত্তিতে যা সঞ্চয় করেন তার জন্য অর্থ প্রদান করেন। আপনার চার্জগুলি বৃদ্ধি এবং সঙ্কুচিত হবে (তারা "স্থিতিস্থাপক") আপনি কতটা সঞ্চয় করেছেন তার উপর ভিত্তি করে। আপনি যখন ফাইলগুলি মুছবেন, আপনি এক ঘন্টার মধ্যে তারা যে জায়গা দখল করেছেন তার জন্য অর্থ প্রদান বন্ধ করুন। যদি আপনি 750 ঘন্টা (month1 মাস) এর জন্য 1 জিবি সঞ্চয় করেন এবং তারপরে এটি মুছুন, বা আপনি যদি 2 ঘন্টা 375 জিবি সঞ্চয় করেন এবং এটি মুছে ফেলেন তবে আপনার মাসিক বিলটি একই হবে ... $ 0.30। এটি অবশ্যই ইবিএসের তুলনায় একেবারেই আলাদা, যা আপনাকে মাসে। 37৫ গিগাবাইট স্টোরেজ করার জন্য happ ৩..৫০ বিল 0x00করে দেবে।

এস 3 এর স্টোরেজ প্রাইসিং মডেলটি ইএফএসের মতো একই, আপনি কোনও বস্তু মুছার সাথে সাথে স্টোরেজের জন্য বিলিং বন্ধ হয়ে যায়, এবং ইএফএসের মূল্য ~ 1/10 ডলার হয়, তবে আমি এবং অন্যরা অনেকবার উল্লেখ করেছি, এস 3 একটি নয় নথি ব্যবস্থা. S3fs- ফিউজের মতো ইউটিলিটিগুলি "প্রতিবন্ধক সেতু" সরবরাহ করার চেষ্টা করে তবে এমন কোনও কিছু যা চূড়ান্তভাবে কোনও ফাইল সিস্টেমের মতো নয় তা চিকিত্সা করার চেষ্টা করার অন্তর্নিহিত অসুবিধাগুলি রয়েছে (ওভাররাইটগুলির মধ্যে এগুলির মধ্যে সর্বনিম্ন নয় ওভাররাইটগুলির ক্ষেত্রে শেষ ধারাবাহিকতা)। সুতরাং, যদি সত্যিকারের "ফাইল সিস্টেম" আপনার প্রয়োজন হয় এবং এটি এমন কোনও অ্যাপ্লিকেশনের জন্য যেখানে অ্যাক্সেস ভাগ করে নেওয়া প্রয়োজন, বা স্টোরেজটির জন্য প্রয়োজনীয় স্থান নির্ধারণ করা কঠিন বা আপনি এটি চাহিদা অনুযায়ী স্কেল করতে চান, তবে ইএফএস কার্যকর হতে পারে।

এবং, আপনার কাছে 8.0 EiB মুক্ত স্থান থাকার সময় এটি দুর্দান্ত লাগে।

$ df -h | egrep '^Filesystem|efs'
Filesystem                                            Size  Used Avail Use% Mounted on
us-west-2a.fs-5ca1ab1e.efs.us-west-2.amazonaws.com:/  8.0E  121G  8.0E   1% /srv/efs/fs-5ca1ab1e
us-west-2a.fs-acce55ed.efs.us-west-2.amazonaws.com:/  8.0E  7.2G  8.0E   1% /srv/efs/fs-acce55ed

তবে অবশ্যই আপনার অ্যাপ্লিকেশনগুলির জন্য সবচেয়ে উপযুক্ত স্টোরেজ পরিষেবাটি ব্যবহার করা গুরুত্বপূর্ণ। প্রতিটি বিকল্পের এর বৈধ ব্যবহারের কেস রয়েছে। ইবিএস বা এস 3 এর চেয়ে সংকীর্ণ ব্যবহারের ক্ষেত্রে ইএফএস সম্ভবত এডাব্লুএস দ্বারা সরবরাহিত স্টোরেজ সমাধানগুলির মধ্যে সর্বাধিক বিশেষায়িত।


তবে আপনি কি এটি ভিপিসির বাইরে থেকে ব্যবহার করতে পারবেন?

সরকারী উত্তর হ'ল :

ভিপিসি প্রাইভেট সংযোগ ব্যবস্থা যেমন একটি ভিপিএন সংযোগ, ভিপিসি পিয়ারিং এবং এডাব্লুএস ডাইরেক্ট কানেক্টের উপর একটি ফাইল সিস্টেম মাউন্ট করা সমর্থনযোগ্য নয়।

- http://docs.aws.amazon.com/efs/latest/ug/limits.html

ইএফএস বর্তমানে কেবলমাত্র ইসি 2 লিনাক্স অ্যাক্সেসের মধ্যে সীমাবদ্ধ। সেটিও ভিসিসির মধ্যে। আরও বৈশিষ্ট্য শীঘ্রই যুক্ত করা হবে। চালু হওয়া নতুন বৈশিষ্ট্যগুলির জন্য আপনি অ্যাডাব্লুএস ঘোষণায় নজর রাখতে পারেন।

- https://forums.aws.amazon.com/thread.jspa?messageID=732749

তবে, ব্যবহারিক উত্তর হ্যাঁ , যদিও এটি একটি সরকারী সমর্থিত কনফিগারেশন নয়। এটি কার্যকর করতে, কয়েকটি বিশেষ পদক্ষেপের প্রয়োজন।

প্রতিটি ইএফএস ফাইল সিস্টেমকে আপনার ভিপিসিতে অন্তর্নিহিত আইপি ঠিকানাগুলি বরাদ্দ করা হয় ইলাস্টিক নেটওয়ার্ক ইন্টারফেস (এএনআই), সাধারণত প্রাপ্যতা অঞ্চল অনুযায়ী একটি, এবং আপনি নিশ্চিত হওয়া চাই যে কেবলমাত্র পারফরম্যান্সের কারণে নয়, প্রাপ্যতা জোনটিতে একটিটি মাউন্ট করেছেন, তবে প্রাপ্যতা অঞ্চল সীমানা জুড়ে ডেটা পরিবহনের সময় ব্যান্ডউইথ চার্জ প্রযোজ্য কারণও।

এই ENI গুলি সম্পর্কে আকর্ষণীয় বিষয় হ'ল তারা যে সাবনেটগুলি সংযুক্ত রয়েছে তার জন্য তারা রুট টেবিলগুলি ব্যবহার করে না বলে মনে হয়। সুরক্ষা গোষ্ঠী সেটিংস নির্বিশেষে (প্রতিটি ইএফএস ফাইল সিস্টেমের অ্যাক্সেস নিয়ন্ত্রণের জন্য নিজস্ব সুরক্ষা গোষ্ঠী রয়েছে) তারা ভিপিসির অভ্যন্তরে কেবলমাত্র উদাহরণগুলিতে সাড়া দিতে সক্ষম হবে বলে মনে হচ্ছে।

যেহেতু কোনও বাহ্যিক রুট অ্যাক্সেসযোগ্য নয়, তাই আমি আমার হার্ডওয়্যার ভিপিএন এর উপরে সরাসরি ইএফএসের শেষ পয়েন্টগুলি অ্যাক্সেস করতে পারি না ... তাই আমি আমার পুরানো পাল এইএপ্রক্র্সিটির দিকে ফিরে যাই, যা সত্যই (@ টিম পূর্বাভাস অনুসারে) এই কাজটি করার জন্য প্রয়োজনীয়। এটি একটি সরল কনফিগারেশন, যেহেতু ইএফএস কেবলমাত্র টিসিপি পোর্ট 2049 ব্যবহার করে।

আমি এমন একটি কনফিগারেশন যা এই জাতীয় দেখতে দেখতে একটি টি 2.এননোতে (HAProxy অত্যন্ত দক্ষ) ব্যবহার করছি:

listen fs-8d06f00d-us-east-1
    bind :2049
    mode tcp
    option tcplog
    timeout tunnel 300000 
    server fs-8d06f00d-us-east-1b us-east-1b.fs-8d06f00d.efs.us-east-1.amazonaws.com:2049 check inter 60000 fastinter 15000 downinter 5000
    server fs-8d06f00d-us-east-1c us-east-1c.fs-8d06f00d.efs.us-east-1.amazonaws.com:2049 check inter 60000 fastinter 15000 downinter 5000 backup
    server fs-8d06f00d-us-east-1d us-east-1d.fs-8d06f00d.efs.us-east-1.amazonaws.com:2049 check inter 60000 fastinter 15000 downinter 5000 backup

এই সার্ভারটি আমাদের পূর্ব -1 বিতে রয়েছে সুতরাং এটি ইউএস-পূর্ব -1 বি প্রান্তটিকে প্রাথমিক হিসাবে ব্যবহার করে, অন্য 2 টি ব্যাকআপ হিসাবে যদি 1 বি এর শেষ পয়েন্টটি কখনও স্বাস্থ্য পরীক্ষায় ব্যর্থ হয়।

আপনার ভিপিসিতে যদি আপনার ভিপিএন থাকে তবে আপনি এই প্রক্সি উদাহরণের আইপি ঠিকানাটিকে লক্ষ্য হিসাবে (সরাসরি ইএফএসের শেষ পয়েন্ট ব্যবহারের পরিবর্তে) হিসাবে ভলিউমটি মাউন্ট করতে পারেন এবং ভিসিল আপনি ভিপিসির বাইরে থেকে ইএফএস ফাইল সিস্টেমটি মাউন্ট করেছেন।

আমি এটিকে বহিরাগত উবুন্টু মেশিনগুলির পাশাপাশি সোলারিস সার্ভারগুলিতে সাফল্যের সাথে মাউন্ট করেছি (যেখানে ইএফএসগুলি সেগুলি থেকে দূরে পরিষেবাগুলি স্থানান্তরিত করার সহজ করে তাদের ক্ষয়ক্ষতি ত্বরান্বিত করার পক্ষে খুব কার্যকর প্রমাণিত হয়েছে)।

নির্দিষ্ট পরিস্থিতিতে যেমন ডাব্লুএসএসে ডেটা স্থানান্তর করা বা মাইগ্রেশন চলাকালীন নির্দিষ্ট ডেটার সমান্তরালে লিগ্যাসি এবং ক্লাউড সিস্টেম চালানো যেমন ইএফএসকে বিজয়ীর মতো মনে হয়।

অবশ্যই, উত্তরাধিকার ব্যবস্থাগুলি, উচ্চতর রাউন্ড-ট্রিপ সময় রয়েছে, ইসি 2 উদাহরণগুলির পাশাপাশি সঞ্চালন করবে না, তবে এটি প্রত্যাশা করা উচিত - পদার্থবিজ্ঞানের আইনগুলিতে ব্যতিক্রম নেই। তবুও, ইএফএস এবং HAProxy গেটওয়ে এটি বাহ্যিকভাবে কাজ করার জন্য একটি স্থিতিশীল সমাধান বলে মনে হচ্ছে।

আপনার যদি ভিপিএন না থাকে, তবে এইচপি প্রক্সি মেশিনগুলির একটি জোড়া, এডাব্লুএসে একটি এবং আপনার ডেটা সেন্টারে একটিও, ইএফএসকে টিএলএসের মাধ্যমে সুড়ঙ্গ করতে পারে, প্রতিটি পৃথক ইএফএস পরিবহনের জন্য টিএলএসে আবৃত পেডলোডের সাথে একটি পৃথক টিসিপি সংযোগ স্থাপন করে ইন্টারনেট জুড়ে সংযোগ। প্রযুক্তিগতভাবে কোনও ভিপিএন নয়, তবে সংযোগগুলির এনক্রিপ্ট করা টানেলিং। এটিও বেশ ভালো পারফর্ম করে বলে মনে হচ্ছে।


Ola সোলারিস 10 হ'ল (আশ্চর্যজনকভাবে) কিছুটা ডিফল্টরূপে ভেঙে গেছে - প্রথমদিকে, রুটের বিশেষ সুবিধা ছিল বলে মনে হয় না - রুট দ্বারা নির্মিত ইএফএস ভলিউমে ফাইলগুলি রুটের মালিকানাধীন থাকে তবে chownঅন্য ব্যবহারকারী থেকে এড করা যায় না সোলারিস মেশিন ( Operation not permitted), যদিও উবুন্টু ক্লায়েন্টদের কাছ থেকে প্রত্যাশা অনুযায়ী সবকিছু কাজ করে। সমাধানটি, সেক্ষেত্রে সোলারিস মেশিনে এনএফএস আইডি ম্যাপিং ডেমনকে পরাস্ত করা svcadm disable svc:/network/nfs/mapid:default। এই পরিষেবাটি থামানো সমস্ত কিছু প্রত্যাশার মতো কাজ করে। অতিরিক্তভাবে, /usr/sbin/quotaপ্রতিটি লগইনে অনুরোধটি অক্ষম করা দরকার /etc/profile। আরও ভাল বা আরও সঠিক সমাধান হতে পারে তবে এটি সোলারিস, সুতরাং আমি তদন্ত করার মতো উত্সাহী নই।


2
এটি একটি দুর্দান্ত উত্তর, তবে আমি বিশ্বাস করি আপনি ভুল প্রশ্ন জিজ্ঞাসা করেছেন। আমি কাঁটাচামচ দিয়ে একটি গাছ কেটে ফেলতে পারি, তবে কাজের জন্য আরও ভাল সরঞ্জাম রয়েছে।
টিম

কখনও কখনও আমি ভাবছি যে আমি এই উত্তরে অন্তর্ভুক্ত 3 মজাদার ছোট্ট ইস্টার ডিমের মধ্যে কেউ স্পট করেছে কিনা।
মাইকেল - sqlbot

4
5ca1ab1e (স্কেলেবল) এবং অ্যাক্সেস 55 এড (অ্যাক্সেসড) এবং 8 ডি06 এফ 100 ডি (ডগফুড)?
রানামোক

2
এটি "কুকুরের খাবার খেয়েছে" ... তবে যথেষ্ট পরিমাণে বন্ধ করুন, @ রুনামোক :)
মাইকেল - sqlbot

3
আমি কাউকে কাঁটাচাটি করে গাছ কেটে দেখতে দেখতে চাই
জাম রাইজার

0

20 ডিসেম্বর ২০১ of, অ্যামাজন এডাব্লুএস ডাইরেক্ট কানেক্টের ঘোষণা করেছে যা অন-প্রিমিয়ার সার্ভারগুলিতে একটি ইএফএস ফাইল সিস্টেম মাউন্ট করতে ব্যবহার করা যেতে পারে। সুতরাং, মূলত, একটি নেটিভ বৈশিষ্ট্য রয়েছে যা আপনাকে ভিপিসির বাইরে এডাব্লুএস ইএফএস ব্যবহার করতে দেয়।

পূর্বশর্ত হিসাবে, আপনাকে এডাব্লুএস ডাইরেক্ট কানেক্ট কানেকশনটি সক্ষম ও স্থাপন করতে হবে এবং তারপরে ইসি 2 উদাহরণগুলির মধ্যে ইএফএস মাউন্ট করার সময় এনএফএস-ইউটগুলি আপনার ব্যবহার করা উচিত।

আরও তথ্য f বোলিং URL- এ পাওয়া যাবে । আমি কেবল এটি পোস্ট করেছি, যেমন আমি এই ভবিষ্যতের জন্যও অনুসন্ধান করেছি, অন্যরা যাতে সচেতন হন যে ভিপিসির বাইরে ইএফএস সংযোগের জন্য স্থানীয় সমাধান রয়েছে solution

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.