স্ট্যাক ওভারফ্লোতে আমি এই একই প্রশ্নের উত্তর দিয়েছি ।
s3fs প্রকৃতপক্ষে একটি যুক্তিসঙ্গত সমাধান, এবং আমার ক্ষেত্রে, আমি তাত্ত্বিক / সম্ভাব্য সমস্যা সত্ত্বেও, দুর্দান্ত ফলাফলের সাথে এটি প্রোটিপিপি দিয়ে তৈরি করেছি।
আমি উত্তরটি লেখার সময়, আমি কেবলমাত্র আমার পরামর্শদাতাদের একজনের জন্য এটি প্রস্তুত করে রেখেছিলাম ... তবে তখন থেকে আমি নিজের কুল-এইডও পান করা শুরু করেছি এবং এটি আমার দিনের চাকরিতে উত্পাদনতে ব্যবহার করছি। সংস্থাগুলি আমরা সারা দিন ধরে আমার এসএফটিপি সার্ভারে আপলোড এবং ডাউনলোড ফাইলের সাথে ডেটা বিনিময় করি, যা সরাসরি এস 3-এ সমস্ত কিছু সঞ্চয় করে চলেছে। বোনাস হিসাবে, আমার রিপোর্ট রফতানি ব্যবস্থা - যা সরাসরি এস 3-তে এক্সেল স্প্রেডশিটগুলি লিখে - কেবলমাত্র এফটিপি সার্ভারের বালতিতে ইউডি, জিড এবং উপযুক্ত মেটাডেটা প্রদর্শন করে সরাসরি রিপোর্টগুলি "এফটিপি সার্ভারে" রফতানি করতে পারে and প্রতিটি ফাইলের মোড। (s3fs ফাইল-সিস্টেমের অনুমতি অনুকরণের জন্য x-amz-meta-uid, -gid, এবং -Mode শিরোনাম ব্যবহার করে)। ক্লায়েন্ট যখন সার্ভারে লগইন করে তখন রিপোর্ট ফাইলগুলি ঠিক সেখানে থাকে ...
আমি মনে করি আদর্শ সমাধানটি সম্ভবত এস 3 গেটওয়ে পরিষেবাটির জন্য একটি এসফটিপি হতে পারে, তবে আমি এখনও একটি নকশা তৈরি করতে পারিনি, কারণ এই সমাধানটি সত্যিই খুব ভালভাবে কাজ করে ... অবশ্যই কিছু সতর্কতার সাথে:
S3fs এর জন্য সমস্ত ডিফল্ট মান বুদ্ধিমান হয় না। আপনি সম্ভবত এই বিকল্পগুলি নির্দিষ্ট করতে চাইবেন:
-o enable_noobj_cache # s3fs has a huge performance hit for large directories without this enabled
-o stat_cache_expire=30 # the ideal time will vary according to your usage
-o enable_content_md5 # it's beyond me why this safety check is disabled by default
ইউএস-স্ট্যান্ডার্ড ব্যতীত অন্য অঞ্চলটি ব্যবহার করা সম্ভবত সেরা, কারণ এটিই একমাত্র অঞ্চল যা নতুন অবজেক্টগুলিতে লেখার পরে পঠন-সরবরাহের প্রস্তাব দেয় না। (অথবা, যদি আপনাকে ইউএস-স্ট্যান্ডার্ড ব্যবহারের প্রয়োজন হয়, তবে your-bucket.s3-external-1.amazonaws.comআপনার অনুরোধগুলি ভূ-রুট হওয়া থেকে রোধ করতে আপনি ইউএস- পূর্ব -১ অঞ্চল থেকে প্রায় অনিবন্ধিত হোস্টনাম ব্যবহার করতে পারেন , যা ধারাবাহিকতার উন্নতি করতে পারে))
আমার কাছে বালতিতে অবজেক্ট ভার্সন সক্ষম করা আছে, যা এস 3 এফস সম্পূর্ণ অজানা। এর সুবিধাটি হ'ল এমনকি যদি কোনও ফাইল "স্টম্পড" হয় তবে আমি "ওভাররাইটন" ফাইলটি পুনরুদ্ধার করতে সর্বদা বালতি সংস্করণে যেতে পারি। এস 3-তে অবজেক্ট সংস্করণটি এমনভাবে ডিজাইন করা হয়েছিল যে সংস্করণ সম্পর্কে অজানা এস 3 ক্লায়েন্টরা কোনওভাবেই অক্ষম বা বিভ্রান্ত নয়, কারণ আপনি যদি সংস্করণ-সচেতন আরআরএসটি কল না করেন তবে এস 3 প্রদানের প্রতিক্রিয়াগুলি ক্লায়েন্টগুলির সাথে সামঞ্জস্যপূর্ণ সংস্করণ কোন ধারণা।
এছাড়াও মনে রাখবেন ডাটা ট্রান্সফারের মধ্যে এস 3 মুক্ত ডাটা ট্রান্সফার চার্জ। আপনি কেবল প্রতি অনুরোধ মূল্য নির্ধারণ করুন। কোনও অঞ্চলের মধ্যে এস 3 এর বাইরে ইসি 2 তে ডেটা স্থানান্তর করাও ডেটা ট্রান্সফার চার্জে বিনামূল্যে। এটি কেবলমাত্র যখন আপনি এস 3 এর বাইরে ইন্টারনেটে, ক্লাউডফ্রন্টে বা অন্য এডাব্লুএস অঞ্চলে স্থানান্তর করেন যখন আপনি স্থানান্তর চার্জ প্রদান করেন। আপনি যদি স্বল্প দামের হ্রাস-রিডানডেন্সি স্টোরেজটি ব্যবহার করতে চান তবে এস 3 এফএস এর সাথে এটি সমর্থন করে -o use_rrs।
মজাদার একদিকে যেমন, আপনি যখন 256 টেরাবাইট ফাঁকা জায়গা দেখেন তখন আপনি সর্বদা একটি উষ্ণ ফিজি অনুভূতি পাবেন (এবং 0 টি ব্যবহৃত হয়েছে, যেহেতু আকারের আসল গণনা অবাস্তব কারণ এই যে এস 3 একটি বস্তুর দোকান, কোনও ফাইল সিস্টেম নয় )।
$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 7.9G 1.4G 6.2G 18% /
s3fs 256T 0 256T 0% /srv/s3fs/example-bucket
অবশ্যই, আপনি বালতি যে কোনও জায়গায় মাউন্ট করতে পারেন। আমি কেবল এটি / এসআরভি / এস 3 এফএসে থাকতে পারি।