S3fs কর্মক্ষমতা উন্নতি বা বিকল্প?

11

আমি ইসি 2 সার্ভারে s3fs ব্যবহার করার চেষ্টা করছি তবে এটি সত্যিই ধীর। আমি সর্বশেষ 5 ঘন্টা ছোট ফাইল 100MB আপলোড করতে ব্যয় করেছি।

পারফরম্যান্স উন্নত করতে আমি কি কিছু করতে পারি বা এটি এস 3 এস এর সাথে সম্পর্কিত কিছু? যদি তা না হয় তবে আমি কী বিকল্প ব্যবহার করতে পারি?

amazon-ec2 s3fs

— মেগাবাইট।
সূত্র

ছোট ফাইলগুলি সংজ্ঞায়িত করুন, 1K? 500bytes? 1MB?

— দ্বিগুণ করুন

প্রায় 200 ডলার ...

— এমবি

আপনার স্টোরেজ প্রয়োজনের উপর নির্ভর করে আপনি কেবল ইবিএস ব্যবহার করতে চাইতে পারেন, যদি না আপনাকে একইসাথে অন্যান্য সিস্টেমের অ্যাক্সেসের প্রয়োজন হয়, সেক্ষেত্রে ইবিএসের সাথে ভার্চুয়াল ন্যাস সেটআপ করা আরও ভাল বিকল্প হতে পারে।

— ট্র্যাকার 1

7

বড় আকারের ছোট ফাইলের জন্য এস 3 এফএস সেরা পছন্দ নাও হতে পারে। এস 3 এফএস সহ ওভারহেডটিও বেশ উচ্চ। আমি এস 3 কর্কেলের মতো কিছু ব্যবহার করার পরামর্শ দেব

এমনকি আপনি সমান্তরাল স্থানান্তরও পেতে পারেন। কেবল মনে রাখবেন এটি কখনই ইবিএস / স্থানীয় স্টোরেজের মতো দ্রুত হবে না।

আপনার যদি এটি 'মাউন্টেবল' স্টোরেজ হিসাবে প্রয়োজন হয় তবে S3FS এর একমাত্র বিকল্প যা আমি জানি সেগুলি হ'ল এস 3 ব্যাকার বা এস 3 কিএল

— পাতলা বরফ
সূত্র

1

আমি এমন কিছু সন্ধান করছি যা আমি ফাইল সিস্টেম হিসাবে মাউন্ট করতে পারি।

— এমবি

কোন চিন্তা আছে s3ql?

— ew white

আমি এস 3ব্যাকার এবং এস 3 এসকিউএল চেষ্টা করব। ধন্যবাদ।

— এমবি

এমনকি এস 3 এফএস সহ 500 ঘন্টা, 200 কেবি ফাইলের জন্য 5 ঘন্টা সত্যই ধীর হয়। অন্য কিছু ফ্যাক্টরিং হতে পারে, আমি যে কোনও এস

— এফ টিউনেবল

6

আমি কেবল এস 3 এস এর তুলনায় রিওফসকে বেঞ্চমার্ক করেছি। আমার পরীক্ষার কেসটি অপেক্ষাকৃত সাধারণ বাশ স্ক্রিপ্ট যা প্রতিটিটিতেই pngquant চলিত। Test০ টি চিত্রের একটি টেস্টবকেটে যেখানে ২০ ডলার যেখানে পিএনজি (অনেকগুলি সাব-ডাইরেক্টরিতে ছড়িয়ে পড়ে, যা সম্ভবত জিনিসগুলি ধীর করে দেয়) যেখানে ফলাফল:

s3fs: 3m54
রিওফস: 15.9 এস

সুতরাং এই টেস্টকেসটির জন্য 15x ডলার দ্রুত! সেটআপগুলি খুব সোজা ছিল, যদিও ডক্সটি কিছুটা ক্ষুদ্র।

স্ক্রিপ্টটি এখনও 15.9 সেকেন্ড সময় নিয়েছে: এটি খুব দক্ষ নয়, প্রকৃতপক্ষে পিএনজি'র উপর pngquant চালানো একটি সিপিইউ নিবিড় প্রক্রিয়া।

— মিলো ডি ভ্রিস
সূত্র

দুর্ভাগ্যক্রমে রিফস ব্যর্থ হয়AWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

শুধু মিশ্রণে riofs যোগ করুন । আমি আপাতত কোনও মানদণ্ড দেখতে পেলাম না তবে যে কেউ করতে পারে এমন একটি সমস্যা / অনুরোধ রয়েছে ।

— F01
সূত্র

2

আমি সবেমাত্র https://github.com/kahing/goofys এর v0.0.1 প্রকাশ করেছি যা s3fs এর পারফরম্যান্স সমস্যার দ্বারা আংশিকভাবে অনুপ্রাণিত হয়েছিল। ফাইল তৈরির গতিপথ 3-6x এবং প্রথম বাইটের সময় 58x। মতামত স্বাগত!

— khc
সূত্র

2

2019 হিসাবে - গুফিজ হ'ল প্রস্তাবিত পছন্দ। রিওটফস কিছুক্ষণের মধ্যে আপডেট করা হয়নি।

— timofey.com

1

আমি [1] ব্যবহার করেছি এবং এটি খুব ভাল। এটি প্রচুর কমান্ড এবং অজ এবং এস 3 অ্যাক্সেসকে অনেক সহজ করে তোলে।

http://timkay.com/aws/

— অমিত
সূত্র

1

সার্ভার ফল্ট আপনাকে স্বাগতম! যতক্ষণ এই তাত্ত্বিক প্রশ্নের উত্তর হতে পারে, এটা বাঞ্ছনীয় হবে উত্তর অপরিহার্য অংশের এখানে অন্তর্ভুক্ত করা, এবং রেফারেন্স এর জন্য লিঙ্ক প্রদান।

— স্কট প্যাক 2

1

আমি s3fs কে riofs এর সাথে তুলনা করেছি এবং উল্লেখযোগ্যভাবে আরও ভাল পারফরম্যান্সের কারণে প্রায় স্যুইচ করেছি। সমস্যাটি হ'ল রিওফগুলি এখনও ভি 4 স্বাক্ষরে আপডেট হয় না, যার অর্থ এটি ফ্রাঙ্কফুর্ট বা চায়না এস 3 বালতির সাথে কাজ করবে না। মালিকের মতে, একটি আপডেট চলছে। আপনি যদি ফ্র্যাঙ্কফুর্ট বা চীন ব্যবহার না করেন তবে রিওফস হ্যান্ড ডাউন ডাউন বিকল্প।

— স্টিভ
সূত্র

— ইউরোপীয় ইউনিয়ন

1

এটি বেশ পুরানো তবে কে এখানে আসতে সহায়তা করতে পারে।

আমি আউস ক্লিপ ব্যবহার করছি এবং এটির কাজ খুব ভাল (3 এমবি / সে)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
সূত্র