এস 3 এ আপলোড করা এত ধীর কেন?


12

আমি s3cmdএস 3 এ আপলোড করতে ব্যবহার করছি :

# s3cmd put 1gb.bin s3://my-bucket/1gb.bin
1gb.bin -> s3://my-bucket/1gb.bin  [1 of 1]
  366706688 of 1073741824    34% in  371s   963.22 kB/s

আমি লিনোড থেকে আপলোড করছি, যার সমর্থন অনুসারে 50 এমবি / সেকেন্ডের বহির্মুখী ব্যান্ডউইথ ক্যাপ রয়েছে (প্রায় 6 এমবি / সে)।

আমি কেন এস 3 এ ধীর আপলোডের গতি পাচ্ছি এবং আমি কীভাবে সেগুলি উন্নত করতে পারি?


হালনাগাদ:

এমসি.মিডিয়াম ইসি 2 ইনস্ট্যান্টে এসসিপিটির মাধ্যমে একই ফাইলটি আপলোড করা (আমার লিনোড থেকে এসসিপিটির ইবিএস ড্রাইভে এসসিপি) প্রায় 44 এমবি / এস দেয় iftop(সাইফার দ্বারা করা কোনও সংকোচনের কারণ নয়)।


ট্রেস্রোয়েট: এটি যে সার্ভারে আপলোড হচ্ছে (তার মতে tcpdump) এটি এখানে একটি ট্রেস্রোয়েট ।

# ট্রেস্রোয়েট এস3-1-w.amazonaws.com।
s3-1-w.amazonaws.com এ ট্রেস্রোয়েট করুন। (72.21.194.32), 30 হপ সর্বাধিক, 60 বাইট প্যাকেট
 1 207.99.1.13 (207.99.1.13) 0.635 এমএস 0.743 এমএস 0.723 এমএস
 2 207.99.53.41 (207.99.53.41) 0.683 এমএস 0.865 এমএস 0.915 এমএস
 3 ভ্লান 801.tbr1.mmu.nac.net (209.123.10.9) 0.397 এমএস 0.541 এমএস 0.527 এমএস
 4 0.e1-1.tbr1.tl9.nac.net (209.123.10.102) 1.400 এমএস 1.481 এমএস 1.508 এমএস
 5 0.gi-0-0-0.pr1.tl9.nac.net (209.123.11.62) 1.602 এমএস 1.677 এমএস 1.699 এমএস
 6 ইকুইনিক্স02- আইএড 2.amazon.com (206.223.115.35) 9.393 এমএস 8.925 এমএস 8.900 এমএস
 7 72.21.220.41 (72.21.220.41) 32.610 এমএস 9.812 এমএস 9.789 এমএস
 8 72.21.222.141 (72.21.222.141) 9.519 এমএস 9.439 এমএস 9.443 এমএস
 9 72.21.218.3 (72.21.218.3) 10.245 এমএস 10.202 এমএস 10.154 এমএস
10 * * *
11 * * *
12 * * *
১৩ * * *
14 * * *
15 * * *
16 * * *
17 * * *
18 * * *
19 * * *
20 * * *
21 * * *
22 * * *
23 * * *
24 * * *
25 * * *
26 * * *
27 * * *
২৮ * * *
29 * * *
30 * * *

কমপক্ষে সার্ভার পিংয়ের অনুরোধগুলির প্রতিক্রিয়া বন্ধ না করা পর্যন্ত এই বিলম্বটিকে যুক্তিযুক্ত বলে মনে হচ্ছে।


সমস্যার সমাধান শুরু করুন। আপনি আপলোড করার সময় আপনার সিপিইউ ব্যবহারটি কেমন দেখাচ্ছে? দেখতে কেমন লাগে traceroute? আপনার টিসিপি সংযোগের প্রান্তের কিউটি প্রায় সম্পূর্ণ বা প্রায় খালি আছে? কয়েকটি খুব সাধারণ পরীক্ষার সাহায্যে আপনি দ্রুত সমস্যাটি সঙ্কুচিত করতে পারেন।
ডেভিড শোয়ার্টজ

উত্তর:


9

আপনি 50 এমবিপিএসে যেতে পারেন তার অর্থ এই নয় যে আপনি সর্বদা 50mbps পাবেন; নেটওয়ার্ক 3 পথ 3 এর পাশাপাশি বিলম্বও গুরুত্বপূর্ণ।

আপনি যদি মাল্টি-পার্ট আপলোড ব্যবহার করতে সক্ষম হন তবে আপনি কোনও ফাইলকে একাধিক টুকরো টুকরো করে ভেঙে ফেলতে এবং একাধিক থ্রেড ব্যবহার করে এটি আপলোড করতে সক্ষম হবেন, সম্ভবত আপলোডের গতি বৃদ্ধি পাবে।


1
আমার লিনোড থেকে এসসিপি এর মাধ্যমে একটি এম 1.মিডিয়াম ইসি 2 উদাহরণে একই ফাইলটি আপলোড করা প্রায় 44 এমবি / সেয়ে চলেছে (অনুযায়ী iftop, তাই সংকোচনের বিষয়টি বিবেচ্য নয়), যা 50 এমবি / এর বিদায়ী ব্যান্ডউইথ ক্যাপের অনেক কাছাকাছি। এস 3 আপলোডগুলি প্রায় পঞ্চম হিসাবে দ্রুত। সর্বশেষতম s3cmdসমর্থন মাল্টি-পার্ট আপলোডগুলি, তবে সেগুলি একযোগে আপলোড করে না, পরিবর্তে একটানাভাবে। এস 3 এ আপলোড করার জন্য আরও ভাল ইউটিলিটি কি নেই?
টম মার্থেনাল

আমি এসসিপি (আমার লিনোড -> ইসি 2 উদাহরণ) থেকে আমার প্রশ্নের সাথে গতির পরিসংখ্যান যুক্ত করেছি।
টম মার্থেনাল

আপনি পরীক্ষা চালানোর জন্য s3cmd এর অনুরূপ অন্যান্য সরঞ্জাম ব্যবহার করার চেষ্টা করেছেন? এটি নির্ধারণ করার জন্য এটি আসলে s3 সেমিডি নয় যা ধীর। এছাড়াও, যদি এস 3 সিএমডি কোনওভাবে এইচটিটিপিএসের মাধ্যমে আপলোড হয় তবে আপনি এটি এইচটিটিপি-তে স্যুইচ করার চেষ্টা করতে চাইতে পারেন। আরেকটি ধারণা হ'ল এস 3 নিজেই আপলোড করতে ধীর হয়ে যায়, যেহেতু আপনার কাছে ইসি 2 তে কোনও সমস্যা নেই বলে মনে হচ্ছে।
gekkz

4
এস 3 মাল্টিপুট চেষ্টা করুন।
EEAA

11

যদি কেউ এ নিয়ে হোঁচট খায় তবে ...

আমার একটি ইস্যু ছিল যেখানে ইসি 2 উদাহরণ থেকে কোনও এস 3 বালতিতে আপলোড করা সত্যিই ধীর ছিল, সত্যিই খুব সহজ, বালতির অঞ্চল! আমি উত্তর ক্যালিফোর্নিয়ায় ই সি 2 উদাহরণ ব্যবহার করছিলাম, যখন বালতিটি আমাদের মানক হিসাবে তৈরি করা হয়েছিল তখন স্থানান্তর করা সত্যিই ধীর ছিল, বালতিটি উত্তর ক্যালিফোর্নিয়ার সাথে সেট করা ছিল এটি দ্রুত গাদা ছিল।


1

বিভিন্ন ক্লায়েন্ট, যেমন ফ্রি কমান্ড লাইন সরঞ্জামগুলি (পাইথন, বিটিডব্লুতে লিখিত) এবং বাণিজ্যিকগুলি ব্যবহার করে ধীরে ধীরে S3 এ আপলোড করা সম্পর্কে একটি ফোরামে আমি অনেকগুলি থ্রেড দেখেছি।

যদিও আপনার কাছে আমার কাছে শক্ত প্রমাণ নেই, এস 3 ক্লায়েন্ট (যেমন ক্লাউড বেরি এক্সপ্লোরার) স্যুইচ করা আপনার সমস্যার সমাধান করতে পারে। চেষ্টা করে দেখুন! :)


3
একটি মাথা বিহীন সার্ভারে? এমন ভাববেন না।
EEAA

বিচারের আগে তাকে অন্য ক্লায়েন্ট চেষ্টা করতে দিন। উদাহরণস্বরূপ s3cp রয়েছে।
ভ্যালেন্টিন

+1 টি। ইসি 2 এ, কেবল ফাইলজিলা থেকে কিউটএফটিপিতে স্যুইচ করা একটি এক্স 30 পারফরম্যান্স করেছে।
Calvin1602
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.