কর্মক্ষমতা EC2 উদাহরণ সর্বাধিক আউট কিভাবে


11

দাবি অস্বীকার: আমি একটি সার্ভার ধরণের বিশ্বের এক প্রান্তে দেব dev

হাই বন্ধুরা ইসি 2 তে আমার একটি সার্ভার উদাহরণ রয়েছে c5d.9xlarge, যার স্পেসগুলি:

  • সিস্টেম: উবুন্টু 18.04
  • ভিসিপিইউ: 36 থ্রেড / কোর
  • স্মৃতি: 72 গিগাবাইট
  • স্টোরেজ: 900 জিবি এনভিএম এসএসডি
  • উত্সর্গীকৃত ইবিএস ব্যান্ডউইথ: 7,000 এমবিপিএস
  • নেটওয়ার্ক পারফরম্যান্স: 10 জিবিপিএস

পরিস্থিতি: আমি বড় ভিডিওগুলি আপলোড করতে এই সার্ভারটি ব্যবহার করি (4K, 1+ ঘন্টা) এবং এফএফএমপিইগ ব্যবহার করে সেগুলি প্রক্রিয়া করি তবে 12 কোরের এবং 48 জিবি র‌্যামের সাথে আমার পূর্বের আপক্লাউড সার্ভারের তুলনায় এই ইসি 2 সার্ভারটি আপলোড এবং প্রক্রিয়া করতে 1.5 গুন বেশি সময় নিচ্ছে , যা আমি মনে করি এটি হওয়া উচিত নয়।

প্রশ্ন: আমি যা পরিশোধ করছি তার জন্য আমি কীভাবে পারফরম্যান্স বাড়িয়ে তুলব?


এটি আপনার জন্য আরও কার্যকর হয় কিনা তা দেখতে আপনার এডাব্লুএস ইলাস্টিক ট্রান্সকোডারটির ব্যয় দেখতে হবে।
টিম

ধন্যবাদ @ টিম আমি এটি কিছুক্ষণ আগে দেখেছি কিন্তু এই সার্ভারটিতে আমার আরও কয়েকটি কল রয়েছে যাতে আমি বুঝতে পারি যে আমি তাদের একত্রিত করেছি।
মার্টাভিস পি।

উত্তর:


19

তোমার c5d.9xlargeদিয়ে আসে 900GB উদাহরণস্বরূপ স্টোরেজ (ওরফে ক্ষণজীবী স্টোরেজ ) - আপনি যে ব্যবহার করছেন সংরক্ষণকারী এবং ফাইল প্রক্রিয়াকরণের জন্য? আপনার উদাহরণটিতে কিছু উত্সর্গীকৃত ইবিএস ব্যান্ডউইথ থাকলেও এসএসডি স্টোরেজটি আরও দ্রুত হবে । আমি আপনাকে সমস্ত উত্স এবং অস্থায়ী ফাইলগুলির জন্য এটি ব্যবহার করার পরামর্শ দিচ্ছি এবং ফলাফলগুলি কেবল ইবিএসে সঞ্চয় করুন।

উদাহরণস্বরূপ স্টোরেজ সহ কিছু ক্যাভেট রয়েছে যদিও:

  1. যা শুরু করেছো বিন্যাস এবং মাউন্ট এটা ব্যবহার করার আগে করা যেতে পারে। আরও তথ্যের জন্য এই উত্তরটি দেখুন: উবুন্টু ১.0.০৪-এ স্বয়ংক্রিয়ভাবে এসডির এসএসডি ইনস্ট্যান্সটি এডাব্লুএস ইসি ২ তে মাউন্ট করুন

  2. আপনি যখন থামুন এবং পুনরায় সূচনাটি শুরু করেন তখন বিষয়বস্তুগুলি মুছে ফেলা হয়। এটি পুনরায় বুট থেকে বেঁচে থাকে তবে থামেনি / শুরু হয় না।


আপডেট: ডিফল্টরূপে এসএসডি মাউন্ট করা হয়নি - এটির ব্যবহার করতে আপনাকে উপরের লিঙ্কিত উত্তরের পদক্ষেপগুলি অনুসরণ করতে হবে। বুটের পরে স্ট্যান্ডার্ড কনফিগারেশনে আপনি ইবিএস ব্যবহার করবেন যা এসএসডি এর চেয়ে ধীর।

তারপরে আপনাকে নিশ্চিত করতে হবে যে আপনি আসলে এটি ব্যবহার করছেন - আপলোড , কর্মক্ষম এবং অস্থায়ী ডিরেক্টরিটি সেই এসএসডি মাউন্ট পয়েন্টে সেট করুন।

বা আরও ভাল - যেহেতু আপনি 72 গিগাবাইট র‍্যাম পেয়েছেন - একটি র‌্যাম ডিস্ক তৈরি করুন এবং অস্থায়ী ফাইলগুলির জন্য এটি ব্যবহার করুন। এটি এসএসডির চেয়ে আরও দ্রুত হবে (যদি ফাইলগুলি ফিট হয়)।

প্রথমে আপলোডের গতি উপেক্ষা করুন এবং প্রক্রিয়াকরণটিকে অনুকূলিত করুন - ফাইলটি ইবিএসে আপলোড করুন এবং প্রসেসিংয়ের সময় দিন, তারপরে এসএসডি এবং এটির সময় আপলোড করুন এবং তারপরে র‌্যাম ডিস্কে প্রক্রিয়াকরণের সময় দিন। তারা কতটা পার্থক্য দেখুন।

আপলোডের গতি আপনার এবং আপনি যে অ্যাডব্লিউএস অঞ্চলে আপলোড করছেন তার মধ্যে দূরত্ব এবং বিলম্বিতা সহ অনেক দিক দ্বারা প্রভাবিত হবে। আপনি কি আপনার কাছাকাছি কোনও এডাব্লুএস অঞ্চল ব্যবহার করছেন?

পুনরায় সিপিইউর পারফরম্যান্স - আপনি 36 সিপিইউ উপলব্ধ পেয়েছেন, তবে প্রতিটি একক কোর আপনার আগের 12-কোর মেশিনের কোরগুলির চেয়ে ধীর হতে পারে। এটি সিপিইউ আর্কিটেকচার এবং ঘড়ির গতির উপর নির্ভর করে। তবে আপনি যদি ভিডিও প্রক্রিয়াকরণটিকে 36 টি থ্রেডে সমান্তরাল করতে পারেন তবে এই উদাহরণে আপনার আরও ভাল হওয়া উচিত। আপনি যদি একক থ্রেডের উপর নির্ভর করেন তবে আপনার পছন্দসই পারফরম্যান্স নাও পেতে পারেন।

আশা করি এইটি কাজ করবে :)


হ্যাঁ, ফাইলগুলি প্রক্রিয়া চলাকালীন হার্ড ড্রাইভটি সংরক্ষণের জন্য ব্যবহৃত হয় এবং প্রক্রিয়া শেষ না হওয়া পর্যন্ত ফাইলগুলি অস্থায়ী থাকে। ফলাফলগুলি ফাইলগুলি এস 3 তে প্রেরণ করা হয়। এসএসডি মাউন্ট করা আছে কিনা তা আমি আসলে জানি না। আমি বুঝতে শুরু করেছি যে AWS চশমাটি একটি ডিফল্ট সেটিংস হিসাবে ব্যবহার করে না। কোনও এসএসডি মাউন্ট করা আপলোডটিকে দ্রুততর করে তোলে? ফলোআপ করুন: অনুমোদিত সিপিইউ স্পেকটিকে আমি কীভাবে সর্বোচ্চ করে তুলতে পারি কোনও ধারণা?
মার্টাভিস পি।

@MartavisP। উত্তরে কিছু আপডেট যুক্ত হয়েছে।
এমএলইউ

বাহ, তথ্যের জন্য আপনাকে অনেক ধন্যবাদ! আপনি যা লিখেছেন তা অধ্যয়ন এবং প্রয়োগ করব।
মার্টাভিস পি।

1
দুর্দান্ত উত্তর। আপনার বাধাটি খুঁজে পেতে, আপলোডের সময়, প্রসেসিংয়ের সময়, সিপিইউ ব্যবহার, ইবিএস / নেটওয়ার্ক ব্যবহার ইত্যাদির জন্য এটি খণ্ডন করতে হবে এটি আপনার সার্ভারে আরও বিলম্বিত হওয়ার মতোই সহজ হতে পারে তাই আপলোডটি ধীর হয়, যা আপনি ইসি 2 / এস 3 তে সমান্তরাল থ্রেডে ডেটা আপলোড করে কাজ করতে পারেন। নেটফ্লিক্সের ইউটিউবে এই ভিডিওটি রয়েছে যা আকর্ষণীয় হতে পারে তবে আপনি এই ধরণের বিশদটি নিয়ে মাথা ঘামানোর আগে আপনার রোগ নির্ণয়ের পদক্ষেপগুলি করুন।
টিম

1

বিকল্প দেখার কোন সুযোগ আছে কি? একটি ব্যয়ের জন্য c5d.9xlarge, এমনকি যদি আপনি যথেষ্ট ছাড় পান, নিবেদিত সার্ভারের বাজারে আপনার কাছে বেশ কয়েকটি সমতুল্য বা আরও ভাল মেশিন থাকতে পারে

এই জাতীয় উল্লম্ব-আকারযুক্ত সমস্যার জন্য ক্লাউড ব্যবহার করা অতিরিক্ত অর্থ প্রদানের একটি রেসিপি এবং যেমনটি আপনি দেখেছেন, খারাপ পারফরম্যান্স

উত্তর না দেওয়ার ধরণের জন্য দুঃখিত, তবে আমার কাছে মন্তব্য করার মতো যথেষ্ট প্রতিবেদন নেই


এটি আপক্লাউড থেকে স্যুইচ করে আমার জন্য ছাড় ছিল। তাহলে আপনি কি সুপারিশ করবেন?
মার্টাভিস পি।

1
মনে হচ্ছে মেঘের মধ্যে একই গণনাটি সর্বদা কিছু র্যান্ডম ওয়েব হোস্টারে একটি মাসিক ভাড়া সার্ভারের দাম 4x প্রায়। তারপরে, এন্টারপ্রাইজ ছাড় (~ 30%) রয়েছে এবং আপনি 3 বছরের জন্য বুকিং করতে পারেন (2x কম সস্তা তবে এখন এলোমেলো ওয়েব হোস্টারের চেয়েও খারাপ)। এবং সেই মাসিক ভাড়া দেওয়া সার্ভারটি সাধারণত হার্ডওয়্যার কেনার খোলার দাম 1/12 তম বলে মনে হয়। এটাই আমি দেখছি কমপক্ষে। সুতরাং মেঘে আপনি প্রতি 3 মাসে হার্ডওয়্যার কিনেছেন তবে এটি আপনার নিজস্ব নয়।
usr

হ্যাঁ এটি একটি ভাল বিষয়, তবে আপনাকে মনে রাখতে হবে আপনি জীবনের কোনও কিছুর মতো আপনি রক্ষণাবেক্ষণ এবং সুবিধার্থে অর্থ প্রদান করছেন। সার্ভারের আউটেজ কীভাবে ঠিক করতে হয় তা নির্ধারণের জন্য কয়েক দিন ব্যয় করার চেয়ে আমি এইডাব্লুএসকে আমার যান্ত্রিক হতে দিতাম। এটি থাকা ভাল জ্ঞান তবে শেষ পর্যন্ত আমার ক্যারিয়ার কোড সম্পর্কে তাই মেঘটি আমার পক্ষে কাজ করে।
মার্টাভিস পি।
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.