রেডিস একটি বড় ডেটাসেট লোড করার সময় কিছু লিনাক্স সিস্টেম খুব ধীর হয়ে যায়


14

আমি একটি রেডিস ব্যবহারকারীর কাছ থেকে একটি প্রতিবেদন পেয়েছি এবং আমি কী উত্তর দিতে হবে তা নিশ্চিত নই কারণ আমি লিনাক্স এবং এর সময়সূচীর বিশেষজ্ঞ নই, তবে আমাদের (রেডিস প্রকল্প হিসাবে) বিশেষত এই ধরণের সমস্যাগুলি চিহ্নিত করা দরকার ভবিষ্যতে রেডিস ক্লাস্টারের মতো আমাদের একসাথে একই বাক্সে অনেকগুলি রেডিস দৌড়াবে। তাই আমি এখানে কিছু সাহায্য চাইছি।

সমস্যা:

  • কার্নেল: "লিনাক্স redis1 2.6.32-305-ec2 # 9-উবুন্টু এসএমপি থু 15 এপ্রিল 08:05:38 ইউটিসি 2010 x86_64 জিএনইউ / লিনাক্স"
  • প্রচুর পরিমাণে নিখরচায় র‍্যাম, অন্য কোনও প্রক্রিয়া উল্লেখযোগ্য I / O করে না।
  • গুরুত্বপূর্ণ , একটি ইসি 2 বড় উদাহরণে চলছে, প্রকৃত সার্ভার নয়। আমি ভার্চুয়ালাইজড পরিবেশে এরকম কিছু দেখিনি। ইসি 2 উদাহরণটি ছিল: "হাই-মেমোরি এক্সট্রা লার্জ ইনস্ট্যান্স 17.1 গিগাবাইট মেমরি, 6.5 ইসিইউ (2 ভার্চুয়াল কোর প্রতিটি 3.25 ইসি 2 কম্পিউট ইউনিট), 420 জিবি লোকাল ইনস্ট্যান্স স্টোরেজ, -৪-বিট প্ল্যাটফর্ম"

মূলত একবার আপনি একটি বড় রেডিস উদাহরণ পুনরায় চালু করার পরে, সিস্টেমটি এত ধীর হয়ে যাবে আপনি শেলটিতে আর টাইপ করতে পারবেন না। রেডিস যখন কোনও উদাহরণ লোড করে তখন এটি 100% সিপিইউ ব্যবহার করে (এটি যত তাড়াতাড়ি ডেটা লোড করে) এবং ক্রমান্বয়ে ডাম্প.আরডিবি ফাইলটি পড়ে। I / O বিশেষত উচ্চ নয় কারণ লোডিং সিপিইউ-আবদ্ধ, I / O বাউন্ডেড নয়।

কেন পৃথিবীতে দুটি সিপিইউ এবং প্রচুর র‌্যামযুক্ত একটি বাক্স, ডিস্কে কোনও অদলবদল করা উচিত নয়, মূলত এই কাজের চাপের সাথে কাজ করা বন্ধ করা উচিত?

আমি এটি একটি ইসি উদাহরণ হিসাবে সত্যই এর সাথে অনেক কিছু করার ছাপ ফেলেছি, তাই ব্যবহৃত ভার্চুয়ালাইজেশন প্রযুক্তির সাথে সম্পর্কিত, কারণ আমি সবসময় লোড করি কোনও সমস্যা ছাড়াই আমার বাক্সে 24 জিবি ডেটাসেট লোড করে (এমনকি রেডিসের অন্যান্য উদাহরণগুলির সাথেও) উচ্চ বোঝা নিয়ে চলমান)।

কোন ইঙ্গিত জন্য ধন্যবাদ!

সালভাতোরে

সম্পাদনা করুন : টুইটার থেকে আমি প্রাপ্ত কিছু প্রতিক্রিয়া যুক্ত করছি:

@ এজেমোবিয়াস থেকে: @ অ্যান্টেরিজে প্রথমে করণীয় / মন্ট থেকে চেষ্টা করা বা স্থানীয় ইফেমেরাল ড্রাইভগুলি দেখতে দেখতে এটির ইবিএস স্বচ্ছলতা আছে কিনা, ২ য়টি নিশ্চিত করা উচিত যে এটি "প্রথম লেখার দণ্ড" নয় (গুগল এটি) এবং যদি তা হয় আপনাকে প্রথমে ডিস্ক জুড়ে 0 ডিডি করতে হবে।

@ ডিভিয়ারস্কি থেকে: @ অ্যান্টেরিজ আমি ঠিক এ জাতীয় ইপি 2 নোডগুলিতে অনেকগুলি রেডিস উদাহরণ চালাচ্ছি। আমি বিগস্যাভে কিছুটা ধীরগতি লক্ষ্য করেছি তবে এই ঘটনাটি নয়।

উত্তর:


4

'শীর্ষ' থেকে আউটপুট কিছু সংকেত পেতে পারে। উপরের বাম দিকে '% চুরি' লেবেলের কাছাকাছি একটি ক্ষেত্র রয়েছে যা একই শারীরিক বাক্সে অন্যান্য অতিথির কাছে চালিত হার্ডওয়ার সিপিইউয়ের পরিমাণ প্রতিফলিত করে। হাইপারভাইজার যখন অন্য কোনও অতিথিকে আরও সিপিইউ বরাদ্দ করার সিদ্ধান্ত নেয় তখন আমি এই ধরণের ধীরগতি দেখেছি, বিশেষত যখন আমি দীর্ঘকাল ধরে চলমান সিপিইউ-নিবিড় কাজটি করি performing

নিশ্চিত না যে এটি আপনার সমস্যা কিনা বা না তবে এটি যাচাইয়ের পক্ষে।


আপনাকে কেভিন ধন্যবাদ, এটি খুব আকর্ষণীয় এবং আমি এ সম্পর্কে সম্পূর্ণ অজানা ছিলাম।
অ্যান্টেরিজ

2

ইসি 2 উদাহরণে আমারও একই সমস্যা ছিল। এটি সম্ভবত রেডিসের সাথে সম্পর্কিত নয় - যখন উচ্চ আইও চলছে তখন এটি ঘটে (যেমন, যখন রেডিস যখন কোনও ডাম্প ফাইল লোড করছে)।

অ্যামাজন ফোরামে এই থ্রেডটি একবার দেখুন: https://forums.aws.amazon.com/thread.jspa?messageID=215406

আমি বিভিন্ন কার্নেল / চিত্র নিয়ে পরীক্ষা-নিরীক্ষা করেছি এবং এখন এটি দুর্দান্ত হয় (পুরানো ২..2.২১ কার্নেলের উপর)।


ধন্যবাদ এমএইচডিকে, আমার অনুমানও এই যে এটি ভার্চুয়ালাইজেশন + লিনাক্স শিডিয়ুলারের সাথে সম্পর্কিত। এমনকি স্লো ডিস্ক সহ আই / ওআই যদি ডিস্ক ব্যবহার না করে এবং কোনও অদলবদল পৃষ্ঠা না থাকে তবে অন্য প্রক্রিয়াগুলি ব্লক হওয়ার কোনও কারণ দেখতে পাচ্ছে না। বিভিন্ন কার্নেল / সময়সূচক কনফিগারেশন ব্যবহার করে চেষ্টা করা সম্ভবত সত্যই চেষ্টা করার মতো।
অ্যান্টেরিজ

2

আপনার সিপিইউ চুরি করা উচিত (সিপিইউ xx.x%stলাইনের ডান দিকে) যা topআপনার 100% লোড এবং হিমায়িত শেলটি অনুভব করার সময় দেখায়। আপনার প্রকৃত সিপিইউ চক্রের একটি হাইপাইভাইজার দ্বারা চুরি করা এবং অন্য কোনও মেশিনকে দেওয়া আপনার চুরির প্রতিনিধিত্ব করে al সিপিইউ চুরিটি কেবল ভার্চুয়ালাইজড পরিবেশে প্রাসঙ্গিক। আমার সেই সঠিক সমস্যাটি মাইক্রো উদাহরণগুলির সাথে ছিল এবং যা সিপিইউ নিবিড় কাজগুলি করতে পারলে মূলত আমার উদাহরণটি প্রায় 1 ঘন্টা বা তার জন্য (আমার কাজ শেষ না হওয়া অবধি) অকেজো করে দেয়।

গ্রেগ র‌্যাম্বলিংসের এই পোস্টটি পড়ে আপনি এই বিষয়ে আরও সন্ধান করতে পারেন । আপনি যদি গ্রেগের কথাটি গ্রহণ করেন তবে এটি কেবল মাইক্রো উদাহরণস্বরূপ ঘটানো উচিত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.