গ্রাফাইট এলোমেলোভাবে ডেটা সংগ্রহ বন্ধ করে দেয়


8

সংগৃহীত, স্ট্যাটসডি, জেএমএক্সট্রান্সের মাধ্যমে ডেটা সংগ্রহ করার জন্য আমাদের একটি গ্রাফাইট সার্ভার রয়েছে ... কিছু দিন থেকে আমাদের প্রায়শই আমাদের ডেটাতে গর্ত থাকে। আমাদের কাছে থাকা ডেটাগুলি খনন করে, আমরা কার্বন ক্যাশে আকার (50 কে থেকে 4 এম পর্যন্ত) বৃদ্ধি দেখতে পাচ্ছি। আমরা সংগৃহীত মেট্রিকের সংখ্যা বাড়তে দেখি না (মেট্রিকস্রেকড ট্র্যাক্ট প্রায় 300K এ স্থিতিশীল)। আমাদের ক্যোয়ারির সংখ্যা গড়ে 1000 থেকে 1500 পর্যন্ত বেড়েছে।

আশ্চর্যের বিষয় হল, যখন ক্যাশের আকার বেড়ে যায় তখন সিপিইউজেজটি 100% (আমাদের কাছে 4 সিপিইউ থাকে) থেকে কিছুটা কমে যায়%

আশ্চর্যের সাথে আবারও, আমরা ডিস্ক থেকে অষ্টেটগুলি পড়লে এবং অষ্টেটের লিখিত সংখ্যার হ্রাস হ্রাসের সংখ্যা দেখতে পাচ্ছি।

আমাদের বেশিরভাগ ডিফল্ট মান সহ কার্বন কনফিগার রয়েছে:

  • MAX_CACHE_SIZE = inf
  • MAX_UPDATES_PER_SECOND = 5000
  • MAX_CREATES_PER_MINUTE = 2000

স্পষ্টতই, আমাদের সিস্টেমে কিছু পরিবর্তন হয়েছে, তবে আমরা কী বুঝতে পারি না, কীভাবে আমরা এই কারণটি আবিষ্কার করতে পারি ...

কোন সাহায্য ?


আমি সাধারণত গ্রাফাইট ইস্যুগুলির গ্রাউন্ড আপ পদ্ধতির থেকে শুরু করি; ডিস্কে লিখতে কি জায়গা আছে? ডেটা ডিরেক্টরি অনুমতি কি আদৌ পরিবর্তন হয়েছে? ডেমন ব্যবহারকারীর পরিসংখ্যান সংগ্রহের ক্ষেত্রে কি কোনও পরিবর্তন হয়েছে? যদি কোনও স্পষ্ট কারণ না পাওয়া যায় তবে এটি সম্পূর্ণ সম্ভব আপনার আরআরডি দুর্নীতি হতে পারে এবং আপনার যা আছে তা রফতানির জন্য কোনও উপায় খুঁজে বের করতে এবং স্ক্র্যাচ থেকে মেট্রিক সংগ্রহ শুরু করতে পারে start
স্টেফান

আমরা ডিস্কের স্থান এবং অনুমতি চেক করেছি, সেখানে কোনও অদ্ভুত কিছুই নেই। ডেমন সংগ্রহের ডেটাতে কোনও পরিবর্তন হয়নি, মেট্রিকের সংখ্যায় বাড়তে পারে, তবে এটি বড় নয়। আমরা ডাব্লুএসপি দুর্নীতির দিকে তাকাচ্ছি।
গিলিয়াম

উত্তর:


2

এটি কোনও গ্রাফাইট স্ট্যাকের বাগ নয়, বরং একটি আইও বাধা, সম্ভবত আপনার স্টোরেজে পর্যাপ্ত আইওপিএস না থাকার কারণে। এ কারণে, সারিটি বাড়তে থাকে, এবং 4 এম থেকে ওভারফ্লো হয়। এই মুহুর্তে, আপনি এতটা সারিবদ্ধ ডেটা হারাবেন , যা পরে প্রতিফলিত হয়, আপনার গ্রাফের এলোমেলো 'ফাঁক' হিসাবে। আপনার সিস্টেমটি যে পরিমাণে মেট্রিকগুলি গ্রহণ করছে তার সাথে সামঞ্জস্য রাখতে পারে না । এটি ভরাট এবং উপচে পড়া চালিয়ে যায়

আশ্চর্যের বিষয় হল, যখন ক্যাশের আকার বেড়ে যায় তখন সিপিইউজেজটি 100% (আমাদের কাছে 4 সিপিইউ থাকে) থেকে কিছুটা কমে যায়%

এটি কারণ আপনার সিস্টেমটি অদলবদল শুরু করে এবং সিপিইউগুলি প্রচুর 'অলস সময়' পায়, কারণ আইও অপেক্ষা করে।

প্রসঙ্গ যুক্ত করতে, আমার কাছে এমন একটি সিস্টেমে 500 জনের মতো আইওপিএস সরবরাহ করা হয়েছে যার উপর আমি 40K মেট্রিক পেয়েছি। ক্রু 50K এ স্থিতিশীল।


আমি প্রশ্নে বর্ণিত ঠিক একই সমস্যাটি দেখছি। তবে ডিস্কের ব্যবহার ন্যূনতম (শীর্ষে 0% -3% হিসাবে প্রতিবেদন করা হয়েছে) এবং আমি কেবল স্ট্যাটসডির মাধ্যমে ~ 80 মেট্রিক / গুলি চাপছি। অতএব এটি অসম্ভব বলে মনে হচ্ছে যে আমার কাছে একটি আইও বাটলো আছে। সমস্যাটির কারণ হতে পারে এমন কোনও ধারণা?
হিমান

1

অন্যান্য উত্তরদাতারা ডিস্ক আই / ও বাটনেলেকের উল্লেখ করেছেন। আমি এর অন্য কারণ হিসাবে নেটওয়ার্ক বাধা সম্পর্কে কথা বলব।

আমার পরিবেশে, আমরা সামনের প্রান্তের UI সার্ভারের একটি ক্লাস্টার পরিচালনা করি (httpd, মেমক্যাচড); মিডিল লেয়ার রিলেয়ের আরও একটি ক্লাস্টার (কার্বন-সি-রিলে ফরোয়ার্ডিং এবং সমষ্টি সম্পাদন করছে); এবং একটি ব্যাকএন্ড স্তর (এইচডিডিডি, মেমক্যাচড, কার্বন-সি-রিলে এবং কার্বন-ক্যাশে)

আমাদের একটি সমস্যা হয়েছিল যেখানে আমরা সমষ্টিগত "যোগফল" ফাংশন দ্বারা উত্পাদিত মেট্রিকগুলির ফাঁক দেখতে পাচ্ছিলাম এবং সমষ্টিগত মানগুলিও (খুব কম) ভুল ছিল। মাঝের স্তরটিতে কার্বন-সি-রিলে পুনরায় চালু করার মাধ্যমে সমস্যাটি হ্রাস পাবে, তবে কয়েক ঘন্টা পরে ফাঁকগুলি আবার দেখা দিতে শুরু করবে।

আমাদের মধ্যবর্তী স্তর এবং ব্যাকএন্ড স্তর উভয়তে সংহতকরণ ছিল (ব্যাকএন্ড স্তরটি মধ্য স্তর থেকে এটিতে সংযুক্ত সমষ্টিগত মেট্রিকগুলি একত্রিত করে)।

মাঝের স্তর হোস্টগুলি সিপিইউ বাউন্ডেড ছিল না, ডিস্ক বাউন্ড ছিল না, এবং মেমোরিতে কোনও বাধা ছিল না। এটি এই সমস্যাটির সাথে একত্রিত হয়েছিল যে রিলে প্রক্রিয়াগুলি পুনরায় চালু করার কয়েক ঘন্টা পরে সমস্যাটি উপস্থিত হবে, তার মানে একটি নেটওয়ার্কের বাধা ছিল। আমাদের সমাধানটি ছিল মাঝারি স্তরটিতে আরও হোস্ট যুক্ত করা। তাত্ক্ষণিকভাবে এটি করার ফলে সমষ্টিগত মেট্রিকগুলি সঠিকভাবে সম্পাদন করে এবং ফাঁকগুলি অনুভব করে না।

নেটওয়ার্ক স্ট্যাকের সঠিক জায়গাটি কোথায় ছিল বাধা? আমি তোমাকে বলতে পারিনি। এটি লিনাক্স হোস্টগুলিতে থাকতে পারে; এটি অ্যামাজনের দিকে থাকতে পারত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.