আপনি ইউনিক্স / লিনাক্স মেশিনগুলি থেকে লগ ফাইলগুলি কীভাবে বিশ্লেষণ করছেন? আমরা বেশ কয়েক'শ সার্ভার চালাই যা প্রত্যেকে সরাসরি বা সিসলগের মাধ্যমে সকলেই নিজস্ব লগ ফাইল উত্পন্ন করে। এগুলিকে একত্রিত করার জন্য এবং গুরুত্বপূর্ণ ইভেন্টগুলি বেছে নেওয়ার জন্য আমি একটি শালীন সমাধান খুঁজছি। এই সমস্যাটি 3 টি ভাগে বিভক্ত হয়:
1) বার্তা পরিবহন
ক্লাসিক উপায়টি হ'ল দূরবর্তী হোস্টের বার্তাগুলি লগ করতে সিসলগ ব্যবহার করা। এটি সিস্টেমে লগ ইন করা অ্যাপ্লিকেশনগুলির জন্য সূক্ষ্ম কাজ করে তবে স্থানীয় অ্যাপ্লিকেশনগুলিতে লিখিত অ্যাপ্লিকেশনগুলির জন্য কম দরকারী। এর সমাধানগুলির মধ্যে অ্যাপ্লিকেশনটি কোনও সিস্টেমে সিসলগ ব্যবহার করে বার্তা প্রেরণের জন্য কোনও ফিফোতে সংযুক্ত হওয়া বা স্থানীয় ফাইলগুলি গ্রেপ করে আউটপুটটিকে কেন্দ্রীয় সিসলগ হোস্টে প্রেরণ করার মাধ্যমে কোনও অ্যাপ্লিকেশনটিতে সংযুক্ত থাকতে পারে। তবে, আমরা যদি সিসলগে মেসেজ আনার জন্য সরঞ্জামগুলি লেখার সমস্যায় যাই তবে আমরা কি ফেসবুকের স্ক্রাইব জাতীয় কিছু দিয়ে পুরো লটটি আরও ভালভাবে প্রতিস্থাপন করব যা সিসলগের চেয়ে আরও নমনীয়তা এবং নির্ভরযোগ্যতা দেয়?
2) বার্তা সমষ্টি
লগ এন্ট্রি দুটি প্রকারের মধ্যে পড়ে বলে মনে হচ্ছে: প্রতি হোস্ট এবং প্রতি-পরিষেবা। প্রতি হোস্ট বার্তাগুলি হ'ল যা একটি মেশিনে ঘটে; ডিস্ক ব্যর্থতা বা সন্দেহজনক লগিনগুলি ভাবেন। প্রতি-পরিষেবা বার্তাগুলি বেশিরভাগ বা সমস্ত পরিষেবা চালিত হোস্টের উপরে ঘটে। উদাহরণস্বরূপ, অ্যাপাচি যখন একটি এসএসআই ত্রুটি খুঁজে পায় আমরা জানতে চাই তবে 100 মেশিন থেকে আমরা একই ত্রুটিটি চাই না। সব ক্ষেত্রে আমরা কেবলমাত্র প্রতিটি ধরণের বার্তার মধ্যে একটি দেখতে চাই: আমরা একই বার্তাটি 10 টি বার্তা চাই না যা একই ডিস্ক ব্যর্থ হয়েছে, এবং প্রতিবার কোনও ভাঙা এসএসআই আঘাত হানে আমরা কোনও বার্তা চাই না।
এটি সমাধানের জন্য একটি পদ্ধতি হ'ল প্রতিটি হোস্টের একই ধরণের একাধিক বার্তাগুলিকে একত্রিত করা, কেন্দ্রীয় সার্ভারে বার্তাগুলি প্রেরণ করুন এবং তারপরে একই ধরণের সামগ্রিক বার্তাগুলিকে একটি সামগ্রিক ইভেন্টে রূপান্তর করা। সের এটি করতে পারে তবে এটি ব্যবহার করা বিশ্রী। কয়েকদিন বেঁচে থাকার পরেও আমি কেবলমাত্র প্রাথমিক অ্যাসিগ্রেশন কাজ করেছিলাম এবং ঘটনার সাথে সম্পর্কিত করতে লারিক এসইআর দ্বারা ক্রমাগত সন্ধান করতে হয়েছিল। এটি শক্তিশালী তবে কৌশলযুক্ত জিনিস: আমার এমন কিছু জিনিস দরকার যা আমার সহকর্মীরা খুব কম সময়ের মধ্যে বেছে নিতে এবং ব্যবহার করতে পারে। সের নিয়মগুলি সেই প্রয়োজনীয়তাটি পূরণ করে না।
3) সতর্কতা উত্পন্ন
যখন আকর্ষণীয় কিছু ঘটে তখন আমরা কীভাবে আমাদের প্রশাসকদের বলি? গ্রুপ ইনবক্সে মেইল করবেন? নাগিস ইনজেকশন?
সুতরাং, আপনি এই সমস্যাটি কীভাবে সমাধান করছেন? আমি কোনও প্লেটে উত্তর আশা করি না; আমি নিজেই বিশদগুলি নিয়ে কাজ করতে পারি তবে একটি সাধারণ সমস্যা কী তা নিয়ে কিছু উচ্চ স্তরের আলোচনা দুর্দান্ত great এই মুহুর্তে আমরা ক্রোন জবস, সিসলগ এবং ইভেন্টগুলি খুঁজে বের করার জন্য আর কী কী জানে তার একটি মিশ্মাশ ব্যবহার করছি। এটি এক্সটেনসিবল, রক্ষণাবেক্ষণযোগ্য বা নমনীয় নয় এবং এর ফলে আমরা প্রচুর জিনিস মিস করি না।
আপডেট হয়েছে: আমরা ইতিমধ্যে পর্যবেক্ষণের জন্য নাগিওস ব্যবহার করছি যা সনাক্ত করা হোস্ট / টেস্টিং পরিষেবা / ইত্যাদির জন্য দুর্দান্ত তবে লগ ফাইলগুলি স্ক্র্যাপ করার জন্য কম দরকারী। আমি জানি নাগিওসের জন্য লগ প্লাগইন রয়েছে তবে আমি প্রতি হোস্ট সতর্কতাগুলির চেয়ে আরও বেশি স্কেলযোগ্য এবং শ্রেণিবদ্ধ কিছুতে আগ্রহী।