লগ ফাইলের পুনরাবৃত্তি নিদর্শনগুলি সনাক্ত করতে এবং প্রতিবেদন করার জন্য কোনও সরঞ্জাম জানেন? [বন্ধ]

Question

আমার একটি জাভা অ্যাপ্লিকেশন (লগ 4 জ) থেকে কিছু বড় শোরগোল লগ ফাইল (500 মি / দিন) নিরীক্ষণ করা দরকার। এই মুহুর্তে আমি ম্যানুয়ালি ফাইলগুলি লক্ষ্য করি, "ERROR" এর জন্য গ্রেপ এবং আরও অনেক কিছু। তবে কোনও সরঞ্জামের জন্য ফাইলটিতে পুনরাবৃত্তি প্যাটার্নগুলি চিহ্নিত করা, তাদের গণনা করা এবং স্বতন্ত্র এন্ট্রিগুলির বিশদ বিশিষ্ট ড্রিল সরবরাহ করা সম্ভব উচিত। এমন হাতিয়ার কি কেউ জানেন? একটি পাঠ্য বা ওয়েব ভিত্তিক ইউআই সুন্দর হবে।

Comments

আমার কাছে এই প্রশ্নটি একেবারে চিৎকার করে perl।

— জন গার্ডেনিয়ার্স

হুম এটির মতো দেখতে শুরু করে আমাকে প্রচুর গ্রেপ সহ একটি বাশ স্ক্রিপ্ট লিখতে হবে। আমি আশা করি কিছু স্বয়ংক্রিয়ভাবে প্যাটার্নগুলি বের করার আশা করছিলাম।

— ডেভিড টিঙ্কার

সিরিয়াসলি, পার্লটি ঠিক এর জন্য তৈরি হয়েছিল। আপনি এই নিদর্শনগুলির জন্য একটি স্ব-শিক্ষার স্ক্রিপ্ট লিখতে পারেন, যদিও এটি স্পষ্টতই এখানে সুযোগের বাইরে।

— জন গার্ডেনিয়ার্স

stackoverflow.com/questions/2590251/… এর চেইনসো নামক একটি সমাধান রয়েছে।

— জন ওরফে হট

datadoghq.com/blog/log-patterns <- অত্যন্ত সুপারিশ করুন, তবে পাগল ব্যয়বহুল না হলেও এটি অতি সস্তাও নয়।

— নিওকাইল

Answer 1

আমি শুনেছি লোকে লগ ফাইলগুলিতে বায়েশিয়ান ফিল্টারিং প্রয়োগ করে রুটিন লগ এন্ট্রি বনাম আকর্ষণীয় জিনিসগুলি সন্ধান করতে। তারা স্প্যাম ফিল্টার ব্যবহার করেছিল, যেখানে রুটিন আনট্রেস্টিং এন্ট্রিগুলিকে "ভাল" হিসাবে বিবেচনা করা হত এবং অস্বাভাবিকগুলি "স্প্যাম" হিসাবে বিবেচিত হত এবং সেই রঙিনটি ব্যবহার করে তারা স্থান পরিবর্তন করতে সক্ষম হয়েছিল।

এটি আমার কাছে মেশিন লার্নিং স্টাফের মতো প্রচুর শোনায় তবে তারপরে আমি এটি কার্যকরভাবে দেখিনি, কেবল বিয়ারের উপর দিয়ে শুনেছি।

Comments

এটি আমার কাছে পুরোপুরি যুক্তিসঙ্গত বলে মনে হয় এবং আপনার কাছে খুব শক্তিশালী পূর্বে অনুমানও থাকতে পারে (বায়সিয়ান অর্থে) কিছু শব্দ যা সর্বদা সার্ভার লগগুলিতে প্রদর্শিত হয় about

— ড্রিউকনওয়ে

হ্যাঁ এই কাজ করবে। কেউ এমন একটি বাস্তবায়ন জানেন যা আমি প্রশিক্ষণ দিতে পারি?

— ডেভিড টিঙ্কার

আমার ধারণা, সিআরএম 114 দিয়ে একটি শুরু হতে পারে । অথবা ড্রু কনওয়ে তার মেশিন লার্নিং হ্যাকারদের প্রকাশ না করা পর্যন্ত অপেক্ষা করুন । আমি এখনও আমি প্রস্তাবিত যা মূল রেফারেন্স খুঁজে পেতে কাজ করছি।

— অ্যাডামো

হাঁ! আমি 2005 সালে এই ageষি সদস্যদের থ্রেডে এটি আবার পড়েছি । ইমেলটির লেখক স্প্যাম্প্রোবের উল্লেখ করেছেন ।

— অ্যাডামো

Answer 2

স্প্ল্যাঙ্ক এই ধরণের স্টাফের জন্য আশ্চর্য কাজ করে। আমি সমস্ত লগগুলি সংগ্রহ করতে এবং এর দুর্দান্ত ব্রাউজার-ভিত্তিক ইন্টারফেসের মাধ্যমে দ্রুত অনুসন্ধান করতে এটি অভ্যন্তরীণভাবে ব্যবহার করি।

Comments

দুর্ভাগ্যক্রমে আমাদের সম্ভবত অ-মুক্ত সংস্করণ এবং এটি কিছুটা ব্যয়বহুল হতে হবে

— ডেভিড টিঙ্কার

Answer 3

syslog-ng এর একটি প্যাটারডব নামের বৈশিষ্ট্য রয়েছে। আপনি রিয়েল টাইমে তাদের সাথে নিদর্শন তৈরি করতে এবং লগ এন্ট্রিগুলি মিলিয়ে নিতে পারেন তারপর সেই প্রবেশগুলি পৃথক লগফাইলে প্রেরণ করতে পারেন।

Answer 4

সিসলগ-এনজি এবং প্যাটারডব (উপরের উত্তরটির জন্য +1) সন্ধান করার সময়, আমি একটি ওয়েব-ভিত্তিক সরঞ্জামটির মুখোমুখি হয়েছি যার নাম ELSA: http://code.google.com/p/enterprise-log-search-and-archive/ । এটি পারফ এফ / ওএসএস, একটি ওয়েব ইন্টারফেস সহ এবং সত্যই দ্রুত বলে মনে হচ্ছে।

আমি এটি এখনও চেষ্টা করি নি, তবে প্যাটারডেন্ডব ব্যবহার করে একবার ফিল্টারিংয়ের পরে, আমি ইএলএসএ চেষ্টা করব।

Answer 5

চেষ্টা করে দেখুন ক্ষুদে ।
আমি নিশ্চিত নই যে এটি লগ 4 জ ফর্ম্যাটে কাজ করবে কিনা তবে আপনি এটির জন্য একটি কাস্টম ফিল্টার লিখতে সক্ষম হতে পারেন।
পেটিটের কোনও ওয়েব ইন্টারফেস নেই, এটি আপনার শেলটিতে গ্রাফ প্রদর্শন করে (ASCII আর্ট ftw!)।
পুনরাবৃত্তি বার্তাগুলি দ্রুত দেখা এবং কখন ঘটেছিল বা আরও ঘন ঘন ঘটতে শুরু করেছে তা খুঁজে বের করতে এটি খুব দরকারী।

Answer 6

আপনি যদি নিজের সার্ভারে ডেবিয়ান / স্কিজে ব্যবহার করেন তবে লগ 2 মেলটি দেখুন: http://packages.debian.org/squeeze/log2mail

Answer 7

স্ট্রিং এবং রঙের লাইনে ফিল্টার বেস তৈরি করার বা স্ট্রিংয়ের সমস্ত উপস্থিতি পুনরুদ্ধার করার সম্ভাবনা আপনারা হওয়ায় ব্লগ খুব ভাল লগ এক্সপ্লোরার।

http://glogg.bonnefon.org/

Answer 8

স্প্ল্যাঙ্ক সাধারণত এটির জন্য একটি ভাল সমাধান। তবে আপনি উল্লেখ করেছেন যে এটি আপনার পক্ষে খুব ব্যয়বহুল। সুতরাং আমি আপনাকে লগস্ট্যাশ বা গ্রেলোগে দেখার পরামর্শ দিই ।

Answer 9

আপনি SEQREL এর লগএক্সটেন্ডার চেষ্টা করতে পারেন, যা স্বয়ংক্রিয়ভাবে নিদর্শনগুলি সনাক্ত করে এবং একই রকম লগগুলিকে একত্রিত করে। উপায়টি হ'ল ফ্লাইগুলিতে নিয়মিত প্রকাশ তৈরি করা এবং ক্যাশেড রেজেক্স ব্যবহার করে অন্যান্য লগগুলির সাথে মেলে। অতিরিক্ত শ্রেণীবিন্যাস সনাক্তকরণের সাথে আরও গ্রানুলারিটি যুক্ত করা যেতে পারে। একটি বিনামূল্যে সংস্করণ https://try.logxtender.net এর অধীনে ডাউনলোড করা যায় ।