লগস্ট্যাশ নিরীক্ষণ কিভাবে সেরা?

Question

আমি এই প্রশ্নটি কয়েক বার মেলিং তালিকায় দেখেছি তবে সন্তোষজনক উত্তর পাই নি।

পাইপলাইন আটকে নেই তা নিরীক্ষণ করার জন্য কীভাবে সেরা? ক্লায়েন্ট -> লগস্ট্যাশ -> স্থিতিস্থাপক।

লগস্ট্যাশ এবং বিশেষত স্থিতিস্থাপক অনুসন্ধানগুলি অনাহার অনাহারে প্রবণ। তারা ছেড়ে গেছে যেখানে বাছতে তারা উভয়ই দুর্দান্ত কিন্তু ঠিক কীভাবে লোকেরা তাদের নজরদারিগুলি পর্যবেক্ষণ করছে?

মতামত স্বাগত।

Comments

লগস্ট্যাশের নাড়ি কীভাবে চেক করবেন এটি

— jBee

Answer 1

ব্যক্তিগতভাবে আমি দেখতে পাচ্ছি যে রেডিস এখনও সেন্ট্রাল লগিং হোস্টের জন্য উপযুক্ত, যা এলএস + ইএস এর প্রবাহিত।

যেমন: redis-cli llen logstashকিছু নির্দিষ্ট সংখ্যার চেয়ে কম।

এটি ইঙ্গিত দিতে পারে না যে লগগুলি যদিও আবার redis এ প্রদর্শিত হচ্ছে তবে এটি আমার অনুমান হিসাবে খুব বেশি চেক করা যায়।

চেক করার মতো কিছু যা redis-cli info | grep total_commands_processedবাড়তে থাকে, হতে পারে?

Comments

আরও লগ ইন রোল ইন হিসাবে এটি কি বাড়তে থাকবে না? আমাদের মোট এলপিওপি দরকার হবে। অথবা এলএলএন খুব বেশি বড় হয়ে গেলে সতর্ক করতে পারে?

— ড্যান গারথওয়েট

হাঁ। আমি এটি খারাপভাবে বলেছি, আমি পরীক্ষা করে দেখছি যে ল্লেন কিছু সংখ্যার চেয়ে কম এবং যদি তা না হয় তবে সতর্কতা অবলম্বন করি।

— সাইরেক্স

total_commands_processedলগস্ট্যাশ পোলিং থেকে না থাকলে কি সর্বদা ইনক্রিমেন্ট হবে না info?

— ড্যান গার্থওয়েট

Answer 2

আমি আমার পরিবেশে জাব্বিক্স ব্যবহার করি তবে আমি মনে করি এই পদ্ধতিটি অন্যান্য সেটআপগুলিতেও কাজ করতে পারে। আমি নিম্নলিখিত কমান্ডটি কনফিগার করেছি যা zabbix ব্যবহার করার অনুমতি দেয়:

UserParameter=elasticsearch.commits,/usr/bin/curl -s 'localhost:9200/_cat/count?v' | /bin/sed -n '2p' | /bin/awk '{print $3}'

এটি প্রতিশ্রুতিবদ্ধ স্থিতিস্থাপক রেকর্ডের সংখ্যা ফিরিয়ে দেবে। সুতরাং আমি এই মানটি নিয়েছি এবং আমি সর্বশেষ নমুনা গ্রহণের পর থেকে সেকেন্ডের সংখ্যার সাথে বিভক্ত হয়েছি (আমি প্রতি মিনিটে যাচাই করি), যদি এই সংখ্যাটি একটি স্বেচ্ছাসেবী সীমা ছাড়িয়ে যায় তবে আমি এটিকে সতর্ক করতে পারি। লগস্ট্যাশ পিআইডি মারা গেছে কিনা তা যাচাই করতে আমি জাবিবিক্স ব্যবহার করি এবং এটিও সতর্ক করে দিয়ে নীচের কমান্ডটি চালাচ্ছি:

UserParameter=elasticsearch.health,/usr/bin/curl -s 'http://localhost:9200/_cluster/health?pretty=true' | /bin/sed -n '3p' | /bin/awk -F'\"' '{print $4}' | /bin/sed s/yellow/0/ | /bin/sed s/green/0/ | /bin/sed s/red/1/

যদি ক্লাস্টারের স্বাস্থ্য লাল হয়ে যায় তবে এটি 1 ফিরে আসবে (হলুদ এবং সবুজ ঠিক আছে), যা আমি সতর্ক করতেও পারি।

Answer 3

আপনার চূড়ান্ত শেষ পয়েন্টে (যেমন ইলাস্টিকের অনুসন্ধান) প্রতি সেকেন্ডে লগগুলি কিছু বেসলাইনের উপরে রয়েছে তা পরীক্ষা করে দেখুন।

এটি হ'ল, শেষের চেক শেষ করুন, যদি আপনার শেষ ফলাফলটি সঠিকভাবে কাজ করে তবে আপনি জানেন যে পাইপলাইনের সমস্ত পদক্ষেপগুলি সঠিকভাবে কাজ করে।

আপনার যদি ঘন ঘন সমস্যা হয়, বা আরও ভাল অন্তর্নির্মাণের প্রয়োজন হয় তবে উপরের পরামর্শ মতো পাইপলাইনের প্রতিটি টুকরো রেডিসের মতো শুরু করুন।

Answer 4

আমরা বেশ কয়েকটি পদ্ধতি ব্যবহার করি:

1. Monit তাদের পুনরায় চালু করার ইলাস্টিক এবং Logstash পোর্ট শোনার এবং
2. কিছু ক্ষেত্রে যখন খারাপ কিছু ঘটেছিল এবং মনিট সম্ভাবনা থেকে সমস্ত কিছু ঠিক আছে, তবে লগগুলি সেবন / সংরক্ষণ করা হয় না সেখানে একটি সহজ স্ক্রিপ্ট রয়েছে যা প্রতি ঘন্টা সক্রিয় সূচি পরীক্ষা করে এবং নথি গণনা সংক্রান্ত সতর্কতাগুলি শেষ মুহুর্তে পরিবর্তিত হয় নি।