12 সেন্টোস 5.8 এর বেশি সার্ভারের একটি ক্লাস্টারের উপরে, আমি নেটিভ লগস্ট্যাশ শিপার ব্যবহার করে লগস্ট্যাশ স্থাপন করেছি, যা /var/log/*/*.logকেন্দ্রীয় লগস্ট্যাশ সার্ভারে ফিরে পাঠায় ।
আমরা শিপ্পর হিসাবে আরএসস্লগড ব্যবহার করার চেষ্টা করেছি, কিন্তু আরএসস্লগডের ইমফিল মডিউলে একটি বাগের কারণে, যদি দূরবর্তী প্রান্তটি উত্তর না দেয় তবে লগগুলি মেমরির মধ্যে স্তূপিত হয়ে যায়।
আমরা বর্তমানে রেডিসকে পরিবহন প্রক্রিয়া হিসাবে ব্যবহার করছি, সুতরাং লগস্ট্যাশ ০১ এর স্থানীয়ভাবে চলছে, এই লগগুলির জন্য ভিএলএএন-এর আইপিতে আবদ্ধ।
সুতরাং লগস্ট্যাশ-শিপার লগস্ট্যাশ 01 এ redis এ প্রেরণ করে। লগস্ট্যাশ01 একটি পৃথক প্রক্রিয়াতে চলমান ইলাস্টিকসার্ককে প্রেরণ করে।
আমরা যা দেখছি তা এখানে। ইলাস্টিকসারচে 141 টি অবরুদ্ধ থ্রেড রয়েছে। স্থিতিস্থাপক পিতামাতাকে আকর্ষণ করে দেখায়:
futex(0x7f4ccd1939d0, FUTEX_WAIT, 26374, NULL
স্থিতিস্থাপক অনুসন্ধান থেকে এখানে
লগস্ট্যাশ থেকে আসা jstack এখানে
সুতরাং .. গত রাতে, কিছু ওয়েবসার (যারা লগস্ট্যাশ দ্বারা লগগুলি লেজযুক্ত) বাদামে গেছে, যার গড় লোড গড় ৫০০ এরও বেশি।
লগস্ট্যাশ 01 এ, এটি আছে
Dec 19 00:44:45 logstash01 kernel: [736965.925863] Killed process 23429 (redis-server) total-vm:5493112kB, anon-rss:4248840kB, file-rss:108kB
তাই হলে OOM kills-হত্যাকারী redis-সার্ভার, যা বোঝানো লগ সার্ভার যা কাপড় শিপিং হয়েছে .. যার উপর মেমরি স্তূপীকৃত নিহত একরকম মানে যে Apache একটি সুতা তার অবজ্ঞা প্রকাশ করতে ব্যবহৃত পায়। (সত্যি বলতে কীভাবে আমি নিশ্চিত নই, আমি কেবল ধরে নিচ্ছি যে এটি লগটি লেগেছে) ..
ঘটনাগুলি কীভাবে উদ্ঘাটিত হয়েছিল এটি এটি আমার তত্ত্ব:
- আমাদের ট্র্যাফিক ছিল
- প্রচুর পরিমাণে লগ তৈরি হয়েছিল।
- এগুলি রেডিসে পাইলড হয়েছে, কারণ লগস্ট্যাশ / ইলাস্টিক সন্ধান কেবল 300-400 টি নতুন ইভেন্ট / সেকেন্ড সামলাতে সক্ষম বলে মনে হচ্ছে।
- রেডিস পুরোপুরি ভরে গিয়েছিল যেখানে ওওএম-হত্যাকারী নির্বোধভাবে হত্যা করেছিল।
- রেডিস নতুন আইটেম গ্রহণ করা বন্ধ করে দেয়।
- আইটেমগুলি এখন রিমোট হোস্টগুলির পাশে পাইল করা শুরু করে।
- সব কিছু বাদাম হয়ে যায় । অ্যাপাচি অনুরোধগুলি গ্রহণ করা বন্ধ করে দেয়। (কেন?)।
প্রশ্নগুলি হ'ল:
যদি লগকে কিছু ঠিকঠাক করে দেয় তবে অ্যাপাচি কেন বাদাম হয়ে যায়। এটাকে লেজ করা জিনিসটি আপাচে লেখা থেকে বাধা দেয়?
দ্রুত / আরও ভাল / স্থিতিস্থাপক স্থিতিস্থাপক তৈরি করার কোন উপায় আছে কি?
রেডিসকে নমনীয় করে তোলার একটি বুদ্ধিমান উপায় কি ওমড হওয়ার কারণে মারা যায় না
আমি যেভাবে এটি সমস্ত সেট আপ করেছি তাতে কি কোনও মৌলিক ত্রুটি রয়েছে, বা প্রত্যেকেরই এই সমস্যা আছে?
- সম্পাদনা -
@ লিসিসের জন্য কয়েকটি চশমা।
admin@log01:/etc/init$ free -m
total used free shared buffers cached
Mem: 7986 6041 1944 0 743 1157
-/+ buffers/cache: 4140 3845
Swap: 3813 3628 185
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 19G 5.3G 13G 31% /
udev 3.9G 4.0K 3.9G 1% /dev
tmpfs 1.6G 240K 1.6G 1% /run
none 5.0M 0 5.0M 0% /run/lock
none 3.9G 0 3.9G 0% /run/shm
/dev/sda1 90M 72M 14M 85% /boot
/dev/mapper/data-disk 471G 1.2G 469G 1% /data
/dev/sda2 on / type ext3 (rw,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
none on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type devtmpfs (rw,mode=0755)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm type tmpfs (rw,nosuid,nodev)
/dev/sda1 on /boot type ext2 (rw)
/dev/mapper/data-disk on /data type ext3 (rw)
/data/elasticsearch on /var/lib/elasticsearch type none (rw,bind)
log01:/etc/init$ top
top - 14:12:20 up 18 days, 21:59, 2 users, load average: 0.20, 0.35, 0.40
Tasks: 103 total, 1 running, 102 sleeping, 0 stopped, 0 zombie
Cpu0 : 3.0%us, 1.0%sy, 0.0%ni, 95.7%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu1 : 12.0%us, 1.0%sy, 0.0%ni, 86.6%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st
Cpu2 : 4.7%us, 0.3%sy, 0.0%ni, 94.9%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 5.6%us, 1.3%sy, 0.0%ni, 93.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu4 : 5.3%us, 1.3%sy, 0.0%ni, 93.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu5 : 6.4%us, 1.0%sy, 0.0%ni, 92.3%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%st
Mem: 8178120k total, 6159036k used, 2019084k free, 761780k buffers