একটি রেডিস স্টলে সমস্যা নিবারণ


8

আমাদের সার্ভারে বেশ কয়েকটি রেডিস দৃষ্টান্ত চলছে। সেই সাথে একাধিক ওয়েব টায়ার সার্ভার সংযুক্ত রয়েছে যেগুলি একই সময়ে স্টলের অভিজ্ঞতা অর্জন করে।

আমাদের সেই সময় প্যাকেট ক্যাপচারগুলি ছিল, যা সনাক্ত করেছিল যে সেখানে নীচের ওয়্যারশার্ক আইও গ্রাফ অনুসারে টিএক্স এবং আরএক্স উভয় ট্র্যাফিকের মধ্যে একটি স্টল প্রাচীর রয়েছে:

এখানে চিত্র বর্ণনা লিখুন

এখানে চিত্র বর্ণনা লিখুন

রেডিস কলগুলিতে একটি সম্পর্কযুক্ত স্পাইক ছিল, তবে আমার সন্দেহ হয় যে সময় পিছনে থাকার কারণে এটি একটি প্রভাব ছিল এবং কারণ নয়:

এখানে চিত্র বর্ণনা লিখুন

15 / s স্যাম্পলিং ব্যবধানের সাথে (এটি কাউন্টার হিসাবে সংগ্রহ করা হয়) গড়ে 136 মেমরি বরাদ্দ স্টল ছিল:

এখানে চিত্র বর্ণনা লিখুন

একই সময়ে স্থানান্তরিত হওয়া NUMA পৃষ্ঠাগুলির সাধারণ সংখ্যার বাইরেও রয়েছে বলে মনে হয়েছিল:

এখানে চিত্র বর্ণনা লিখুন

যদিও উপরেরটি দেখতে সাধারণ দেখাচ্ছে, তবুও এর জন্য দুটি পরপর তথ্য পয়েন্ট ছিল যা এটি গ্রাফটিতে দেখা 300 এর উপরে স্পাইকগুলির তুলনায় অস্বাভাবিক করে তোলে।

মেমোরি কমপশন ব্যর্থতা এবং কমপ্যাকশন স্টলেও পারস্পরিক সম্পর্কযুক্ত স্পাইক ছিল:

এখানে চিত্র বর্ণনা লিখুন

এখানে চিত্র বর্ণনা লিখুন

যদিও এখানে আমার কাছে প্রচুর মেমরির তথ্য রয়েছে তবে আমার লিনাক্স মেমরি জ্ঞানটি এত ভাল নয় যে একটি ভাল গল্পের অনুমান করা যায় যা স্টলটি ব্যাখ্যা করার জন্য এই সমস্ত তথ্যকে একত্রিত করে। গভীর লিনাক্স মেমরি জ্ঞান (এবং সম্ভবত গভীর redis মেমরি জ্ঞান) সহ যে কেউ এই তথ্যের কিছু একসাথে বাঁধতে পারেন?

আমরা 15 টি দ্বিতীয় বিরতিতে / প্রোক / ভিএমস্ট্যাট থেকে সমস্ত পরিসংখ্যান সংগ্রহ করি, সুতরাং সেখানে যদি এমন কোনও ডেটা থাকে যা আপনার মনে হয় এটিতে যুক্ত হতে পারে দয়া করে এটির অনুরোধ করুন। আমি কেবল আকর্ষণীয় ক্রিয়াকলাপ বলে মনে করেছি এমন জিনিসগুলি বেছে নিয়েছি, বিশেষত বরাদ্দ স্টল, নুমা মাইগ্রেশন এবং সংযোগ স্টল / ব্যর্থতা। মোটগুলি অনুসরণ করে এবং 20 দিনের আপটাইম কভার করে:

[kbrandt@ny-redis01: ~] uptime
 21:11:49 up 20 days, 20:05,  8 users,  load average: 1.05, 0.74, 0.69
[kbrandt@ny-redis01: ~] cat /proc/vmstat
nr_free_pages 105382
nr_alloc_batch 5632
nr_inactive_anon 983455
nr_active_anon 15870487
nr_inactive_file 12904618
nr_active_file 2266184
nr_unevictable 0
nr_mlock 0
nr_anon_pages 16361259
nr_mapped 26329
nr_file_pages 15667318
nr_dirty 48588
nr_writeback 0
nr_slab_reclaimable 473720
nr_slab_unreclaimable 37147
nr_page_table_pages 38701
nr_kernel_stack 987
nr_unstable 0
nr_bounce 0
nr_vmscan_write 356302
nr_vmscan_immediate_reclaim 174305
nr_writeback_temp 0
nr_isolated_anon 0
nr_isolated_file 32
nr_shmem 423906
nr_dirtied 3071978326
nr_written 3069010459
numa_hit 1825289996
numa_miss 3360625955
numa_foreign 3360626253
numa_interleave 64798
numa_local 1856473774
numa_other 3329442177
workingset_refault 297175
workingset_activate 24923
workingset_nodereclaim 0
nr_anon_transparent_hugepages 41
nr_free_cma 0
nr_dirty_threshold 3030688
nr_dirty_background_threshold 1515344
pgpgin 25709012
pgpgout 12284206511
pswpin 143954
pswpout 341570
pgalloc_dma 430
pgalloc_dma32 498407404
pgalloc_normal 8131576449
pgalloc_movable 0
pgfree 8639210186
pgactivate 12022290
pgdeactivate 14512106
pgfault 61444049878
pgmajfault 23740
pgrefill_dma 0
pgrefill_dma32 1084722
pgrefill_normal 13419119
pgrefill_movable 0
pgsteal_kswapd_dma 0
pgsteal_kswapd_dma32 11991303
pgsteal_kswapd_normal 1051781383
pgsteal_kswapd_movable 0
pgsteal_direct_dma 0
pgsteal_direct_dma32 58737
pgsteal_direct_normal 36277968
pgsteal_direct_movable 0
pgscan_kswapd_dma 0
pgscan_kswapd_dma32 13416911
pgscan_kswapd_normal 1053143529
pgscan_kswapd_movable 0
pgscan_direct_dma 0
pgscan_direct_dma32 58926
pgscan_direct_normal 36291030
pgscan_direct_movable 0
pgscan_direct_throttle 0
zone_reclaim_failed 0
pginodesteal 0
slabs_scanned 1812992
kswapd_inodesteal 5096998
kswapd_low_wmark_hit_quickly 8600243
kswapd_high_wmark_hit_quickly 5068337
pageoutrun 14095945
allocstall 567491
pgrotated 971171
drop_pagecache 8
drop_slab 0
numa_pte_updates 58218081649
numa_huge_pte_updates 416664
numa_hint_faults 57988385456
numa_hint_faults_local 57286615202
numa_pages_migrated 39923112
pgmigrate_success 48662606
pgmigrate_fail 2670596
compact_migrate_scanned 29140124
compact_free_scanned 28320190101
compact_isolated 21473591
compact_stall 57784
compact_fail 37819
compact_success 19965
htlb_buddy_alloc_success 0
htlb_buddy_alloc_fail 0
unevictable_pgs_culled 5528
unevictable_pgs_scanned 0
unevictable_pgs_rescued 18567
unevictable_pgs_mlocked 20909
unevictable_pgs_munlocked 20909
unevictable_pgs_cleared 0
unevictable_pgs_stranded 0
thp_fault_alloc 11613
thp_fault_fallback 53
thp_collapse_alloc 3
thp_collapse_alloc_failed 0
thp_split 9804
thp_zero_page_alloc 1
thp_zero_page_alloc_failed 0 

সমস্ত / proc / sys / vm / * সেটিংস যদি এটি সহায়তা করে:

***/proc/sys/vm/admin_reserve_kbytes***
8192
***/proc/sys/vm/block_dump***
0
***/proc/sys/vm/dirty_background_bytes***
0
***/proc/sys/vm/dirty_background_ratio***
10
***/proc/sys/vm/dirty_bytes***
0
***/proc/sys/vm/dirty_expire_centisecs***
3000
***/proc/sys/vm/dirty_ratio***
20
***/proc/sys/vm/dirty_writeback_centisecs***
500
***/proc/sys/vm/drop_caches***
1
***/proc/sys/vm/extfrag_threshold***
500
***/proc/sys/vm/hugepages_treat_as_movable***
0
***/proc/sys/vm/hugetlb_shm_group***
0
***/proc/sys/vm/laptop_mode***
0
***/proc/sys/vm/legacy_va_layout***
0
***/proc/sys/vm/lowmem_reserve_ratio***
256 256 32
***/proc/sys/vm/max_map_count***
65530
***/proc/sys/vm/memory_failure_early_kill***
0
***/proc/sys/vm/memory_failure_recovery***
1
***/proc/sys/vm/min_free_kbytes***
90112
***/proc/sys/vm/min_slab_ratio***
5
***/proc/sys/vm/min_unmapped_ratio***
1
***/proc/sys/vm/mmap_min_addr***
4096
***/proc/sys/vm/nr_hugepages***
0
***/proc/sys/vm/nr_hugepages_mempolicy***
0
***/proc/sys/vm/nr_overcommit_hugepages***
0
***/proc/sys/vm/nr_pdflush_threads***
0
***/proc/sys/vm/numa_zonelist_order***
default
***/proc/sys/vm/oom_dump_tasks***
1
***/proc/sys/vm/oom_kill_allocating_task***
0
***/proc/sys/vm/overcommit_kbytes***
0
***/proc/sys/vm/overcommit_memory***
1
***/proc/sys/vm/overcommit_ratio***
50
***/proc/sys/vm/page-cluster***
3
***/proc/sys/vm/panic_on_oom***
0
***/proc/sys/vm/percpu_pagelist_fraction***
0
***/proc/sys/vm/scan_unevictable_pages***
0
***/proc/sys/vm/stat_interval***
1
***/proc/sys/vm/swappiness***
60
***/proc/sys/vm/user_reserve_kbytes***
131072
***/proc/sys/vm/vfs_cache_pressure***
100
***/proc/sys/vm/zone_reclaim_mode***
0

হালনাগাদ:

একটি thp_split আছে যা সময়ের কাছেই রয়েছে:

এখানে চিত্র বর্ণনা লিখুন

উত্তর:


4

/ Proc / sys / vm / অঞ্চল_reclaim এর জন্য আপনার সেটিংটি কী? এটি 0 এ সেট করার চেষ্টা করুন নেট থেকে প্রচুর পরিমাণে স্টাফ থাকে যদি আপনি 'জোন_রেক্লেইম' অনুসন্ধান করেন, তাই আমি এখানে এটিকে পুনরায় পোস্ট করার চেষ্টা করব না।


ইতিমধ্যে এটি শূন্য বলে মনে হচ্ছে[kbrandt@ny-redis01: ~] cat /proc/sys/vm/zone_reclaim_mode 0
কাইল ব্র্যান্ড্ট

1
ঠিক আছে. পরবর্তী স্টপ: স্বচ্ছ বিশালপৃষ্ঠা। দেখে মনে হচ্ছে তারা ব্যবহার করছে: thp_fault_alloc 11613 thp_fault_fallback 53 thp_collapse_alloc 3 thp_collapse_alloc_failed 0 thp_split 9804 thp_zero_page_alloc 1 thp_zero_page_alloc_failed 0 আপনি পুনরায় থিম অক্ষম করতে চান। anteryz.com/news/84 টিএল; ডিআর: প্রতিধ্বনি> </ sys / কার্নেল / মিমি /
স্বচ্ছ_হেজপেজ

একটি thp_split আছে যা একটি নিবিড় পারস্পরিক সম্পর্ক। কিছু রেকর্ডিংয়ে পিছিয়ে পড়ে তবে মনিটরিং এজেন্টের সময়ও প্রভাবিত হতে পারে। গ্রাফ দিয়ে প্রশ্ন আপডেট করেছেন!
কাইল ব্র্যান্ড্ট 0

আমাদের একটি আলোক বিভাজক চলমান চলাকালীন কী ঘটছে তা আমাদের আলোকিত করবেন?
কাইল ব্র্যান্ড্ট

আমরা এটি পুতুল মধ্যে সেট আছে, কিন্তু একটি নির্বাহী হিসাবে। আমি এটি আরসি.লোকালে দেখছি না, সুতরাং আমার বর্তমান অনুমানটি একটি জাতি শর্ত - কার্নেল স্যুইচ সেট হওয়ার আগেই redis শুরু হয়
কাইল ব্র্যান্ড্ট

2

রেডিস যখন চেকপয়েন্টে কাঁটাচামচ করে, লিনাক্স কার্নেলকে লেখার অনুলিপি করার জন্য ম্যাপিং টেবিলগুলি নকল করতে হবে। আপনার যদি প্রচুর র‍্যাম থাকে তবে এটি অনেক সময় নিতে পারে। আমাদের কাছে 200 গিগাবাইট রেডিস উদাহরণ রয়েছে যা কাঁটাচামচ করতে 8 সেকেন্ড সময় নেয় এবং মেশিনটি বিশ্বের কাছে বধির।

ওয়ার্কআরাউন্ডস (সহজ থেকে কঠিন):

  • চেকপয়েন্ট কম প্রায়ই, চেকপয়েন্টের আগে সময় এবং কী গণনা বৃদ্ধি করে
  • একাধিক প্রক্রিয়া উদাহরণগুলিতে আপনার ডেটাটি তীক্ষ্ণ করুন, যার মধ্যে প্রতিটি কম র‌্যাম ব্যবহার করে
  • চেকপয়েন্টের পরিবর্তে চেষ্টা করুন, যদিও এটি মাঝে মধ্যে কাঁটাচামচ হয়ে যায়
  • বিশাল পৃষ্ঠাগুলি চেষ্টা করুন, যদিও আপনার শারীরিক র‍্যাম দ্বিগুণ করার দরকার হতে পারে কারণ চেকপোয়েন্টিং করার সময় প্রায় প্রতিটি জিনিসই নির্ধারণ করা হবে
  • এটি স্ক্রু এবং Postgres সঙ্গে যান
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.