এইচপি DL380p জেন 8 (p420i নিয়ামক) এক্সএফএস পার্টিশনের আই / ও বিজোড়তা


14

DL380p জেন 8 সার্ভারগুলিতে LVM এর শীর্ষে XF ব্যবহার করে 6 টি ডিস্ক সহ রেড 1 + 0 থাকে, ডিস্কের দশগুণ বৃদ্ধির ফলে অভিন্ন কাজের চাপ RHEL 5 এর সাথে আরএইচএল 5 এর সাথে লেখেন, অ্যাপ্লিকেশনগুলিকে অযোগ্য করে তোলে।

নোট করুন যে আমি যতটা সম্ভব Co6 সিস্টেমটি অনুকূলকরণের দিকে লক্ষ্য করছি না, তবে কেন কো -6 এত বর্বর আচরণ করে তা বুঝতে এবং এটি সমাধান করা।

vmstat / iostat

মাইএসকিএল 5.5 ব্যবহার করে আমাদের একটি মাইএসকিউএল প্রতিলিপি সেটআপ রয়েছে। ওপেন হিসাবে RHEL 6 ব্যবহার করে জেন 8 সার্ভারগুলিতে মাইসকিএল ক্রীতদাসগুলি খারাপভাবে সঞ্চালন করে, ভিএমস্ট্যাট এবং আইওস্ট্যাট দিয়ে পরীক্ষা করে দেখা যায় যে এই সার্ভারগুলি পৃষ্ঠার কার্যকলাপের দশগুণ এবং ডিস্ক সাবসিস্টেমটিতে লেখার পরিমাণের দশগুণ বেশি করে। ব্লকট্রেস দেখায় যে এই লেখাগুলি মাইএসকিএল দ্বারা নয়, কার্নেল দ্বারা শুরু হয়েছিল।

সেন্টস 5:

[dkaarsemaker@co5 ~]$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0     12 252668 102684 10816864    0    0     8   124    0    0  9  1 90  0  0
 1  0     12 251580 102692 10817116    0    0    48  2495 3619 5268  6  1 93  0  0
 3  0     12 252168 102692 10817848    0    0    32  2103 4323 5956  6  1 94  0  0
 3  0     12 252260 102700 10818672    0    0   128  5212 5365 8142 10  1 89  0  0

[dkaarsemaker@co5 ~]$ iostat 1
Linux 2.6.18-308.el5 (bc290bprdb-01.lhr4.prod.booking.com)  02/28/2013

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           8.74    0.00    0.81    0.25    0.00   90.21

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      277.76       399.60      5952.53 2890574849 43058478233
cciss/c0d0p1      0.01         0.25         0.01    1802147      61862
cciss/c0d0p2      0.00         0.01         0.00     101334      32552
cciss/c0d0p3    277.75       399.34      5952.52 2888669185 43058383819
dm-0             32.50        15.00       256.41  108511602 1854809120
dm-1            270.24       322.97      5693.34 2336270565 41183532042

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.49    0.00    0.79    0.08    0.00   91.64

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      300.00        32.00      4026.00         32       4026
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    300.00        32.00      4026.00         32       4026
dm-0              0.00         0.00         0.00          0          0
dm-1            300.00        32.00      4026.00         32       4026

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.25    0.00    0.46    0.21    0.00   95.09

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      507.00       160.00     10370.00        160      10370
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    507.00       160.00     10370.00        160      10370
dm-0              0.00         0.00         0.00          0          0
dm-1            507.00       160.00     10370.00        160      10370

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.33    0.00    0.50    0.08    0.00   94.09

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      318.00        64.00      4559.00         64       4559
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    319.00        64.00      4561.00         64       4561
dm-0              0.00         0.00         0.00          0          0
dm-1            319.00        64.00      4561.00         64       4561

এবং সেন্টোস 6 এ পেজড আউট এবং ডিস্কের দশগুণ বৃদ্ধি রয়েছে:

[root@co6 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 361044  52340 81965728    0    0    19  1804   36  110  1  1 98  0  0  
 0  0      0 358996  52340 81965808    0    0   272 57584 1211 3619  0  0 99  0  0  
 2  0      0 356176  52348 81966800    0    0   240 34128 2121 14017  1  0 98  0  0 
 0  1      0 351844  52364 81968848    0    0  1616 29128 3648 3985  1  1 97  1  0  
 0  0      0 353000  52364 81969296    0    0   480 44872 1441 3480  1  0 99  0  0  

[root@co6 ~]# iostat 1
Linux 2.6.32-279.22.1.el6.x86_64 (bc291bprdb-01.lhr4.prod.booking.com)  02/28/2013  _x86_64_    (32 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.08    0.00    0.67    0.27    0.00   97.98

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             373.48      1203.02    115203.05   11343270 1086250748
dm-0             63.63        74.92       493.63     706418    4654464
dm-1            356.48      1126.72    114709.47   10623848 1081596740

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.25    0.00    0.19    0.06    0.00   99.50

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             330.00        80.00     77976.00         80      77976
dm-0              0.00         0.00         0.00          0          0
dm-1            328.00        64.00     77456.00         64      77456

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.38    0.00    0.19    0.63    0.00   98.81

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             570.00      1664.00    128120.00       1664     128120
dm-0              0.00         0.00         0.00          0          0
dm-1            570.00      1664.00    128120.00       1664     128120

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.66    0.00    0.47    0.03    0.00   98.84

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             317.00       448.00     73048.00        448      73048
dm-0             34.00         0.00       272.00          0        272
dm-1            309.00       448.00     72776.00        448      72776

নিচে সংকুচিত

জেনারেল 8 সার্ভারগুলি যারা আরএইচইল 5 ব্যবহার করে এবং জেন 7 সার্ভারগুলি আরএইচএল 5 বা 6 ব্যবহার করে তারা এই সমস্যাটি দেখায় না। তদ্ব্যতীত, আমাদের ডিফল্ট xfs এর পরিবর্তে এক্সট্রি 3 সহ ফাইলটি সিস্টেম হিসাবে RHEL 6 সমস্যাটি দেখায় না। সমস্যাটি সত্যই এক্সএফএস, জেন 8 হার্ডওয়্যার এবং সেন্টোস 6 এর মধ্যে রয়েছে বলে মনে হচ্ছে R আরএইচএল 6ও সমস্যাটি দেখায়।

29/04 সম্পাদনা করুন: আমরা ক্লোগিক এইচবিএর টি জি 8 মেশিন যুক্ত করেছি। ফাইবার চ্যানেল স্টোরেজে এক্সএফএস ব্যবহার করা সমস্যাটি দেখায় না। সুতরাং এটি অবশ্যই xfs / hpsa / p420i এর মধ্যে মিথস্ক্রিয়াতে কোথাও।

XFS দ্বারা

রেল 8-র নতুন এক্সএফএস অন্তর্নিহিত স্ট্রাইপ প্রস্থ সনাক্ত করতে সক্ষম বলে মনে হচ্ছে, তবে সিসিসিস ব্যবহার করে p410i নিয়ামক নয়, কেবল hpsa ড্রাইভার ব্যবহার করে p420i নিয়ামকগুলিতে।

xfs_info আউটপুট:

[root@co6 ~]# xfs_info /mysql/bp/
meta-data=/dev/mapper/sysvm-mysqlVol isize=256    agcount=16, agsize=4915136 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=78642176, imaxpct=25
         =                       sunit=64     swidth=192 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal               bsize=4096   blocks=38400, version=2
         =                       sectsz=512   sunit=64 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

উপরের ঠিক হিসাবে চিহ্নিত সমস্ত সেটআপে সুনিট / প্রস্থ উভয়ই 0 টি are আমরা এমকেএফএস বা নোলাইন মাউন্ট বিকল্পের সাহায্যে এটি পরিবর্তন করতে অক্ষম বলে মনে করি। এটি কারণ কিনা তা আমরা জানি না।

Hugepages

রেল on-এ এক্সএফএসের সমস্যা থাকা অন্যান্য ব্যক্তিরা বলেছেন যে হিটপেজগুলি অক্ষম করা এবং বিশেষত স্বচ্ছ হিটপেজগুলি উপকারী হতে পারে। আমরা উভয় অক্ষম করেছি, সমস্যাটি যায় নি।

আমরা ইতিমধ্যে অনেকগুলি জিনিস চেষ্টা করেছি এবং পর্যবেক্ষণ করেছি, নিম্নলিখিতগুলির মধ্যে কেউ সাহায্য করেনি:

  • মেমরি বরাদ্দকে প্রভাবিত করতে নিউম্যাক্টল ব্যবহার করা। আমরা লক্ষ্য করেছি যে জি 7 এবং জি 8 এর আলাদা আলাদা নুমা লেআউট রয়েছে, কোনও প্রভাব দেখা যায়নি
  • নতুন কার্নেলগুলি (৩.6 হিসাবে নতুন) এটি সমাধান করে বলে মনে হচ্ছে না। উভয়ই ফেডোরা 17 ব্যবহার করেনি।
  • আইওস্ট্যাট লিখিত লেনদেনের দশগুণ বৃদ্ধি রিপোর্ট করে না, কেবল লিখিত বাইটের সংখ্যায়
  • বিভিন্ন I / O সময়সূচী ব্যবহারের কোনও প্রভাব নেই।
  • প্রাসঙ্গিক ফাইল সিস্টেম নোয়াটাইম / নোবারিয়ার / নপডিরটাইম মাউন্ট করা কোনও উপকারে আসেনি
  • / Proc / sys / vm / নোংরা_আরটিও পরিবর্তনের কোনও প্রভাব ছিল না
  • এটি 2640 এবং 2670 সিপিইউতে ভিত্তিক সিস্টেমে উভয়ই ঘটে
  • hpsa-3.2.0 সমস্যাটি ঠিক করে না

আপনার এক্সএফএস mkfs.xfsএবং mountবিকল্পগুলি দেখান । EL6 হ'ল পার্টিশন-অ্যালাইনমেন্ট সচেতন। এইচপিএসএ EL6 এর অধীনে উভয় স্মার্ট অ্যারে নিয়ামক প্রকারের জন্য ব্যবহৃত হবে তবে EL5 সিসিআইএসএস ব্যবহার করবে।
ইয়েওয়াইট

mkfs বিকল্পগুলি: কোনওটি নয়। মাউন্ট লাইন: / dev / mapper / sysvm-mysqlVol অন / mysql / বিপি টাইপ xfs (rw, বরাদ্দ = 1 মি)। পোস্টে সম্পূর্ণ xfs_info আউটপুট যুক্ত করবে।
ডেনিস কার্সেমেকার

সুতরাং সমাধান কি ছিল?
ew white

উত্তর:


7

এক্সএফএস এবং ইএল 6 একটি কুৎসিত অবস্থায় পড়েছে ... আমি রেড হ্যাট কার্নেলের অভ্যন্তরে বেশ কয়েকটি প্রবাহের বৈশিষ্ট্য / পরিবর্তনগুলির কারণে EL6 সিস্টেমে এক্সএফএস ত্যাগ করেছি ...

এটি একটি আশ্চর্যজনক হয়েছিল এবং কিছুটা আতঙ্ক সৃষ্টি করেছিল: কেন আমার এক্সএফএস ফাইল সিস্টেমগুলি হঠাৎ করে আরও বেশি জায়গা এবং স্পার ফাইল সহ পূর্ণ ব্যবহার করছে?

নভেম্বর 2012 সাল থেকে, XFS দ্বারা সংস্করণ নতুন চেয়ে হওয়া কার্নেলে শিপিং 2.6.32-279.11.1.el6রেড হ্যাট থেকে গৌন একটি বিরক্তিকর লোড এবং কর্মক্ষমতা সমস্যা আছে Bugzilla- তে 860787 । তার পর থেকে আমার অপ্রত্যাশিত পারফরম্যান্স এবং গড়ের তুলনায় বেশি রানের সারি রয়েছে।

নতুন সিস্টেমগুলির জন্য, আমি জেডএফএস বা কেবল এক্সট 4 ব্যবহার করছি। পুরানো সিস্টেমগুলির জন্য, আমি এগুলিকে জমা করছি 2.6.32-279.11.1.el6

এটির সাথে সেই সংস্করণটিতে ফিরে যাওয়ার চেষ্টা করুন:

yum install kernel-2.6.32-279.11.1.el6.x86_64

উপরোক্তগুলি ছাড়াও, আপনি যে ধরণের রেড নিয়ন্ত্রক ব্যবহার করছেন তার কারণে, সাধারণ অপ্টিমাইজেশনগুলি ক্রমযুক্ত:

আপনার এক্সএফএস ফাইল সিস্টেমগুলি মাউন্ট করুন noatime। আপনার সাথে টিউনড ফ্রেমওয়ার্কটিও লাভ করা উচিত :

tuned-adm profile enterprise-storage

রিডহেড, নোবারিয়ার এবং আই / হে লিফটকে একটি ভাল বেসলাইনে সেট করতে।


সম্পাদনা:

এক্সএফএস ফাইল সিস্টেম অপ্টিমাইজেশনকে ঘিরে প্রচুর প্রস্তাবনা রয়েছে। আমি গত দশকের জন্য একচেটিয়াভাবে ফাইল সিস্টেমটি ব্যবহার করেছি এবং অপারেটিং সিস্টেমের অন্তর্নিহিত পরিবর্তনগুলি হওয়ায় মাঝে মাঝে পরামিতিগুলি সামঞ্জস্য করতে হয়েছিল। আমি আপনার মতো নাটকীয় পারফরম্যান্স হ্রাস পাইনি, তবে আমি এলভিএমও ব্যবহার করি না।

আমি মনে করি যে বিভিন্ন কার্নেল জেনারেশন, সংকলিত ডিফল্ট, সময়সূচী, প্যাকেজ ইত্যাদির প্রেক্ষিতে EL5 EL6 এর মতো একইভাবে কাজ করা আশা করা অযৌক্তিক able

কি হবে আমি এই সময়ে কি ??

  • আমি mkfs.xfs পরামিতি এবং আপনি সিস্টেমগুলি কীভাবে তৈরি করছেন তা পরীক্ষা করব। আপনি কি ইনস্টলেশনের সময় এক্সএফএস বিভাজন ব্যবহার করছেন বা সত্যতার পরে পার্টিশন তৈরি করছেন? আমি প্রধান ওএস ইনস্টলেশন অনুসরণ করে এক্সএফএস ফাইল সিস্টেম তৈরি করি কারণ প্রদত্ত প্যারামিটারগুলিতে আমার আরও নমনীয়তা রয়েছে।

  • আমার mkfs.xfs তৈরির পরামিতিগুলি সহজ: mkfs.xfs -f -d agcount=32 -l size=128m,version=2 /dev/sdb1উদাহরণস্বরূপ।

  • আমার মাউন্ট বিকল্পগুলি হ'ল : noatime,logbufs=8,logbsize=256k,nobarrierআমি এক্সএফএস গতিশীল পূর্বরূপটি দেশীয়ভাবে চলতে দেব এবং আপনার এখানে যেমন আছে তেমন সীমাবদ্ধ রাখব না। আমার পারফরম্যান্স এটি দিয়ে উন্নত।

  • সুতরাং আমি এলভিএম ব্যবহার করি না । বিশেষত হার্ডওয়্যার র‌্যাডের শীর্ষে ... বিশেষত এইচপি স্মার্ট অ্যারে নিয়ন্ত্রকগুলিতে, যেখানে ডিভাইসে স্থানীয় কিছু এলভিএম-জাতীয় ফাংশন রয়েছে। তবে, এলভিএম ব্যবহার করে আপনার fdiskকাঁচা পার্টিশন তৈরির অ্যাক্সেস নেই । EL5 থেকে EL6 এ পরিবর্তিত একটি জিনিস হ'ল ইনস্টলারের মধ্যে পার্টিশন সারিবদ্ধকরণ এবং সিলিন্ডারের সীমানায় প্রারম্ভিক ক্ষেত্রটি সেট করতে fdisk এ পরিবর্তন করা।

  • নিশ্চিত হয়ে নিন যে আপনি আপনার এইচপি স্মার্ট অ্যারে নিয়ন্ত্রক এবং ড্রাইভগুলি বর্তমান সংশোধন স্তরে চালাচ্ছেন। এই মুহুর্তে, প্রোএলিয়েন্ট ফার্মওয়্যার সংশোধনের জন্য পুরো সার্ভারটি বর্তমান এইচপি পরিষেবা প্যাকটিতে আপডেট করা বোধগম্য । এটি একটি বুটেবল ডিভিডি যা সিস্টেমের সমস্ত সনাক্তকারী উপাদানগুলিকে আপগ্রেড করবে।

  • আমি RAID নিয়ামক সেটিংস চেক করব। আউটপুট আটকান hpacucli ctrl all show config detailএই আমার। আপনি লেখার বিরুদ্ধে বনাম প্রতি ক্যাশে অনুপাত চান। 75:25 আদর্শ। এই অ্যাপ্লিকেশনটির জন্য 256Kএর ডিফল্ট স্ট্রিপ আকারটি সূক্ষ্ম হওয়া উচিত।

  • আমি সম্ভবত এলভিএম ছাড়াই এটি চেষ্টা করতাম।

  • আপনার sysctl.confপরামিতি কি?


দুর্ভাগ্যক্রমে, পুরানো কার্নেল একই আচরণ দেখায়।
ডেনিস কারসেমেকার

এলভিএম ছাড়াই পরীক্ষা করুন।
ew white

1

আমাদের অনুরূপ সমস্যা ছিল এবং আমরা এটি এক্সএফএস লগ সংস্করণ পরিবর্তনের কারণে পেয়েছি। সংস্করণ 2 লগগুলি mkfs.xfs এর সাথে ব্যবহৃত স্ট্রাইপ প্রস্থের সেটকে সম্মান করে। যদি আপনি প্রচুর মনস্তাত্ত্বিক কাজ করেন তবে আপনার রেইড কার্ডটি সেই লগগুলি আর লিখতে জাল করতে পারে না। আপনি কোনও সুইডিং সেটিং ছাড়াই পার্টিশন ফর্ম্যাট করে এটি পরীক্ষা করতে পারেন (এটি RAID 1 + 0 এর সাথে কোনও পার্থক্য করে না)। এটিতে অনেক লগ আপডেট জড়িত কিনা তা দেখতে আপনি ব্লকট্রেস / সিকওয়্যাচারের সাথে যাচাই করতে পারেন।


আপনার mkfs.xfsকমান্ড স্ট্রিং কি?
ইয়েওয়াইট

আমি নিজেই একটি উত্তর সরবরাহ করার অর্থ করছি, কারণ শেষ পর্যন্ত এটি আমরা পেয়েছি। আপনার উত্তরটি সমাধানের অংশ, তবে এটি সব নয়।
ডেনিস কারসেমেকার

mkfs.xfs -f / your_dev
মিজিয়াং
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.