টিউনিং জেডএফএস স্ক্রাবিং, 141 কেবি / গুলি 15 দিনের জন্য চলছে

14

7.2k আরপিএম স্যাস ডিস্কগুলিতে আয়না + স্ট্রাইপ চালিত একটি চমত্কার বেসিক সিস্টেম, বিশেষভাবে লোড হয়নি। কোনও ডেটাআপ, সমস্ত ডেটাসেটে সংক্ষেপণ নেই। স্ক্রাবটি একটি মৃত শামুকের গতিতে 15 দিন ধরে চলছে। কিছু অপ্টিমাইজেশন রয়েছে যা করা দরকার, বা এটি কিছু ত্রুটিযুক্ত এইচডব্লিউর কারণে হতে পারে?

MD1200 ঘেরের সাথে ডেল আর 510।
2x জিয়ন ই 57620
48GB
NexentaStor 3.1.3, সম্প্রদায় সংস্করণ

কিছু তথ্য:

scan: scrub in progress since Mon Apr  1 19:00:05 2013
171G scanned out of 747G at 141K/s, 1187h40m to go
0 repaired, 22.84% done
config:

    NAME                       STATE     READ WRITE CKSUM
    tank                       ONLINE       0     0     0
      mirror-0                 ONLINE       0     0     0
        c7t5000C500414FB2CFd0  ONLINE       0     0     0
        c7t5000C500414FCA57d0  ONLINE       0     0     0
      mirror-1                 ONLINE       0     0     0
        c7t5000C500415C3B1Bd0  ONLINE       0     0     0
        c7t5000C500415C5E4Fd0  ONLINE       0     0     0
      mirror-2                 ONLINE       0     0     0
        c7t5000C500415DC797d0  ONLINE       0     0     0
        c7t5000C500415DC933d0  ONLINE       0     0     0
    logs
      c7t5000A7203006D81Ed0    ONLINE       0     0     0
    cache
      c7t5000A72030068545d0    ONLINE       0     0     0


# iostat -en     
---- errors --- 
s/w h/w trn tot device
0 8887   0 8887 c2t0d0
0   0   0   0 c0t395301D6B0C8069Ad0
0   0   0   0 c7t5000C500415DC933d0
0   0   0   0 c7t5000A72030068545d0
0   0   0   0 c7t5000C500415DC797d0
0   0   0   0 c7t5000C500414FCA57d0
0   0   0   0 c7t5000C500415C3B1Bd0
0   0   0   0 c7t5000C500415C5E4Fd0
0   0   0   0 c7t5000C500414FB2CFd0
0   0   0   0 c7t5000A7203006D81Ed0

আমি যখনই এটি চালাব ততবারই স্পা_লাস্ট_টি পরিবর্তন হয়

# echo "::walk spa | ::print spa_t spa_name spa_last_io spa_scrub_inflight" | mdb -k
spa_name = [ "syspool" ]
spa_last_io = 0x25661402
spa_scrub_inflight = 0
spa_name = [ "tank" ]
spa_last_io = 0x25661f84
spa_scrub_inflight = 0x21

প্রতি 5 সেকেন্ডে, প্রায় 20-25 এমবি / গুলি লেখা হয়। এই লেখাগুলির মধ্যে মূলত কোনও পড়া বা লেখা নেই।

                          capacity     operations    bandwidth      latency
    pool                       alloc   free   read  write   read  write   read  write
    -------------------------  -----  -----  -----  -----  -----  -----  -----  -----
    syspool                     427G   501G      0      0      0      0   0.00   0.00
      c0t395301D6B0C8069Ad0s0   427G   501G      0      0      0      0   0.00   0.00
    -------------------------  -----  -----  -----  -----  -----  -----  -----  -----
    tank                        903G  1.84T    810  5.21K  1.50M  20.8M   9.42   4.71
      mirror                    301G   627G     22  1.00K  53.0K  3.96M   8.96   3.93
        c7t5000C500414FB2CFd0      -      -     20    244  50.1K  3.97M   6.70   1.14
        c7t5000C500414FCA57d0      -      -     19    242  48.2K  3.97M   7.60   1.12
      mirror                    301G   627G     25   1016  46.8K  4.10M  16.11   5.28
        c7t5000C500415C3B1Bd0      -      -     21    257  41.6K  4.11M   4.63   1.24
        c7t5000C500415C5E4Fd0      -      -     21    255  43.0K  4.11M  16.54   1.15
      mirror                    301G   627G     62    754   119K  3.03M  19.72   3.78
        c7t5000C500415DC797d0      -      -     57    219   114K  3.03M   9.99   1.15
        c7t5000C500415DC933d0      -      -     56    220   119K  3.03M  13.20   1.22
      c7t5000A7203006D81Ed0     260K  46.5G      0      0      0      0   0.00   0.00
    cache                          -      -      -      -      -      -
      c7t5000A72030068545d0    93.1G     8M      0      0      0      0   0.00   0.00
    -------------------------  -----  -----  -----  -----  -----  -----  -----  -----

আইওস্টাটস কি আমাকে বলছে যে ডিস্কের জন্য অপেক্ষা করার জন্য আমি আরও বেশি সময় ব্যয় করছি তখন আমার কি করা উচিত? বিশেষত% খ কলাম

# iostat -xe
device    r/s    w/s   kr/s   kw/s wait actv  svc_t  %w  %b s/w h/w trn tot 
sd3       5.1   43.9   20.6  643.8  0.0  0.1    2.9   0   5   0   0   0   0 
sd4       9.4    1.8  141.1  169.6  0.0  0.0    0.5   0   0   0   0   0   0 
sd5       3.1   43.8   15.8  643.8  0.0  0.1    1.4   0   3   0   0   0   0 
sd6       5.2   38.1   14.3  494.4  0.0  0.1    3.0   0   7   0   0   0   0 
sd7       4.2   40.2   11.1  623.2  0.0  0.1    2.7   0   7   0   0   0   0 
sd8       3.6   44.3    9.7  623.2  0.0  0.1    1.5   0   4   0   0   0   0 
sd9       2.9   37.4    7.0  494.4  0.0  0.1    1.3   0   2   0   0   0   0 
sd10      0.7    0.4    3.4    0.0  0.0  0.0    0.0   0   0   0   0   0   0

উঁচু দিকে একটা বাচ্চা?

# zpool iostat 10 10
               capacity     operations    bandwidth      latency
pool        alloc   free   read  write   read  write   read  write
tank         909G  1.83T     86  2.82K   208K  12.7M  22.68  13.63
----------  -----  -----  -----  -----  -----  -----  -----  -----
tank         909G  1.83T     29    857  42.4K  3.50M  17.86   4.47
----------  -----  -----  -----  -----  -----  -----  -----  -----
tank         909G  1.83T     30    947  46.1K  3.54M  15.55   5.67

কিছু টুইট করা প্রয়োগ করা হয়েছে যা সামান্য পার্থক্য করেছে। zfs_top_maxinflight 127, zfs_scrub_delay 0-এ এবং zfs_scan_idle 0 এ সেট করা হয়েছে।

# echo zfs_top_maxinflight | mdb -k
zfs_top_maxinflight:
zfs_top_maxinflight:            127

# echo zfs_scrub_delay/D |mdb -k
zfs_scrub_delay:
zfs_scrub_delay:0

# echo zfs_scan_idle/D |mdb -k
zfs_scan_idle:
zfs_scan_idle:  0


 scan: scrub in progress since Wed Apr 17 20:47:23 2013
    1.85G scanned out of 918G at 1.14M/s, 229h36m to go
    0 repaired, 0.20% done

প্রাক mdb টুইট, বরং উচ্চ খ% কলাম লক্ষ্য করুন

$ iostat -nx -M 5

  r/s    w/s   Mr/s   Mw/s wait actv wsvc_t asvc_t  %w  %b device
  0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d0
  0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t395301D6B0C8069Ad0
 35.2   44.2    0.3    0.7  0.0  0.4    0.0    5.3   0  32 c7t5000C500415DC933d0
 19.8    3.2    0.2    0.0  0.0  0.0    0.0    0.1   0   0 c7t5000A72030068545d0
 31.2   46.2    0.2    0.7  0.0  0.3    0.0    4.4   0  27 c7t5000C500415DC797d0
 30.6   46.8    0.2    0.8  0.0  0.4    0.0    4.6   0  28 c7t5000C500414FCA57d0
 37.6   53.0    0.3    0.8  0.0  0.4    0.0    4.7   0  33 c7t5000C500415C3B1Bd0
 37.6   53.6    0.3    0.8  0.0  0.5    0.0    5.6   0  39 c7t5000C500415C5E4Fd0
 33.2   46.8    0.3    0.8  0.0  0.5    0.0    6.1   0  33 c7t5000C500414FB2CFd0
  0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c7t5000A7203006D81Ed0

পোস্ট এমডিবির পোস্ট, বি% কলাম, ব্যস্ততার জন্য 80-85% সময় লক্ষ্য করুন

$ iostat -nx -M 5 
  r/s    w/s   Mr/s   Mw/s wait actv wsvc_t asvc_t  %w  %b device
  0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d0
  0.2   27.2    0.0    0.3  0.0  1.0    0.0   35.4   0  18 c0t395301D6B0C8069Ad0
129.6   20.2    0.9    0.4  0.0  2.9    0.0   19.5   0  85 c7t5000C500415DC933d0
 48.4    4.0    0.4    0.0  0.0  0.0    0.0    0.1   0   1 c7t5000A72030068545d0
130.4   19.8    0.9    0.4  0.0  3.0    0.0   20.2   0  84 c7t5000C500415DC797d0
125.8   25.8    0.9    0.5  0.0  2.9    0.0   19.2   0  80 c7t5000C500414FCA57d0
131.2   24.2    0.9    0.5  0.0  3.1    0.0   20.3   0  83 c7t5000C500415C3B1Bd0
130.6   25.8    0.9    0.5  0.0  3.5    0.0   22.5   0  88 c7t5000C500415C5E4Fd0
126.8   28.0    0.9    0.5  0.0  2.8    0.0   18.0   0  79 c7t5000C500414FB2CFd0
  0.2    0.0    0.0    0.0  0.0  0.0    0.0    0.1   0   0 c7t5000A7203006D81Ed0

zfs nexenta

— 3molo
সূত্র

Iostat -XnE এর একাধিক ঘটনা | গ্রেপ ত্রুটি বলছে? কিছু ত্রুটি বৃদ্ধি বৃদ্ধি গণনা না?

সমস্ত কলামে শূন্য

— মোলো

smartctl -A /dev/diskপ্রতিটি ড্রাইভ সম্পর্কে কী বলে (এটি ইনস্টল করতে হতে পারে smartctl, এটি বেস ইনস্টলের সাথে আসে কিনা তা নিশ্চিত নয়)।

— ক্রিস এস

1

কোনও ডিস্কে "অ-মাঝারি ত্রুটি গণনা: 8071" ছাড়াও আগ্রহের কিছুই নেই। সমস্ত ডিস্ক JBOD (ডেল MD1200) তে একই (একক)

— সাস

11

জেডএফএস স্ক্রাব অপারেশনগুলি মোটামুটি কিছু মস্তিষ্ক-মৃত নীতিতে পরিচালিত হয়। সবচেয়ে লক্ষণীয় বিষয় হল, যখন অন্য কিছু হচ্ছে না তখন এটি স্ক্রাব করতে সময় ব্যয় করে। আপনি যদি মোটামুটি ধ্রুবক ভিত্তিতে কিছুটা ডেটা অ্যাক্সেস সহ একটি পুল পোঁক করেন তবে স্ক্রাব কার্যকরভাবে নিজেরাই অনাহারে থাকবে এবং প্রায় কিছুই করবে না।

এটিগুলি কী করে তা সম্পর্কে আমার দ্রুত নোটের সাহায্যে অন্বেষণ করতে টিউনবলগুলি (যদিও আমি কিছুক্ষণ আগে এই বিষয়টি প্রথমে দেখেছিলাম):

zfs_scan_idle - ব্যবহারকারী যদি এই অনেক ক্লক টিকের মধ্যে I / O সংঘটিত হয়, তবে zfs_scrub_delay ঘড়ির টিক দিয়ে I / O কে বিলম্ব করুন
zfs_scrub_delay - zfs_scan_idle দ্বারা ট্রিগার করা হলে স্ক্রাব অপারেশনটি বিলম্বিত করতে কত ঘড়ি টিক্স
zfs_top_maxinflight - শীর্ষ স্তরের ভিডিপি প্রতি স্ক্রাব I / O সর্বাধিক সংখ্যক
zfs_scrub_limit - পাতার ভিদেভে প্রতি স্ক্রাব I / O সর্বাধিক সংখ্যক
zfs_scan_min_time_ms - স্ক্রাব ক্রিয়াকলাপগুলিতে প্রতি txg ব্যয় করতে সর্বনিম্ন এমএস
zfs_no_scrub_io - কোনও নোট নেই
zfs_no_scrub_prefetch - কোনও নোট নেই, নাম মনে হচ্ছে স্ক্রাব অপ্সে প্রিফেট তৈরি করে না

এগুলির সমস্তগুলি পরিবর্তনের জন্য "প্রতিধ্বনি [টিউনেবল] / ডাব্লু0 টি [সংখ্যা]" এবং বর্তমান সেটিংটি দেখার জন্য "প্রতিধ্বনি [টিউনেবল] / ডি" ব্যবহার করে ফ্লাইতে পরিবর্তনযোগ্য (যা আমি পরিবর্তনের আগে করার পরামর্শ দিই)।

সুতরাং তত্ত্ব এবং সাধারণ অনুশীলনে, যদি আপনি বলতে চান zfs_scan_idle পরিবর্তন করে 10 (বা 1 - বা 0, যদি এটি সমর্থন করে তবে কোডটি পরীক্ষা করা প্রয়োজন) এবং zfs_scrub_delay 1 (বা 0) এর নিচে নামিয়ে দিন এটি সমর্থন করে), এবং যদি আপনার txg_synctime_ms সেটিংটি 5000 বা তত বেশি হতে পারে zfs_scan_min_time_ms কিছুটা বেশি পরিবর্তন করে, এটি ব্যবহারকারীর I / O এর কিছু স্তরের সাথে এমনকি আসলে স্ক্রাব অপারেশনগুলি সম্পর্কে আরও বেশি আগ্রাসী হয়ে উঠতে হবে।

আপনার নির্দিষ্ট ক্ষেত্রে,% বি এবং এএসভিসি_টি কিছু খুব খুব, খুব এলোমেলো পড়া কাজের চাপ বোঝাচ্ছে (স্পিনিং ডিস্কগুলি যদি এটি যথাযথ হয় তবে তার চেয়ে ভাল করা উচিত), এবং উপরে বর্ণিত হিসাবে আপনি ইতিমধ্যে "সহজ" স্টাফটি সম্পন্ন করেছেন । সুতরাং, প্রথমে আমি zfs_no_scrub_prefetch চালু করব, স্ক্রাব ক্রিয়াকলাপগুলিতে প্রিফেচটি অক্ষম করতে, কেবল এটির সাহায্য হয়েছে কিনা তা দেখার জন্য। যদি আপনি আনন্দিত হন না, আপনি যে Nexenta সংস্করণে রয়েছেন তার উপর নির্ভর করে - আপনি 30/5, 5/1 বা 10/5 চালিয়ে যাচ্ছেন (এটি আমরা zfs_txg_timeout & (zfs_txg_synctime_ms * 1000) এর সেটিংসের জন্য ব্যবহার করি)। Zfs_txg_টাইমআউটকে 10 এবং zfs_txg_synctime_ms এ 5000 এ পরিবর্তন করুন, তারপরে zfs_scan_min_time_ms কে 3000 বা 4000-তে আপ করার চেষ্টা করুন This এটি জেডএফএসকে বলে যে এটি পুরানো নেক্সেন্টাস্টোর ইনস্টলগুলিতে ডিফল্ট হিসাবে 5/1 ব্যবহারের ডিফল্ট সেটিংসের তুলনায় অনেক বেশি সময় ব্যয় করতে পারে - সাবধান,

আশাকরি এটা সাহায্য করবে. শুভকামনা!

— Nex7
সূত্র

আমি মনে করি আমার নোট করা উচিত যে আপনি "প্রতিধ্বনি </ b>> / ডাব্লু 0 টি <নাম্বার> | এমডিবি-কে ডাব্লু" ব্যবহার করে এই সেটিংগুলিকে বাশতে পরিবর্তন করেছেন। এবং আপনি "প্রতিধ্বনি </ ভাগ্যবান / ডি | এমডিবি-কে" দিয়ে বর্তমান মানগুলি দেখুন। আমার নোটগুলি বলছে যে এগুলি সমস্তই ফ্লাইটে পরিবর্তিত হতে পারে, কার্যকর হওয়ার জন্য কোনওটিকেই একটি / ইত্যাদি / সিস্টেম পরিবর্তন এবং পুনরায় বুট করার প্রয়োজন বলে মনে হয় না।

— Nex7

প্রতিক্রিয়া দেওয়ার আগে আমারও পুরো প্রশ্নটি পড়তে হবে - এবং কনফারেন্স কল করার সময় সার্ভারফল্ট ব্রাউজ করা বন্ধ করে দেওয়া উচিত। :)

— Nex7

% B এবং asvc_t রিপোর্ট করেছে যে কিছু খুব খুব, খুব এলোমেলো পড়া কাজের চাপ চলছে (স্পিনিং ডিস্কগুলি যদি এটি ক্রমিকভাবে যথাযথ হয় তবে তার চেয়ে ভাল করা উচিত)। প্রথমে আমি zfs_no_scrub_prefetch চালু করেছি, স্ক্রাব ক্রিয়াকলাপগুলিতে প্রিফেচ অক্ষম করতে, কেবল এটির সাহায্য হয়েছে কিনা তা দেখার জন্য। যদি আপনি আনন্দিত হন না, আপনি যে Nexenta সংস্করণে রয়েছেন তার উপর নির্ভর করে - আপনি 30/5, 5/1 বা 10/5 (zfs_txg_timeout & zfs_txg_synctime_ms * 1000) চালিয়ে যাচ্ছেন z ! 3000 বা 4000. এই ZFS বলে এটি একটি অনেক, scrubs একটি এখন আর ব্যয় ক্ষুধায় মারা যেতে পারে স্বাভাবিক ইনপুট / আউটপুট করতে zfs_scan_min_time_ms upping

— Nex7

আমি মনে করি আপনি খুব মূল্যবান ইনপুট সরবরাহ করেছেন তবে আপনি যদি মন্তব্যগুলিকে একটি ভাল উত্তরে যুক্ত করতে পারেন তবে এটি আরও বেশি সহায়ক helpful

— 3molo

2

আরও টিউনিং সাহায্য করতে পারে, কিন্তু প্রয়োজন হয় না। এটি লক্ষণীয় যে জেডএফএস স্ক্রাবটি ডিস্কগুলিতে সেক্টর নয়, ডেটা স্ট্রাকচারের মধ্য দিয়ে রোল করে। কোনটি বলতে গেলে, zfs ডাটা স্ট্রাকচারটি আপনার ডিস্কগুলিতে কীভাবে দেখায় তার উপর নির্ভর করে একটি স্ক্রাব অপারেশন অবিশ্বাস্যভাবে এলোমেলো লাগতে পারে - আপনার ডিস্কগুলি>> 100 এমবি / এস ক্রমান্বয়ে পড়তে সক্ষম হতে পারে তবে সম্পূর্ণরূপে এলোমেলোভাবে পড়া পুরোপুরি অন্য গল্প হবে । গড় ব্লকের আকারও এখানে গুরুত্বপূর্ণ।

— Nex7

3

আমি হার্ডওয়্যার সন্দেহ করি ...

কেন আপনি এই 15 দিনের জন্য চালাবেন? এটাই স্বাভাবিক নয়। স্ক্রাবটি বন্ধ করুন - zpool scrub -s tankএবং সিস্টেমটি দেখুন।

আপনি কোন নিয়ামক ব্যবহার করছেন?
আপনি কি এই পুলটিতে কখনও চালাচ্ছেন?
এমন কোনও সমস্যা ছিল যা আপনাকে প্রথমে স্ক্রাবটি চালিত করতে অনুরোধ করেছিল?

— ewwhite
সূত্র

1

LSI SAS9200-8e (আইটি ফার্মওয়্যার)। প্রথম স্ক্রাব নয়। না, কোনও আসল সমস্যা নেই (তবে আমি কিছুক্ষণের জন্য ক্রমানুসারে পঠন / লেখার ক্রিয়াকলাপটি নিয়ে প্রশ্ন করছি)।

— 3molo

বিলম্বিততা এবং অপেক্ষা সময়ের সাথে আপডেট হয়েছে, সন্দেহের শুরু করা সর্বদা পরিষেবা অনুরোধের জন্য কিছু সময় থাকে এবং এটি এতটা কম স্ক্রাবকে অগ্রাধিকার দেয় যে এটি বন্ধ হয়ে যায়। যে কোনও অন্তর্দৃষ্টি খুব সহায়ক!

— 3molo

স্ক্রাবগুলি পর্যায়ক্রমে চালানো গুরুত্বপূর্ণ। আপনার কোনও স্ক্রাব চালাতে সমস্যা না হওয়া পর্যন্ত অপেক্ষা করা সেই সমস্যাটি ডেটা হ্রাসের জন্য জিজ্ঞাসা করছে। নীরব ডেটা দুর্নীতি (বিট্রোট) ধরার জন্য স্ক্রাবগুলি রয়েছে। ধীরে ধীরে চলমান স্ক্রাব সিস্টেম সমস্যার লক্ষণ নয়, কেবল একটি পুল যা যথেষ্ট ব্যস্ত রাখা আছে যাতে স্ক্রাবটি ত্বরান্বিত না হয়।

— lschweiss

0

আমার উত্তরটি একটু দেরিতে আসে তবে এই ধরণের জিনিসটি যদি অন্য কারও সাথে ঘটে তবে তা এখানে আমার গ্রহণযোগ্যতা: কেবল "dmesg" চেষ্টা করে দেখুন। আমার ক্ষেত্রে, আমি কোনও স্ক্রাব করছিলাম না, তবে আমি ডিস্কগুলিতে ফাইলগুলি অনুলিপি করছিলাম, এবং স্পষ্টভাবে শুনছিলাম যে ডিস্কগুলি কয়েক সেকেন্ডের জন্য সক্রিয় ছিল, তারপরে সবগুলি আরও দীর্ঘ সময়ের জন্য থামানো, এবং আবার কাজ করা ইত্যাদি। এটি একজন স্যাটা নিয়ন্ত্রকের ব্যর্থতার কারণে হয়েছিল এবং ডেমসগ আমাকে সমস্ত ত্রুটি দিয়েছে। আমি ভেবেছিলাম এটি প্রথমে একটি ব্যর্থ ডিস্ক, তবে তখন আমি বুঝতে পারি এটি আসলে নিয়ামক।

— jytou
সূত্র

-3

স্ক্র্যাব উপলব্ধ সিস্টেম ডাউনটাইম ব্যবহার করে, এমনকি একটি লোড করা সার্ভারেও এটি উপলব্ধতার বিষয়ে। রাম এবং প্রসেসর হ'ল ডিস্ক নয়, ব্যবহারের স্ক্রাবের কীগুলি। এগুলির যত বেশি উপলব্ধ, আপনার স্ক্রাবের পারফরম্যান্স তত ভাল। তবে, অবশ্যই, এই ক্ষেত্রে, আপনার ডিস্কগুলি যত ভাল প্রস্তুত করা হবে, জেডপুলের ক্ষেত্রে, আপনার স্ক্রাবের পারফরম্যান্সও তত ভাল।

সুতরাং, যদি আপনার পারফরম্যান্সটি মন্থর হয়ে থাকে এবং যদি এটি তেমন দেখা দেয় তবে আমি এগুলি সম্ভাব্য কারণ হিসাবে দেখব।

— user169761
সূত্র

1

আমি কোনও সূচক দেখতে পাচ্ছি না যে কোনও সংস্থান অপ্রতুল।

— 3molo

1

এটি বেশ সম্পূর্ণ মিথ্যা। সিপিইউ এবং র‌্যামের কার্যকরভাবে স্ক্রাব অপারেশনগুলিতে শূন্য প্রভাব রয়েছে (ধরে নিই যে কোনওরকম ফ্রি নেই)। প্রচুর পরিমাণে নিখরচায় র‍্যাম এবং সিপিইউ থাকা স্ক্রাব ক্রিয়াকলাপগুলিকে 'গতি বাড়িয়ে তুলবে না'। স্কুলে স্ক্রাবটি ইনপুলেশন আই / ও-তে পুলের মাধ্যমে সীমাবদ্ধ রয়েছে, 'উপলভ্য সিস্টেম ডাউনটাইম' পরীক্ষা করে নয়, যা কিছু হোক না কেন।

— Nex7