NIC পোলিং বনাম বিঘ্নিত কোন নেটওয়ার্কের লোডগুলির প্রয়োজন?

Question

কারও কি এমন কিছু ডেটা বা বেসিক গণনা রয়েছে যা যখন ফ্রেম কোয়েলসিং (এনএপিআই) প্রয়োজন হয় এবং যখন ফ্রেমে প্রতি একক বাধা যথেষ্ট?

আমার হার্ডওয়্যার: আইবিএম ব্লেড সার্ভার এইচএস 22, ব্রডকম 5709 গিগাবিট এনআইসি হার্ডওয়্যার (এমএসআই-এক্স), দ্বৈত জিয়ন ই 5530 কোয়াড-কোর প্রসেসর সহ। মূল উদ্দেশ্য স্কুইড প্রক্সি সার্ভার। স্যুইচ একটি দুর্দান্ত সিসকো 6500 সিরিজ।

আমাদের মূল সমস্যাটি হ'ল পিক সময়কালে (100 এমবিপিএস ট্রাফিক, কেবল 10,000 পিপিএস) যে বিলম্ব এবং প্যাকেটের ক্ষতি বৃদ্ধি পায়। আমি অনেকগুলি টিউনিং করেছি এবং কার্নেলটি আপগ্রেড করেছি ২.6.৩৮ এ এবং এটি প্যাকেটের ক্ষতির উন্নতি করেছে তবে বিলম্বিতা এখনও দুর্বল। পিংসগুলি বিক্ষিপ্ত হয়; এমনকি স্থানীয় জিপিপিএস ল্যানে 200 মিমি পর্যন্ত ঝাঁপ দাও। সিপিইউ / মেমরি লোড ঠিকঠাক থাকলেও স্কুইড গড় প্রতিক্রিয়া 30 মিমি থেকে 500 + এমএসে লাফ দেয়।

বাধা শিখর সময় প্রায় 15,000 / সেকেন্ডে উঠে যায়। Ksoftirqd বেশি সিপিইউ ব্যবহার করছে না; আমি সমস্ত কোর জুড়ে আইআরকিউগুলিকে ভারসাম্য বজায় রাখতে (ইথ0 এবং এথ 1 এর জন্য 8 টি) ইনস্টল করেছি তবে এটি খুব বেশি সহায়ক হয়নি।

ইন্টেল এনআইসি-র কাছে এই ধরণের সমস্যা কখনও মনে হয় না, তবে ফলক সিস্টেম এবং স্থির কনফিগারেশন হার্ডওয়্যারটির সত্যতা কি, আমরা ব্রডকোমগুলির সাথে একরকম আটকে রয়েছি।

সবকিছুই এনআইসিকে প্রধান অপরাধী হিসাবে চিহ্নিত করছে। আমার কাছে এই মুহূর্তে সর্বোত্তম ধারণাটি হ'ল উভয় বিলম্বকে কম এবং থ্রুপুট উচ্চ রাখার সময় বাধা হ্রাস করার চেষ্টা করা।

দুর্ভাগ্যক্রমে bnx2 অ্যাডাপটিভ-আরএক্স বা tx সমর্থন করে না।

Näpi বনাম অভিযোজিত ব্যাঘাত থ্রেড উত্তর বিঘ্ন সংযম একটি মহান ওভার দৃশ্য কিন্তু কোন কংক্রিট তথ্য প্রদান করে নিরূপণ অনুকূল সময় ethtool একসঙ্গে বেড়ে ওঠা দেওয়া কার্যসংক্রান্ত জন্য সেটিংস করতে। এরপরে কি আরও ভাল পন্থা রয়েছে কেবল বিচার ও ত্রুটি?

উপরে উল্লিখিত কাজের চাপ এবং হার্ডওয়্যার কনফিগারেশন এমনকি NAPI প্রয়োজন? অথবা এটি প্যাকেট প্রতি একক বিঘ্নিত বাঁচতে সক্ষম হওয়া উচিত?

Comments

অবশ্যই একটি শক্ত প্রশ্ন হতে হবে ... অনুগ্রহ করার জন্য ধন্যবাদ, @ হোলোক্রিপ্টিক! কোলেসেসিংয়ের জন্য আমি কিছু "ইথোল-সি" সেটিংস চেষ্টা করেছি তবে এখনও উল্লেখযোগ্য পার্থক্য নেই।

— উইম কেরখফ

সমস্যা নেই. আমি মাত্র কয়েকদিন ধরে সেখানে দাড়াতে দেখেছি এবং এটি একটি ভাল প্রশ্নের মতো মনে হয়েছিল। আশা করি কারও কাছে আপনার কিছু আছে।

— হলোক্রিপ্টিক

আর একটি আপডেট ... আমরা এমিউলেকস 10 জিবিপিএস এনআইসি সহ আইবিএম এইচএস 23 ব্লেডে চলে এসেছি। এই সপ্তাহে আমরা 800,000 প্যাকেট / সেকেন্ডে আঘাত করেছি, কোনও ড্রপ নেই। আইআরকিউগুলি ভারসাম্যপূর্ণ ভারসাম্য বজায় রাখতে আমাদের অনেকগুলি টিউনিং করতে হয়েছিল (লিনাক্স কার্নেল ড্রাইভারদের প্যাচিং করা) তবে এটি এখন দুর্দান্তভাবে কাজ করছে।

— উইম কেরখফ

Answer 1

দুর্দান্ত প্রশ্ন যা চেষ্টা করে দেখতে এবং এটি বের করার জন্য আমাকে কিছু পড়ার চেষ্টা করেছিল। ইচ্ছে করে আমি বলতে পারি আমার উত্তর আছে ... তবে কিছু ইঙ্গিত হতে পারে।

আমি আপনার প্রশ্নের উত্তর কমপক্ষে দিতে পারি, "যদি এটি প্রতিটি প্যাকেটে একক বিঘ্নিত হয়ে থাকতে সক্ষম হয়"। আমি মনে করি উত্তরটি হ্যাঁ, খুব ব্যস্ত ফায়ারওয়ালের ভিত্তিতে আমার অ্যাক্সেস রয়েছে:

সার আউটপুট:

03:04:53 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
03:04:54 PM        lo     93.00     93.00      6.12      6.12      0.00      0.00      0.00
03:04:54 PM      eth0 115263.00 134750.00  13280.63  41633.46      0.00      0.00      5.00
03:04:54 PM      eth8  70329.00  55480.00  20132.62   6314.51      0.00      0.00      0.00
03:04:54 PM      eth9  53907.00  66669.00   5820.42  21123.55      0.00      0.00      0.00
03:04:54 PM     eth10      0.00      0.00      0.00      0.00      0.00      0.00      0.00
03:04:54 PM     eth11      0.00      0.00      0.00      0.00      0.00      0.00      0.00
03:04:54 PM      eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00
03:04:54 PM      eth2 146520.00 111904.00  45228.32  12251.48      0.00      0.00     10.00
03:04:54 PM      eth3    252.00  23446.00     21.34   4667.20      0.00      0.00      0.00
03:04:54 PM      eth4      8.00     10.00      0.68      0.76      0.00      0.00      0.00
03:04:54 PM      eth5      0.00      0.00      0.00      0.00      0.00      0.00      0.00
03:04:54 PM      eth6   3929.00   2088.00   1368.01    183.79      0.00      0.00      1.00
03:04:54 PM      eth7     13.00     17.00      1.42      1.19      0.00      0.00      0.00
03:04:54 PM     bond0 169170.00 201419.00  19101.04  62757.00      0.00      0.00      5.00
03:04:54 PM     bond1 216849.00 167384.00  65360.94  18565.99      0.00      0.00     10.00

আপনি দেখতে পাচ্ছেন, প্রতি সেকেন্ডে খুব উচ্চ প্যাকেট গণনা করা হয় এবং এই মেশিনে কোনও বিশেষ এথল ট্যুইকিং করা হয়নি। ওহ ... যদিও ইন্টেল চিপসেট। : \

একমাত্র কাজটি হ'ল প্রতি ইন্টারফেসের ভিত্তিতে / প্রো / ইআরকি / এক্সএক্সএক্স / এসএমপি_ফিনিটির সাথে কিছু ম্যানুয়াল ইরাক ভারসাম্যহীন। আমি নিশ্চিত নই যে তারা চূড়ান্ততার পরিবর্তে কেন সে পথে যেতে বেছে নিয়েছিল, তবে মনে হয় এটি কার্যকর হবে।

আপনার প্রশ্নের উত্তর দেওয়ার জন্য প্রয়োজনীয় গণিত সম্পর্কেও আমি ভেবেছিলাম, তবে আমি মনে করি যে অনেকগুলি ভেরিয়েবল রয়েছে। সুতরাং ... সংক্ষেপে, আমার মতে, উত্তরটি হ'ল, আমি মনে করি না আপনি এখানে ফলাফলের পূর্বাভাস দিতে পারেন, তবে পর্যাপ্ত ডেটা ক্যাপচারের সাথে আপনার এটি আরও ভাল স্তরে উন্নতি করতে সক্ষম হওয়া উচিত।

এই সব বলার পরে, আমার অন্ত্রের অনুভূতিটি হ'ল আপনি এখানে কোনওভাবে হার্ডওয়্যার-বেঁধে রয়েছেন ... যেমন ফার্মওয়্যার বা কোনও ধরণের ইন্টারপ বাগ হিসাবে।

Comments

এখানে কিছু দরকারী পটভূমি: alexonlinux.com/…

— স্বৈরশাসক

আমি "হ্যাঁ, সমস্যা হওয়া উচিত নয়" বেসিক স্টেটমেন্টের সাথে একমত, তবে তাদের কীভাবে সমস্যা হয় তা দেখে সম্ভবত এটি ফার্মওয়্যার বা ড্রাইভার ইস্যু। আমি আমার ওয়ার্কস্টেশনটি একেবারে "টিউন" করি নি এবং এটি কোনও ঘাম না ভেঙে 65kips টানতে পারে; 15 কিপস কোনও আধুনিক সিপিইউতে কিছু হওয়া উচিত নয়। আমি একচেটিয়াভাবে ব্রডকম এনআইসি ব্যবহার করি, 5709 এখন পর্যন্ত সবচেয়ে সাধারণ। এই পরীক্ষাটি লিনাক্স নয়, তবে ফ্রিবিএসডি-তে চালানো হয়েছিল।

— ক্রিস এস

ধারণার জন্য ধন্যবাদ। আমি ইরাকবুলেন্স চেষ্টা করেছিলাম কিন্তু কোনও পার্থক্য লক্ষ্য করিনি। আমি আরও কোলেসেস সেটিংস (ইথটোল-সি) দিয়ে খেলেছি তবে কোনও পার্থক্য লক্ষ্য করিনি। ব্লেডগুলির মধ্যে একটি হ'ল লোড ব্যালেন্সার, 120,000 প্যাকেট / সেকেন্ড পর্যন্ত ঠেলে। আমি লক্ষ্য করেছি যে যদি NAT এবং কনট্র্যাক আইপটিবলগুলি লোড করা হয় তবে ksoftirqd সিপিইউ ব্যবহার 100% এ যায়। স্ক্রুড সার্ভারগুলিতে (সর্বোচ্চ 10,000 প্যাকেট / সেকেন্ড), আমি 17,000 (!!!) iptables নিয়মগুলি তত্ক্ষণাত বন্ধ করে দিয়েছিলাম এবং ততক্ষণে বিলম্বগুলি নিচে নেমে গেছে। আমি ভেবেছিলাম আমি এর আগেও চেষ্টা করেছিলাম, তবে দৃশ্যত তা হয়নি ...

— উইম কেরখফ

Answer 2

নিশ্চিতভাবেই আপনার এত কম ট্র্যাফিকের তুলনায় সিপিইউ, চিপসেট এবং বাসের ক্ষমতা দেওয়া হয়েছে যাতে আপনার কোনও ধরণের বিঘ্নিত ব্যবস্থাপনা প্রয়োজন হয় না to আমাদের কাছে 10 জিবিপিএস এনআইসিসহ একাধিক আরএইচএল 5.3 64-বিট মেশিন রয়েছে এবং তাদের বাধা মোটেও খারাপ নয়, এটি 100 গুণ কম।

স্পষ্টতই আপনার একটি স্থির কনফিগারেশন রয়েছে (আমি এইচপির ব্লেডগুলি ব্যবহার করি যা বেশ অনুরূপ) তবে ইন্টেলের জন্য এনআইসিগুলি সরিয়ে নেওয়া এখন একটি সহজ বিকল্প তবে আমি যা বলব তা হ'ল আমি এই ফোরামে এবং অন্য কোথাও অনেকগুলি অনুরূপ সমস্যার সন্ধান করতে শুরু করছি that সেই নির্দিষ্ট ব্রডকম এনআইসির সাথে। এসই সাইটগুলিতে নিজেই এই ধরণের অসঙ্গতি এবং ইন্টেল এনআইসিকে অদলবদল করতে সম্পূর্ণরূপে সহায়তা করে কিছু সমস্যা ছিল।

আমি যা প্রস্তাব দিচ্ছি তা হল একটি একক ফলক বাছাই করা এবং সেই এক মেশিনে একটি ইন্টেল ভিত্তিক অ্যাডাপ্টার যুক্ত করা, আপনাকে অবশ্যই একটি আন্তঃসংযোগ যুক্ত করতে হবে বা আইবিএম তাদের যা কিছু কল করতে হবে সিগন্যালটি বের করার জন্য তবে একই সফ্টওয়্যার সেটআপ চেষ্টা করতে হবে তবে এই অন্যটির সাথে এনআইসি (আপনি যদি পারেন তবে সম্ভবত ব্রডকমটি অক্ষম করুন)। এটি পরীক্ষা করুন এবং দেখুন আপনি কীভাবে যাবেন, আমি জানি আমি যা বর্ণনা করেছি তার জন্য অতিরিক্ত কয়েকটি হার্ডওয়ারের বিট কয়েক বিট প্রয়োজন তবে আমি ভাবছি আপনার আইবিএম প্রতিনিধি আপনাকে সেগুলি সুখে loanণ দেবে। এটি নিশ্চিতভাবে জানার একমাত্র উপায়। আপনি কী সন্ধান করেন দয়া করে আমাদের তা জানান, এই এনআইসিগুলির সাথে কোনও সমস্যা থাকলেও আমি সত্যই আগ্রহী, এমনকি যদি এটি কোনও বিজোড় প্রান্ত-কেস হয়। একদিকে যেমন আমি পরের সপ্তাহে ইন্টেল এবং ব্রডকমের সাথে বৈঠক করছি সম্পূর্ণরূপে সম্পর্কিত নয় এমন কিছু নিয়ে আলোচনা করার জন্য তবে আমি অবশ্যই তাদের সাথে এটি নিয়ে আলোচনা করব এবং যদি আমি আগ্রহের কিছু খুঁজে পাই তবে আপনাকে অবহিত করব।

Answer 3

বাধাগুলি সম্পর্কে প্রশ্ন হ'ল তারা সামগ্রিক সিস্টেমের কার্য সম্পাদনকে কীভাবে প্রভাবিত করে। বাধা ব্যবহারকারী এবং কার্নেল জমি প্রক্রিয়াজাতিকে অগ্রাহ্য করতে পারে এবং আপনি খুব বেশি সিপিইউ ব্যবহার নাও দেখতে পাচ্ছেন, প্রচুর প্রেক্ষাপটে স্যুইচিং হচ্ছে এবং এটি একটি বড় পারফরম্যান্স হিট। আপনি কলামটি ব্যাবহার করতে vmstatএবং প্রতি সেকেন্ডে বাধা এবং প্রসঙ্গের সুইচগুলির শিরোনামটি পরীক্ষা করতে পারেন (ইন্টারপ্টগুলি ক্লকটি অন্তর্ভুক্ত করে যাতে আপনার এটিতে ওজন করতে হবে), এটির একটি চেকও মূল্য।systemcs

Answer 4

সংক্ষিপ্ত প্রত্যক্ষ উত্তর:

আপনি যদি ভোটদান সক্ষম করে থাকেন তবে আপনি প্রসঙ্গের স্যুইচগুলি (সাধারণত ইন্টারআপ্টের কারণে) এখন যা কিছু আছে তা থেকে (আপনার ক্ষেত্রে 15 কেপস) পূর্বনির্ধারিত সংখ্যায় (সাধারণত 1 কে থেকে 2 কে) কমিয়ে দেবেন।

আপনার যদি বর্তমানে নির্ধারিত সংখ্যার উপরে ট্র্যাফিক থাকে তবে আপনার পোলিং সক্ষম করে আরও ভাল বারের উত্তর দেওয়া উচিত। কনভার্সটিও সত্য। প্রসঙ্গের সুইচগুলি পারফরম্যান্সকে প্রভাবিত না করে আমি এটি "প্রয়োজনীয়" বলব না।

Answer 5

ফলোআপ করতে: NAT এবং কনট্র্যাক মডিউলগুলি লোড প্লাস ন্যূনতম iptables রুলসেট সহ, আমরা দুর্দান্ত পারফরম্যান্স পাই। আইপিভিএস লোড ব্যালেন্সার 900 এমবিপিএস / 150 কেপিপিএসেরও বেশি কাজ করেছে। এটি এখনও একই ব্রডকম বিএনএক্স 2 চিপসেটগুলি ব্যবহার করার সময়।

সুতরাং উপসংহারে বলা যায়: 2.6.38 / 3.0.x কার্নেলের সাহায্যে ডিবিয়ানের জন্য বিঘ্নিত হ্যান্ডলিংটি দুর্দান্ত এবং ডিফল্ট মনে হচ্ছে।

অবশ্যই আমি ইন্টেল এনআইসি ব্যবহার করতে পছন্দ করব যাতে আমরা স্ট্যান্ডার্ড ডেবিয়ান প্যাকেজগুলি ব্যবহার করতে পারি। ফ্রিবিহীন বিএনএক্স 2 ফার্মওয়্যারের সাথে লড়াই করা সময়ের অপচয় ছিল।

Comments

আর একটি আপডেট। সাম্প্রতিক কোনও কারণ ছাড়াই পারফরম্যান্স আবার হ্রাস পেয়েছে। আমরা পূর্ববর্তী সমস্ত অপ্টিমাইজেশন কোনও সাফল্য ছাড়াই পর্যালোচনা করেছি। ইন্টেল এনআইসিগুলি এখনও একটি অর্থনৈতিক বিকল্প নয় (নতুন আন্তঃসংযোগগুলি, 10 জিবি সুইচ ইত্যাদিতে $ 30- $ 40,000 বিনিয়োগ)। কিন্তু, আমরা কিছুটা নতুন আইবিএম এইচএস 22 ব্লেডগুলি সন্ধান করেছি যা এখনও ক্রেপি বিএনএক্স 2 ব্যবহার করে তবে আরও নতুন ফার্মওয়্যার দিয়ে। পারফরম্যান্স আরও ভাল - আমরা 150,000 প্যাকেট / সেকেন্ড বাধা ভেঙেছি।

— উইম কেরখফ