ক্ষমতা পরিকল্পনার জন্য নির্ভুলভাবে র্যান্ডম আই / ও পারফরম্যান্স ট্রেন্ডিং


11

আমি যেখানে কাজ করি আমাদের প্রচুর "বড় আয়রন" সার্ভার রয়েছে যা জেন হাইপারভাইজার ব্যবহার করে অনেক ভার্চুয়াল মেশিন হোস্ট করার জন্য ব্যবহৃত হয়। এগুলি সাধারণত 32 গিগাবাইট র‍্যাম, ডুয়াল কোয়াড কোর প্রক্রিয়া এবং আই / ও ক্ষমতা সহ গবসের সাথে দ্রুত ডিস্ক সহ কনফিগার করা হয়।

আমরা সেই সময়ে এসেছি যেখানে বিদ্যমান হার্ডওয়্যার কনফিগারেশনটি দাঁতে কিছুটা দীর্ঘ হয়ে চলেছে এবং সময় বেরিয়ে এসে আরও বড়, দ্রুত এবং হালকা নতুন হার্ডওয়্যার উত্সের সময় এসেছে।

উপরে উল্লিখিত হিসাবে, বিদ্যমান কিটটি 32 গিগাবাইট র‌্যামের সাথে মোতায়েন করা হয়েছে এবং এটি কার্যকরভাবে কোনও হোস্টের কাছে আমরা মোতায়েন করতে পারি এমন ভিএমগুলির সংখ্যা সীমাবদ্ধ করে ফেলেছে।

যদিও নতুন হার্ডওয়্যার তদন্তে, এটি স্পষ্ট যে আপনি একটি একক মেশিনের মধ্যে 64, 72 বা এমনকি 96 গিগাবাইটের সাথে একটি চ্যাসিসের মধ্যে আরও বেশি পরিমাণে র্যাম পেতে পারেন। স্পষ্টতই, এটি আমাদের প্রদত্ত হোস্টকে আরও মেশিন আনতে দেয় যা সর্বদা একটি বিজয়। এখনও অবধি সম্পন্ন বিশ্লেষণ থেকে বোঝা যায় যে সীমাবদ্ধকরণের উপাদানটি এখন ডিস্ক সাব সিস্টেমে স্থানান্তরিত হবে।

সমস্যাটি এখন, আমরা কোথায় আছি সে সম্পর্কে কিছু ধারণা নেওয়ার চেষ্টা করছি ... ব্যবহারের কারণে আমরা জানি যে আমরা I / O ব্যান্ডউইথের দিক দিয়ে সীমাবদ্ধ নই, তাই, আমি এলোমেলো সংখ্যা / হে অপারেশনগুলি সম্পন্ন করা যেতে পারে .. আমরা কৌতুকভাবে জানি যে একবার আমরা এই পয়েন্টটি আঘাত করি তখন আইওয়েট আকাশে রকেটে যাচ্ছে এবং পুরো মেশিনের পারফরম্যান্স কুকুরের কাছে যাবে।

এখন এটি যে প্রশ্নটি আমি জিজ্ঞাসা করছি তার চক্রটি, কেউ কি বিদ্যমান আই / ও পারফরম্যান্সটি সঠিকভাবে র্যান্ডম আই / ও অপস সম্পন্ন হওয়ার সংখ্যার সাথে সম্পর্কিতভাবে সঠিকভাবে ট্র্যাকিং / ট্রেন্ডিংয়ের কোনও উপায় সম্পর্কে অবগত আছেন?

আমি যা মেট্রিকটি পেতে চাইছি তা হ'ল "এই কনফিগারেশনটি সফলভাবে এক্স সংখ্যার এলোমেলো I / O অনুরোধগুলি পরিচালনা করতে পারে এবং আমরা বর্তমানে (গড়) জেড অপ্সের একটি শীর্ষের সাথে ওয়াই অপ্স করছে"।

আগাম ধন্যবাদ!

উত্তর:


5

sarএখানে কাজটি সুন্দরভাবে করে; এটি প্রতি লেনদেনের সংখ্যার পাশাপাশি প্রতি সেকেন্ডে পড়া / লিখিত সেক্টর সংগ্রহ করবে, যা আপনার আইও কাজের চাপকে তুলনামূলকভাবে শালীন নির্ভুলতার সাথে পুনরায় প্লে করতে ব্যবহৃত হবে (পড়ার / লেখার অনুপাতের পাশাপাশি লেনদেনের আকারের ক্ষেত্রে যা আপনার আইও কতটা "এলোমেলো" তা নির্ধারণ করে) এটি নিখুঁত নয়, তবে আমার অভিজ্ঞতা অনুসারে আপনি যে অনুমানটি দেখছেন তা করার জন্য এটি যথেষ্ট ভাল কাজ করে।


2

সুতরাং, এটি একটি পর্যবেক্ষণ এবং ক্ষমতা প্রতিবেদনের সমস্যার মতো দেখাচ্ছে like আপনি যদি ট্রেন্ডিং পরিসংখ্যান পরিমাপ শুরু করতে যাচ্ছেন, আমি বোর্ড জুড়ে যাব, যাতে আপনি তুলনা করতে পারেন, সম্পর্কিত করতে পারেন ইত্যাদি etc.

সরঞ্জামগুলির ক্ষেত্রে আপনার ওপেনসোর্স ওয়ার্ল্ডে গ্যাঙ্গলিয়া, জেনোস, নাগিওস এবং অন্যান্য অসংখ্য বিক্রেতার পণ্য রয়েছে।

আপনি যে কেপিআইগুলিতে আগ্রহী সেগুলি ট্র্যাক, পরিমাপ এবং সঞ্চয় করতে তাদের কনফিগার করতে পারেন এবং তারপরে পর্যায়ক্রমে তাদের প্রতিবেদন করতে পারেন।

র‌্যাম ব্যবহার সম্পর্কে আপনার প্রশ্নাবলী দেওয়া, মেমরির পরিসংখ্যান, অদলবদল ব্যবহার এবং সিপিইউকেও অন্তর্ভুক্ত করার অর্থ হবে, সুতরাং আপনি একই সময়ের জন্য বোর্ড জুড়ে তাদের তুলনা করতে পারেন এবং কোনটি সীমাবদ্ধ হচ্ছে তা দেখুন etc.

একবার আপনি ডেটা ক্যাপচার করার পরে আপনি এগুলি সমস্ত রিপোর্ট করার জন্য একটি দুর্দান্ত বড় ডিবিতে সঞ্চয় করতে পারবেন, সম্ভবত historicalতিহাসিক ডেটা উত্থাপন, যেমন। প্রতি 5 সেকেন্ড মেট্রিক 6 মাসের জন্য সঞ্চয় করুন, তারপরে মিনিট পরে, 5, তারপরে প্রতি ঘন্টা, আপনি আরও পিছনে যেতে পারেন। এই ধরণের জিনিসটি স্ক্রিপ্ট করে ক্রোন, অটোসিস ইত্যাদির মাধ্যমে চালানো যেতে পারে

এই প্রতিবেদনগুলি আপনাকে পরিচালনা যা চায় তা দেবে - যেমন। সুন্দর গ্রাফ সহ কিছু।

এবং প্রতিদিনের পরিচালনার জন্য আপনি যে কোনও মুহুর্তে আপনি কীভাবে পারফর্ম করছেন তা দেখতে কনসোলের মাধ্যমে কোনও চার্ট / ফিগারগুলির রিয়েল-টাইম তথ্যগুলি দেখতে পারেন।


আপনার প্রতিক্রিয়ার জন্য ধন্যবাদ. আমি যে সবচেয়ে বড় সমস্যাটি খুঁজে পাচ্ছি তা হ'ল সঠিকভাবে অপ্সের সংখ্যা ট্র্যাক করা। অর্থাত্, আমি যে পরিমাণ ডেটা স্থানান্তরিত হচ্ছে, বা আইওয়েট ইত্যাদির প্রতিবেদনগুলি জুড়ে এসেছি সবকিছুই এখানে বিলটি খাপ খায় এমনটি মনে হয় না ..
কেইরান হোলোয়

2

আমরা সংগ্রাহকটি ব্যবহার করি কারণ আমরা একটি প্রয়োজনীয় ফাইলে সমস্ত প্রয়োজনীয় তথ্য টানতে পারি এবং প্রয়োজনীয় পরিসংখ্যানগুলি পুনরায় খেলতে পারি। এটি আপনাকে রেকর্ডিং ব্যবধান, প্রসঙ্গের স্যুইচ, মেমরির পরিসংখ্যান প্রতি আইওপিএসের সংখ্যা দেখতে দেবে। আপনি এটি প্রতি ডিস্কটি ভেঙে ফেলতে পারেন বা কেবল সিস্টেমে সামগ্রিক নজর রাখতে পারেন। কালেক্টল দীপ্তিকে সমর্থন করে।

মোট সিস্টেমের পারফরম্যান্সের একটি ওভারভিউ পাওয়ার জন্য এটি দুর্দান্ত সরঞ্জাম। ভাগ্য ভাল, পর্যবেক্ষণ থেকে Sata ডিস্কগুলি এলোমেলো অ্যাক্সেস করার সময় সাধারণত 200-300 আইওপিএসের মধ্যে থাকে top


15 কে আরপিএম এসএএস ড্রাইভের সাথে কারও অনেক অভিজ্ঞতা আছে?
কেইরান হলোয়ে

2

আমরা অন্য সমস্ত মেট্রিকগুলি একইভাবে রেকর্ড করি এবং গ্রাফ ডিস্ক I / O করি:

  • এসএনএমপি ব্যবহার করে হোস্টগুলি থেকে ডেটা টানা হয়। আমাদের এনএএস / সান বাক্সগুলি স্থানীয়ভাবে এটি করে। আমরা সমস্ত লিনাক্স হোস্টগুলিতে নেট-স্ন্যাম্প ব্যবহার করি , যা ইউএসবি-ডিস্কিও-এমআইবি থেকে এই তথ্য সরবরাহ করে ।

  • ডেটা সংরক্ষণ করা হয় (আরআরডি ফর্ম্যাটে) এবং ক্যাকটি ব্যবহার করে গ্রাফড হয় । কিছু ডিস্ক আইও টেমপ্লেট আমাদের লেনদেনের গণনা এবং আকার দেয় যা সাধারণ বর্তমান, গড় এবং শীর্ষ বিন্যাসে প্রদর্শিত হয়।

এই মেট্রিকগুলি হোস্টে iostat/ dstat/ ব্যবহার করার মতো সীমাবদ্ধ নয় sar। তবে এটি আগুন এবং ভুলে যা, যখন একটি নতুন মেশিন চালু হয়, কেন্দ্রীয়ভাবে সংরক্ষণ করা হয় এবং ভবিষ্যতের রেফারেন্সের জন্য উপলব্ধ থাকে তখন স্বয়ংক্রিয়ভাবে সেটআপ হয়ে যায়।

অপারেশনাল ভিত্তিতে আমাদের অস্বাভাবিক প্রবণতা সম্পর্কে সতর্ক করতে আমরা এই তথ্যটি ব্যবহার করি এবং যখনই ক্ষমতা পরিকল্পনা সম্পাদন করেন তখন সর্বদা এটির দিকে ফিরে তাকাবেন।

আমি সত্যিই কী মেট্রিক পাওয়ার চেষ্টা করছি তা হ'ল "এই কনফিগারেশনটি সফলভাবে এক্স সংখ্যার এলোমেলো I / O অনুরোধগুলি পরিচালনা করতে পারে [..]"।

এটি নিয়ে বেশ কয়েকটি সমস্যা রয়েছে:

  • ধারাবাহিক I / O থেকে এলোমেলো I / O পৃথক এবং পরিমাণ নির্ধারণ করা বেশ কঠিন। যেহেতু উভয়ের মধ্যে মৌলিক পার্থক্য হ'ল ডিস্ক প্ল্যাটারে থাকা ব্লকের শারীরিক অবস্থান। আপনি লেনদেনের আকার থেকে একটি শিক্ষিত অনুমান করতে পারেন, এই ভিত্তিতে প্রচুর ছোট লেনদেন সম্ভবত ডিস্কের সাথে বিন্দুযুক্ত ছোট ফাইলগুলির সাথে সম্পর্কিত। তবে এর কোনও গ্যারান্টি নেই। এটি একক ফাইল থেকে বা ডিস্কের সংলগ্ন ব্লকগুলি থেকে ক্রমান্বয়ে অল্প পরিমাণে ডেটা পড়তে পারে

  • মেট্রিকগুলি রেকর্ড করা আপনাকে আজ আপনার প্রতিশ্রুতিবদ্ধতাগুলি কীভাবে সময়ের সাথে পরিবর্তন করেছে এবং এভাবে ভবিষ্যতে কীভাবে পরিবর্তিত হবে তার একটি খুব সুন্দর চিত্র দেয়। এটি আপনাকে যা বলবে না তা হ'ল সিলিংটি কী। কমপক্ষে এটি খুব দেরী হওয়ার আগে নয়। এটি নির্ধারণ করার জন্য আপনাকে কিছু গণিত (আপনার হার্ডওয়্যার স্পেস থেকে) করতে হবে, বেঞ্চমার্কিং করতে হবে (আমি bonnie++নিজের প্রতি অনুরাগী ) এবং এই ডোমগুলি কী ব্যবহার করছে / কীভাবে ব্যবহার করা হচ্ছে সে সম্পর্কে কিছু যৌক্তিক ধারণা পাওয়া সহায়ক।


1

আপনার স্টোরেজ ব্যাকএন্ডের উপর নির্ভর করে (আইবিএম এসভিসি / ডিএস 8000) আপনি এলোমেলোভাবে আইওপিএস সম্পর্কিত পরিসংখ্যানগুলি সরাসরি এড়াতে সক্ষম হতে পারেন।

সার্ভার থেকে পরিসংখ্যান টানতে, আপনি নামমন ব্যবহার করতে পারেন । এটি নিখরচায় (বিয়ারের মতো)। মূলত এআইএক্সের জন্য আইবিএম দ্বারা বিকাশ করা লিনাক্সেও চলে runs


সমস্ত স্টোরেজ সরাসরি সংযুক্ত থাকে, ডিবিয়ান হোস্টগুলিতে চলছে। যে কোনও কিছু FOSS ভাল।
কেইরান হলোয়ে

1

লোকেরা যদি এসএআর ব্যবহার করে তবে আমি আশা করি আপনি আপনার ডেটা নমুনা করছেন কয়েক সেকেন্ড। আমি যখন সংগ্রহ সংগ্রহ করি তখন আমি একবার / সেকেন্ডে নমুনা করি। যতক্ষণ না আপনি র্যান্ডম আই / ও তে কতটা ভাল করছেন তা মাপার জন্য, রবিন মিলারের ডিটি (গুগল এটি) এর মতো একটি সরঞ্জাম ব্যবহার করুন এবং আপনি সহজেই প্রচুর এলোমেলো আই / ওএস তৈরি করতে পারেন এবং তারপরে আপনি কতজনকে দেখতে কেবল সংগ্রহের সাহায্যে পরিমাপ করতে পারবেন প্রতি সেকেন্ডে করতে পারেন একটি সাধারণ ডিস্কটি সাধারণত সর্বোচ্চ 200-200 আই / ওএস / সেকেন্ড করে, ঘূর্ণনশীল বিলম্বের উপর ভিত্তি করে। ডিস্কের সঠিক স্থানে থাকার জন্য 1/2 বিপ্লবের অপেক্ষার কারণে ব্লকের আকারের সর্বনিম্ন প্রভাব পড়েছিল এবং সমস্ত কিছু ছাপিয়ে যায়।

বিটিডব্লিউ - আইওয়েট হ'ল একটি ভুল বোঝাবুঝি পরিমাপ। এটি সিপিইউ লোডের সাথে কিছুই করার নেই, এর অর্থ হ'ল আমি / ওটি ঘটাকালীন সিপিইউ অন্য কিছু করছিল না। আসলে আপনি যদি 100% আইওয়ায়েটে থাকেন তবে এর অর্থ আপনাকে প্রায় 100% অলস!

-মার্ক

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.