ডিস্ক পূর্ণ না হওয়া পর্যন্ত দিন গণনা করা

Question

সময়ের সাথে সাথে ডিস্ক ব্যবহারের ইতিহাস ট্র্যাক করতে আমরা গ্রাফাইট ব্যবহার করি। আমাদের অ্যালার্টিং সিস্টেমটি যখন খালি স্থান নির্দিষ্ট সংখ্যক ব্লকের নীচে নেমে আসে তখন আমাদের সতর্ক করতে গ্রাফাইট থেকে প্রাপ্ত ডেটা দেখে।

আমি বুদ্ধিমান সতর্কতা পেতে চাই - আমি যা সম্পর্কে সত্যই যত্নশীল তা হ'ল "ফাঁকা জায়গা সম্পর্কে কিছু করার আগে আমার আর কতদিন থাকবে?", উদাহরণস্বরূপ যদি ট্রেন্ডটি যদি দেখায় যে 7 দিনের মধ্যে আমি ডিস্কের বাইরে চলে যাব স্পেস তারপর একটি সতর্কতা উত্থাপন, যদি এটি 2 দিনের কম হয় তবে একটি ত্রুটি বাড়ান।

গ্রাফাইটের স্ট্যান্ডার্ড ড্যাশবোর্ড ইন্টারফেসটি ডেরাইভেটিভস এবং হল্ট উইন্টারস কনফিডেন্স ব্যান্ডগুলির সাথে দুর্দান্ত স্মার্ট হতে পারে তবে এখন পর্যন্ত আমি এটিকে অ্যাকশনাল মেট্রিক্সে রূপান্তর করার কোনও উপায় খুঁজে পাইনি। আমি অন্যান্য উপায়ে সংখ্যা ক্রাঞ্চ করার সাথেও ঠিক আছি (কেবল গ্রাফাইট থেকে কাঁচা সংখ্যাগুলি বের করুন এবং এটি করার জন্য একটি স্ক্রিপ্ট চালান)।

একটি জটিলতা হ'ল গ্রাফটি মসৃণ নয় - ফাইলগুলি যুক্ত এবং মুছে ফেলা হয় তবে সময়ের সাথে সাথে সাধারণ প্রবণতা হ'ল ডিস্ক স্পেসের ব্যবহার বৃদ্ধি পেতে পারে, তাই সম্ভবত স্থানীয় ন্যূনতমের দিকে নজর দেওয়া দরকার (যদি "ডিস্ক ফ্রি" মেট্রিক দেখেন) ) এবং গর্তের মধ্যে একটি প্রবণতা আঁকুন।

কেউ কি এই কাজ করেছে?

Comments

আপনার অবকাঠামো কি? উদাহরণস্বরূপ আপনি যদি ভিএমওয়্যার বাড়ি হন তবে আপনি তাদের অপারেশন ম্যানেজার পণ্যগুলি দেখতে পারেন যা ডিস্কের জায়গাতে এই ধরণের ভবিষ্যদ্বাণীপূর্ণ দৃষ্টিভঙ্গি করে।

— চপার 3

The volume of crap people have to store will expand to fill the disk available.- ওল্ড সিসাদমিন অ্যাক্সিয়াম

— ভোরেটাক

আমাদের সার্ভারগুলি ভিএমওয়্যার ভিএম এর ডিস্কগুলির জন্য আইবিএম এক্সআইভি ব্যবহার এবং কেভিএম এর স্থানীয় এসডি ব্যবহারের মধ্যে বিভক্ত। আমি নিশ্চিত নই যে আমাদের কাছে সেই ধরণের তথ্যে অ্যাক্সেস রয়েছে (আমার দল ভিএমওয়্যার বা এক্সআইভি পরিচালনা করে না) এবং পণ্য-স্বাধীন সমাধানটিকে পছন্দ করবে।

— আমোস শাপীরা

Answer 1

সত্যিকার অর্থে "পুরো দিন অবধি পূর্ণ" যাইহোক সত্যিই একটি লস মেট্রিক - ফাইল সিস্টেমগুলি 100% ব্যবহারের দিকে যাওয়ার সাথে সাথে সত্যিই বোকা হয়।
আমি সত্যিই 85তিহ্যবাহী 85%, 90%, 95% থ্রেশহোল্ডগুলি (সতর্কতা, বিপদাশঙ্কা, এবং সমালোচনামূলক-আপনাকে এখন-যথাযথভাবে-ঠিক করার দরকার এখন-এখনই যথাযথ) ব্যবহার করার পরামর্শ দিচ্ছি - এটি আপনাকে আধুনিক ডিস্কগুলিতে প্রচুর সতর্কবার্তা দেবে (1TB ড্রাইভটি বলি: একটি টেরাবাইটের 85% এখনও আপনাকে প্রচুর জায়গা ছেড়ে দেয় তবে আপনি সম্ভাব্য সমস্যা সম্পর্কে অবগত হন, 90% দ্বারা আপনি ডিস্ক প্রসারণ বা অন্য কোনও প্রশমন পরিকল্পনা করতে পারেন, এবং একটি টেরাইবাইটের 95% এ আপনার 50 গিগাবাইট বাকি আছে এবং ভালভাবে গতিতে স্থির হওয়া উচিত arn

এটিও নিশ্চিত করে যে আপনার ফাইল সিস্টেমটি আরও কম-বেশি অনুকূলভাবে কাজ করে: বড় ফাইলগুলি তৈরি / পরিবর্তন / সরিয়ে নিয়ে যাওয়ার জন্য এতে প্রচুর পরিমাণে মুক্ত স্থান রয়েছে।

যদি আপনার ডিস্কগুলি আধুনিক না হয় (বা আপনার ব্যবহারের ধরণটিতে ডিস্কের উপরে প্রচুর পরিমাণে ডেটা নিক্ষেপ করা হয়) আপনি সহজেই থ্রেশহোল্ডগুলি সামঞ্জস্য করতে পারেন।

---

যদি আপনি এখনও "পুরো দিন অবধি" মেট্রিক ব্যবহারের জন্য সেট করেন তবে আপনি গ্রাফাইট থেকে ডেটা বের করতে এবং এটিতে কিছু গণিত করতে পারেন। আইবিএম এর মনিটরিং সরঞ্জামগুলি বেশ কয়েক দিন পূর্ণ-মেট্রিকগুলি প্রয়োগ করে যা আপনাকে এটি কীভাবে বাস্তবায়ন করতে পারে তার একটি ধারণা দিতে পারে তবে মূলত আপনি ইতিহাসের দুটি পয়েন্টের মধ্যে পরিবর্তনের হার নিচ্ছেন।

আপনার বুদ্ধিমানের স্বার্থে আপনি গ্রাফাইট থেকে ডেরিভেটিভ ব্যবহার করতে পারেন (যা আপনাকে সময়ের সাথে পরিবর্তনের হার দেয়) এবং প্রকল্পটি ব্যবহার করে, তবে আপনি যদি সত্যিই "স্মার্ট" সতর্কতাগুলি চান তবে আমি পরিবর্তনের দৈনিক এবং সাপ্তাহিক হার ব্যবহার করার পরামর্শ দিচ্ছি (গণনা করা হয়েছে) দিন / সপ্তাহের জন্য শীর্ষ ব্যবহারের ভিত্তিতে)।

আপনি যে নির্দিষ্ট প্রক্ষেপণটি ব্যবহার করেন (পরিবর্তনের ক্ষুদ্রতম হার, পরিবর্তনের বৃহত্তম হার, পরিবর্তনের গড় হার, ওজনযুক্ত গড় ইত্যাদি ...) আপনার পরিবেশের উপর নির্ভর করে। আইবিএমের সরঞ্জামগুলি বিভিন্ন ধরণের মতামত দেয় কারণ এক-আকারের ফিট-সমস্ত প্যাটার্নটি পেরেক করা সত্যিই শক্ত।

---

আপনি যে ধরনের গণনা চান তা শেষ পর্যন্ত কোনও অ্যালগরিদম খুব ভাল হতে পারে না। ডিস্কের ব্যবহার ব্যবহারকারীদের দ্বারা চালিত হয় এবং ব্যবহারকারীরা যৌক্তিক অভিনেতা মডেলের বিরোধী: আপনার সমস্ত ভবিষ্যদ্বাণী উইন্ডোতে যেতে পারে একজন পাগল ব্যক্তি সিদ্ধান্ত নিয়ে যে আজকের দিনটিতে তারা একটি সম্পূর্ণ সিস্টেমের মেমরি ডাম্প সঞ্চালন করবে তাদের হোম ডিরেক্টরি শুধু কারণ।

Comments

আপনার অন্তর্দৃষ্টি জন্য ধন্যবাদ। আমি আপনার পয়েন্ট দেখুন। আমি এখনও মনে করি যে ধ্রুব প্রান্তটি কেবল "প্রতিস্থাপন করতে আমার কতক্ষণ?" এবং আপনার "আপনার থ্রেশহোল্ডগুলি সামঞ্জস্য করুন" মন্তব্য করে কিছুটা সত্য প্রমাণিত হন। সাধারণ গ্রাফাইট ডেরাইভেটিভগুলি কাজ করে না কারণ আসল গ্রাফটি মসৃণ নয়। আইবিএমের সরঞ্জামগুলির পয়েন্টারটির জন্য ধন্যবাদ, আপনি যা শুনেছেন ঠিক তার মতোই আমি কী ভাবতে শুরু করেছি (শেষ দুটি নূন্যতমটি বের করুন এবং সেগুলি থেকে opeাল গণনা করুন)।

— আমোষ শাপিরা

অবশ্যই একটি 'দিন থেকে পূর্ণ' মেট্রিকের বিন্দুটি হ'ল স্থির 85/90/95 থ্রেশহোল্ডগুলির সাথে, আপনার কোনও ধারণা নেই যে ডিস্কটি কত দ্রুত পূরণ করছে? অবশ্যই, আপনি একটি সম্ভাব্য সমস্যা সম্পর্কে অবগত আছেন, তবে আপনি কীভাবে জানতে পারবেন যে এটির সমাধানের জন্য আপনার কিছু দিন রয়েছে, বা সপ্তাহ / মাস?

আমি সত্যিই আকর্ষণীয় মনে করি যে আপনি এই মতামত হবে। আমাকে এইভাবে ফ্রেম করতে দাও: আপনার সংস্থার একটি ক্রয় প্রক্রিয়া রয়েছে যা আরও বেশি হার্ড ড্রাইভের প্রাথমিক অনুরোধের মধ্যে প্রায় 6 সপ্তাহ সময় নেয় যে সেই হার্ড ড্রাইভগুলি আসলে বাক্সগুলিতে ইনস্টল হয়ে গেছে এবং লোড পুনরায় বিতরণ শুরু হবে। সময় মতো ডিস্ক ইনস্টল করার জন্য আপনাকে কোন ডিস্ক% তে অবহিত করার জন্য week সপ্তাহের টাইমফ্রেম দেওয়া হয়েছে? 80%? 75%? বিষয়টির বাস্তবতা হ'ল আপনি যদি জানেন না যে আপনি বৃদ্ধির হার গণনা করার জন্য কিছু চেষ্টা না করেন।

— জেহিকসন

Answer 2

লিনিয়ার রিগ্রেশন ব্যবহার করে আমরা সম্প্রতি একটি কাস্টম সমাধান এনেছি।

আমাদের সিস্টেমে ডিস্ক ক্লান্তির প্রাথমিক উত্স হ'ল বিপথগামী লগ ফাইলগুলি যা ঘোরানো হয় না।

যেহেতু এগুলি খুব পূর্বাভাসযোগ্যভাবে বৃদ্ধি পায়, তাই আমরা ডিস্ক ব্যবহারের ক্ষেত্রে একটি লিনিয়ার রিগ্রেশন (উদাহরণস্বরূপ z = numpy.polyfit(times, utilization, 1)) সম্পাদন করতে পারি, তারপরে রৈখিক মডেল (যেমন, (100 - z[1]) / z[0]) প্রদত্ত 100% চিহ্ন গণনা করতে পারি

মত মোতায়েন বাস্তবায়ন সৌন্দর্য এই রুবি এবং GSL ব্যবহার করে, যদিও numpy কাজ বেশ ভাল খুব।

এই এক সপ্তাহের মূল্যমানের প্রায় 90 মিনিটের ব্যবধানে 11 ডলার (112 পয়েন্ট) ব্যবহারের ডেটা খাওয়ানো খুব বেশি গোলমাল ছাড়াই ডিস্ক ক্লান্তির সম্ভাব্য প্রার্থীদের বাছাই করতে সক্ষম হয়েছে।

টুকরো টুকরো ক্লাসটি এমন একটি ক্লাসে আবৃত থাকে যা স্কাউট থেকে ডেটা টেনে নেয়, স্লোকে স্ল্যাক করতে সতর্ক করে এবং স্ট্যাটসডে কিছু রানটাইম টেলিমেট্রি প্রেরণ করে। এটি আমাদের পরিকাঠামোর সাথে নির্দিষ্ট হওয়ার কারণে আমি এটি ছেড়ে দেব leave

Comments

আমি উত্তরটি এখন কিছু তথ্য দিয়ে আপডেট করেছি যে এটি আমাদের ঘূর্ণায়মান।

— matschaffer

এই পদ্ধতির সাথে সবেমাত্র একটি মজার গোটাচা খুঁজে পেয়েছি। আমাদের কাছে 90% অ্যালার্ম রয়েছে। আমাদের হোস্টগুলির মধ্যে একটি ক্রমবর্ধমানভাবে ক্রমশ বেড়েছিল 90% হিট করে ধীরে ধীরে এটি 100% মারার আগে এক সপ্তাহেরও বেশি সময় লেগেছিল যদিও ভবিষ্যদ্বাণীমূলক সতর্কতা কখনই চালিত হয় না;) অনুমান করি এর (90 - z[1]) / z[0]পরিবর্তে আমার ব্যবহার করা উচিত ।

— matschaffer