উচ্চ-উপলভ্য, ওয়েব-অ্যাক্সেসযোগ্য এবং স্ট্যাটসডি এবং গ্রাফাইটের স্কেলযোগ্য মোতায়েন

Question

আমি স্ট্যাটসডি / গ্রাফাইট সেটআপ করতে চাই যাতে আমি এইচটিএমএল ডিভাইসে চলমান জেএস অ্যাপ্লিকেশনগুলি লগ করতে পারি (যেমন, কোনও ল্যান পরিবেশে নেই এবং সম্ভবত আমি সরাসরি নিয়ন্ত্রণ করি না এমন ইনকামিং ডেটা রয়েছে)।

আমার বাধা:

• এন্ট্রি পয়েন্ট অবশ্যই HTTP বলতে হবে: এটি একটি সাধারণ HTTP- থেকে-ইউডিপি-স্ট্যাটসড প্রক্সি (যেমন।
• একক সার্ভারের ব্যর্থতা প্রতিহত করতে হবে (মারফি আইনের বিরুদ্ধে লড়াই করতে :)
• অনুভূমিকভাবে স্কেলেবল হতে হবে: ওয়েবস্কেল, বাবু! :)
• আর্কিটেকচারটি যতটা সম্ভব সহজ (এবং সস্তা) রাখা উচিত
• আমার সার্ভারগুলি ভার্চুয়াল মেশিন
• ডেটা ফাইলগুলি একটি ফাইলার অ্যাপ্লায়েন্সে (এনএফএসের সাথে) সংরক্ষণ করা হবে
• আমার কাছে টিসিপি / ইউডিপি হার্ডওয়্যার লোড ব্যালান্সার রয়েছে

সংক্ষেপে, ডেটা পাথ: [ক্লায়েন্ট] - (HTTP) -> [http2statsd] - (ইউডিপি) -> [স্ট্যাটাসড] - (টিসিপি) -> [গ্রাফাইট] - (এনএফএস) -> [ফাইলার]

এখন পর্যন্ত আমার অনুসন্ধানগুলি:

• http2statsd অংশটি স্কেল করা সহজ (স্টেটলেস ডেমন)
• স্ট্যাটাস্ড অংশটি স্কেলিং সোজা মনে হয় না (আমার ধারণা আমি সমষ্টি, গড়, সর্বনিম্ন, সর্বনিম্ন, সর্বোচ্চ ...) এর সমষ্টিগত ডেটার জন্য গ্রাফাইটে অসংলগ্ন মানগুলি শেষ করতাম। যদি না এইচটিটিপি ডিমন কীগুলি তীক্ষ্ণ করতে ক্রমাগত হ্যাশ করে না। হতে পারে একটি ধারণা ... (তবে তারপরে এইচএ প্রশ্ন আছে)
• গ্রাফাইট অংশটি স্কেলিং শারডিংয়ের মাধ্যমে করা যেতে পারে (কার্বন-রিলে ব্যবহার করে) (তবে এটি এইচএ প্রশ্নটিও সমাধান করে না)। স্পষ্টতই বেশ কয়েকটি ফিসফাস দৃষ্টান্তে একই এনএফএস ফাইলটি লেখা উচিত নয়।
• ফাইলার অংশটি স্কেলিং করা প্রশ্নের অংশ নয় (তবে কম আইও, আরও ভাল :)
• ওয়েব অ্যাপ্লিকেশন স্কেলিং সুস্পষ্ট বলে মনে হচ্ছে (যদিও আমি পরীক্ষা করিনি) কারণ তারা কেবল ভাগ করা এনএফএস ডেটা পড়ে

তাই আমি ভাবছিলাম যে কারও কাছে শক্ত স্ট্যাটসডি / গ্রাফাইট স্থাপনার জন্য ভাগ করার অভিজ্ঞতা এবং সর্বোত্তম অনুশীলন রয়েছে?

Comments

স্ট্যাটসডি সম্পর্কে এটসির ব্লগপোস্টে মন্তব্যগুলি পড়ে তারা লিখেছেন যে তারা প্রতি 10 সেকেন্ডে স্ট্যাটসডকে 10,000-30,000 মেট্রিক খাওয়ান। আমি একটি এইচটিসিএসটিএসডি ক্লায়েন্টকে একটি স্ট্যাটাসড সার্ভারের সাথে সংযুক্ত করার পরামর্শ দিচ্ছি এবং স্ট্যাটসডে প্রেরিত ম্যাট্রিকের সংখ্যা যদি বাধা হয়ে দাঁড়ায়।

— pkhamre

আপনি কি শেষ পর্যন্ত এটি বাস্তবায়ন করেছেন? যদি তাই হয়, আপনি বিশদ ভাগ করতে পারেন?

— gf_

Answer 1

সামঞ্জস্যপূর্ণ হ্যাশিং সহ একটি স্ট্যাটাসড প্রক্সি রয়েছে, এটি একাধিক স্ট্যাটসড এগ্রিগেটরদের মধ্যে স্ট্যাটসড ট্র্যাফিক ছড়িয়ে দেওয়া সম্ভব করে, যার প্রত্যেকটি নিজস্ব মেট্রিক নামের সেট ব্যবহার করে। এটি আপনার আর্কিটেকচারে অত্যন্ত গুরুত্বপূর্ণ স্কেলাবিলিটি উপাদান, আপনাকে স্ট্যাটসডি প্রক্রিয়াগুলি স্কেল করার অনুমতি দেয়।

গ্রাফাইটও জটিল, তবে আশা করি আপনার অসীম স্কেল প্রয়োজন হবে না এবং পরিষেবা বা অন্য কোনও স্ট্যাটিক প্যারামিটার দ্বারা সূক্ষ্মভাবে শারডিং করতে পারবেন।

সবচেয়ে শক্তিশালী অংশটি ওয়েব অ্যাপ্লিকেশন স্কেলিং করছে এবং এটি আপনার সবচেয়ে ভারীতম গ্রাফ কোয়েরিগুলির উপর অনেক বেশি নির্ভর করে। তবে আপনি সর্বদা হার্ড গ্রাফগুলির জন্য ডেটা প্রাক-সমষ্টি করতে পারেন এবং বেশিরভাগ লোড থেকে মুক্তি পান।

এই সমস্ত ব্যথা এড়াতে আমি বেশ কিছুদিন ধরে হোস্টিংগ্রাফাইট ব্যবহার করছি, এই ছেলেরা কার্বনের জন্য তাদের নিজস্ব রিয়াক ব্যাকএন্ড প্রয়োগ করেছে এবং সেখানে সমস্ত স্কেলিং করে।