শাড়িং ছাড়াই পোস্টগ্র্রেএসকিউএল এ 100 টি টেরাবাইট ডাটাবেস

Question

অনেক নোডের মধ্যে ডেটা শেডিং না করে পোস্টগ্রিসএসকিউএলে 100 টিবি ডাটাবেস (প্রায় 90 টিবি আসলে) সেটআপ করা কি বাস্তবসম্মত ? অনুরূপ সেটআপগুলি সম্পর্কে কোনও সাফল্যের গল্প / উদাহরণ আছে?

Comments

আমি ধারণা করি এটি আপনার কাজের চাপের উপর নির্ভর করে। কীভাবে ডেটা বিতরণ করা হয় এবং কীভাবে এটি অনুসন্ধান করা হবে? আপনার কোন ধরণের প্রতিক্রিয়া সময় প্রয়োজন?

— ফ্রাঙ্ক ফার্মার

ভাল, লোড প্রোফাইলটি ঘন ঘন সন্নিবেশ হিসাবে বর্ণনা করা যেতে পারে (শীর্ষে প্রায় 50K প্রতি সেকেন্ড), তুলনামূলকভাবে খুব কমই নির্বাচিত হয় (ব্যবহারকারী এবং টাইমস্ট্যাম্প দ্বারা সারিগুলির পরিসীমা)। ডেটা ব্যবহারকারী এবং তারিখ / টাইমস্ট্যাম্প দ্বারা সহজেই শার্প / পার্টিশন করা যেতে পারে

Answer 1

50 কে প্রতি সেকেন্ডে লেখেন যে শোষিত হওয়া প্রয়োজন সাধারণত চ্যালেঞ্জের চেয়ে বেশি। এমনকি বেশ সাধারণ সন্নিবেশ সহ সিন্থেটিক বেঞ্চমার্কগুলিতে পোস্টগ্র্রেএসকিউএল এর সীমাগুলি প্রায় 10 কে / সেকেন্ডের দিকে সর্বাধিক প্রবণতা অর্জন করে - এবং সেখানে ডাটাবেসের আকারের ক্ষেত্রে আপনার কাছে এত বড় জন্তুও নেই।

এছাড়াও সেই একক পোস্টগ্রাইএসকিউএল নোডের জন্য আই / ও সিস্টেমটিও রাইড 10 এর মতোই আকর্ষণীয় হবে এবং ধরে নেওয়া যে 50K সন্নিবেশগুলি কেবল 50K আইওপিএসের সমান হতে চলেছে (যা সম্ভবত ভুল, তবে এটি আপনার ডাটাবেস স্কিম এবং সূচকগুলির উপর নির্ভর করে ), আপনার একটি খুব ভাল অ্যারের সাথে জুটিবদ্ধ প্রায় একশো ডিস্কের প্রয়োজন হবে যা আপনাকে সময় মতো লেখালেখি করার জন্য কয়েকশ ডিস্ক কেনা থেকে বাঁচায়।

যদি শার্পিং সহজ হয় এবং আপনি এত বিশাল লেখার লোড আশা করেন তবে শার্পিংয়ের জন্য যান। লেখাগুলি স্কেল করা খুব কঠিন হতে পারে।

Comments

একমত। এটি একটি এক্সডাটা টাইপ সিস্টেমের ডোমেন। দুঃখের বিষয়, এসএসডি-র সাথে আজকাল 50k আইওপিএস পাওয়া বেশ তুচ্ছ - ওটো এগুলি ব্যয়বহুল হতে চলেছে। আমি হার্ডওয়ারের জন্য এখানে উচ্চতর শেষের SAN থেকে মাঝারি পরিসীমা সহ আরও বড় 7 ডিজিটের বাজেট আশা করব।

— টমটম

হ্যাঁ, আপনি যদি "উল্লম্বভাবে ইন্টিগ্রেটেড সলিউশন স্ট্যাক" যেতে চান তবে এক্সাডাটা হ'ল একটি বিকল্প যা দাবিগুলি বিবেচনা করার ক্ষেত্রে সম্ভবত খারাপ নয়।

— পিএফও

হ্যাঁ। এর মতো কোনও কিছুর জন্য গুরুতর সুবিধা রয়েছে, উভয়ই, 100 টিবি পাশাপাশি 50.000 আইওপস সত্যিই "সস্তা" চিৎকার করবেন না ´ এক্সডাটা কি করে - এসএসডি দিয়ে পুরোপুরি লোড হয়ে গেলে 1 মিলিয়ন আইওপিএস?

— টমটম

এই মন্তব্যগুলিতে যোগ করার জন্য আমি মনে করি যে বাজেটের পরিমানের পরিমাণের পরিমাণের সাথে তথ্য সঞ্চারিত ভলিউমটি পেতে আমি এসকিউএল ইঞ্জিনের জন্য অর্থ প্রদানের জন্য প্রলুব্ধ হব, এটি সামগ্রিক বাজেটের একটি সামান্য শতাংশ হবে এবং আপনি 'আরও অনেক ভাল সমর্থন পাবেন।

— চপ্পার 3

আমি পুরোপুরি একমত. আপনার সানের জন্য আপনার বাজেটের মুহূর্তে কয়েক লক্ষ হিট হ'ল প্রচুর মূল্যবোধ পরিবর্তন হয়।

— টমটম

Answer 2

এটি বাস্তবসম্মত এবং কাজ করবে। পারফরম্যান্স আপনার কতটা র‌্যাম রয়েছে তার উপর নির্ভর করে depends যত বড় র‌্যাম, তত বড় ক্যাশে এবং লম্বা পোস্টগ্রিএসকিউএল ডিস্কে অফলোড করার আগে ডেটা ক্যাশে করতে পারে।

PostgreSQL ক্যাশে ডেটা লিখবে এবং সময়ে সময়ে ক্যাশে অফলোড করে। সুতরাং প্রতি সেকেন্ডে 50k INSERTs 50k IOPS এ অনুবাদ করা হবে না। এটি উপায় কম হবে, কারণ এটি একসাথে রেকর্ডগুলি ক্লাস্টার করবে এবং একই সাথে সমস্ত লিখবে।

বেশিরভাগ কাজ INSERT হলে একটি ডাটাবেস যা বড় হয় তা সমস্যা নয়। পোস্টগ্রেএসকিউএলকে এখানে এবং সেখানে সূচকগুলি পরিবর্তন করতে হবে তবে এটি সত্যিই একটি সহজ কাজ। আপনার যদি এই আকারের একটি ডাটাবেসে প্রচুর নির্বাচন করা থাকে, তবে আপনাকে সত্যই তীক্ষ্ণ করতে হবে।

আমি একবার কেবলমাত্র একটি উদাহরণ, একটি 16 গিগাবাইট সার্ভারে 400TB সহ একটি ওরাকল ডিবি (ওরাকল 10 জি) তে কাজ করেছি। ডাটাবেস কাজের চাপও প্রাথমিক INSERT গুলি ছিল, তাই প্রতিদিন কয়েকটা SELECT এবং প্রতিদিন কয়েক মিলিয়ন INSERTs ছিল। পারফরম্যান্স একটি সমস্যা থেকে দূরে ছিল।

Answer 3

100TB এ আপনার কাছে কয়েকটি গুরুত্বপূর্ণ চ্যালেঞ্জ রয়েছে। এটি আপনার পক্ষে কার্যকর হবে কিনা আপনি কীভাবে এগুলিকে সম্বোধন করতে চান তার উপর নির্ভর করে।

1. লেখার বোঝা শোষণ করার জন্য আপনার পর্যাপ্ত উপায় প্রয়োজন। এটি লেখার বোঝার উপর নির্ভর করে। তবে পর্যাপ্ত দুর্দান্ত স্টোরেজ সহ এটি সমাধান করা যেতে পারে। বেগ এখানে বড় সমস্যা। একইভাবে পড়ার অ্যাক্সেসটি মনোযোগ সহকারে দেখতে হবে।

2. বেশিরভাগ ডাটাবেসে একগুচ্ছ ছোট ছোট টেবিল থাকে না তবে প্রায়শই একটি বা দুটি সত্যিই বড় থাকে যা ডিবি আকারের অর্ধেক পর্যন্ত হতে পারে। PostgreSQL এর টেবিল প্রতি 32TB এর হার্ড সীমা রয়েছে। এরপরে জোয়ার টাইপ পৃষ্ঠা কাউন্টারগুলির বাইরে চলে যায়। এটি পোস্টগ্র্রেএসকিউএল এর একটি কাস্টম বিল্ড বা টেবিল বিভাজন দ্বারা পরিচালনা করা যেতে পারে তবে এটি প্রথমে একটি গুরুতর চ্যালেঞ্জ যার সমাধান করা দরকার।

3. PostgreSQL এর বিভিন্ন কাজের জন্য কতটা র‌্যাম ব্যবহার করতে পারে তার বাস্তব সীমাবদ্ধতা রয়েছে। সুতরাং বেশি র‍্যাম থাকা আপনাকে একটি নির্দিষ্ট বিন্দু ছাড়িয়ে যেতে পারে বা নাও করতে পারে।

4. ব্যাকআপস .... ব্যাকআপগুলি এই স্কেলটিতে আকর্ষণীয়। আমি যে 60 টিবি ডিবি জানি তা এফএস স্ন্যাপশট ব্যাকআপগুলি ব্যবহার করতে হবে এবং তারপরে ওয়াল সংরক্ষণাগারের জন্য বারম্যানের জন্য জাল ব্যাকআপগুলি নকল হয়েছিল। এই জাল ব্যাকআপগুলি fs স্ন্যাপশট ব্যাকআপের জন্য প্রক্সি ছিল। যেমন আমি বলেছিলাম "এগুলি নকল ব্যাকআপ নয়। তারা বিকল্প ব্যাকআপ!"

এই ব্যাপ্তিতে ডেটাবেসযুক্ত লোক রয়েছে। আমি নেদারল্যান্ডসের এমন একটি ব্যাংকের পক্ষে কাজ করেছি এমন একজনের সাথে কমপক্ষে একজনের সাথে দেখা হয়েছে যার একটি 60 টিবি পোস্টগ্রিসএসকিউএল ডাটাবেস ছিল। তবে এটি সত্যই, আপনার কাজের চাপের উপর নির্ভর করে এবং আকার নিজেই সমস্যা নয়।