পোস্টগ্র্যাস এসকিউএলএর জন্য আমি বেশ নতুন, আমি এর আগে এটি ব্যবহার করে কোনও বৃহত্তর স্থাপনা কখনও করি নি। তবে, এন্টারপ্রাইজ সমাধানগুলিতে আমার ভাল অভিজ্ঞতা আছে এবং আমি পোস্টগ্রেএসকিউএল ব্যবহার করে যা শিখেছি তার কিছু চেষ্টা ও প্রয়োগ করতে চাই।
আমার কাছে এমন সাইট রয়েছে যা প্রচুর পরিমাণে ডেটা এবং ট্র্যাফিক পরিচালনা করতে মাপযুক্ত। ইসি 2 উদাহরণ এবং ইবিএস ভলিউম ব্যবহার করে অবকাঠামো অ্যামাজন (এডাব্লুএস) ব্যবহার করে নির্মিত হবে।
নকশায় দুটি ডাটাবেস থাকা উচিত, একটি প্রধান লেনদেনের ডাটাবেস এবং বিশ্লেষণ এবং প্রতিবেদন পরিচালনা করতে একটি ডেটা গুদাম।
মূল লেনদেনের ডাটাবেস
লাইভ ওয়েবসাইটের জন্য ব্যবহার করা হবে, সাইটটি একাধিক নোডে সমবর্তী ব্যবহারকারীদের স্কেল তৈরি করা হয়েছে। পাঠ্য ক্রিয়াকলাপগুলিতে এই ক্ষেত্রে অত্যন্ত গতিযুক্ত হওয়ার জন্য প্রধানত আমাদের ডাটাবেস প্রয়োজন, আমরা 30% বার্ষিক বৃদ্ধি সহ 100 জিবি ডেটা আশা করি। এই মুহুর্তে, আমরা দুটি ইসি 2 সার্ভার ব্যবহার করার পরিকল্পনা করছি ( এবং আমাদের প্রয়োজন অনুযায়ী আরও পরে যুক্ত করব )।
আমার প্রশ্ন, উপরের প্রয়োজনীয়তার জন্য প্রস্তাবিত সেটআপটি কী? এছাড়াও, টেবিল এবং ভলিউম বিভাজন পরিচালনা করার কোনও উপায় আছে? এডাব্লুএস সেটআপ ব্যবহারের জন্য কি সুপারিশ রয়েছে?
ডেটা গুদাম ডাটাবেস
প্রধান মাত্রার সময়কালে মূল লেনদেনের ডাটাবেস থেকে সমস্ত ডেটা ক্যাপচারের জন্য ব্যবহৃত হবে। সুতরাং, এমনকি মূল ডাটাবেস থেকে মুছে ফেলা রেকর্ডগুলি ডিডাব্লুএইচ-তে বন্দী হবে। সুতরাং, ডেটা খুব বড় হবে এবং বৃদ্ধি আরও বড় হবে। প্রয়োজনে আমরা দু'টি ইসি 2 উদাহরণ বা আরও বেশি ব্যবহার করব।
এই ক্ষেত্রে প্রস্তাবিত সেটআপ কি? অবিচ্ছিন্ন রচনার (ইটিএল) কারণে এটির জন্য দ্রুত রচনার অপারেশন প্রয়োজন। আমরা কি পোস্টগ্রেএসকিউএল এ ওএলএপ কিউবগুলি তৈরি করতে পারি? যদি হ্যাঁ, তবে কেউ কি চেষ্টা করেছে?
ডাটাবেসে সংযুক্ত হচ্ছে
ওয়েব সার্ভারগুলি কোয়েরি এবং লেখার জন্য মূল ডাটাবেসে সংযুক্ত হবে। আমরা বর্তমানে জাঙ্গো ব্যবহার করে একটি অ্যাপ্লিকেশন বিকাশ করছি যা সংযোগের জন্য নেটিভ লাইব্রেরি ব্যবহার করে। একই বেসিক পদ্ধতিটি ব্যবহার করার পরামর্শ দেওয়া হচ্ছে কি? বা আমাদের পিজপুল কনফিগার করা উচিত?
ডেটা গুদাম (ETL)
মূল থেকে ডেটা গুদামে লোড এবং ইডিএল প্রক্রিয়াগুলি পড়ার জন্য প্রস্তাবিত উপায় কী? কোন সরঞ্জাম? পদ্ধতি অনুসরণ করতে হবে? পোস্টগ্রাইএসকিউএল ইটিএল প্রক্রিয়াগুলি তৈরিতে কোনও কার্যকর ফাংশন / সরঞ্জাম সরবরাহ করে?