আমি শুনেছি যে মাইএসকিউএল বা পোস্টগ্রেএসকিউএল হিসাবে 10-টিবি ছাড়িয়ে নন-শার্পড রিলেশনাল ডাটাবেসের কর্মক্ষমতা।
আমি সন্দেহ করি যে নেটিজা, গ্রিনপ্লাম, বা ভার্টিকা ইত্যাদির সাথে সীমাবদ্ধতার উপস্থিতি নেই, তবে আমি জিজ্ঞাসা করতে চাই যে এখানে যদি কারও কাছে এই গবেষণামূলক কাগজ বা আনুষ্ঠানিক কেস স্টাডিগুলির রেফারেন্স রয়েছে যেখানে এই সীমাগুলি পরিমিত হয়।
উত্তর:
আপনার প্রশ্নের কোনও সহজ উত্তর নেই, তবে এখানে কিছু বিষয় চিন্তা করা উচিত।
প্রথমত, স্কেল কেবল চিন্তার বিষয় নয়। আপনি আপনার ডেটা দিয়ে যা করেন তা হ'ল। আপনার যদি 500 টি টেবিল 30 টিবি ডেটা থাকে এবং আপনি খুব কম রিপোর্টিং দিয়ে সাধারণ ওয়ালটিপি করছেন তবে আমি মনে করি না যে আপনার খুব বেশি সমস্যা হবে। পোস্টগ্র্রেএসকিউএল-এ 32TB ডাটাবেস আছে। যাইহোক, একই সময়ে কর্মক্ষমতা কিছুটা হ্রাস পাবে কারণ এটিকে সবকিছুতে ডিস্ক চাপতে হচ্ছে। একইভাবে আপনার যদি ডেটা থাকে তবে আপনার কাছে 50TB থাকে তবে প্রায় 100GB এর হিট সেট থাকে, তবে আপনি ডিবিটির সেই অংশটি মেমরিতে রাখতে পর্যাপ্ত র্যাম সহ একটি সার্ভার তৈরি করতে পারেন এবং আপনি সোনার golden
অন্যদিকে আপনি যদি 1TB ডেটা থেকে মোডটি (সর্বাধিক সাধারণ মান) নেওয়ার চেষ্টা করছেন তবে আপনি কোন সিস্টেমটি ব্যবহার করছেন তা বিবেচনাধীন নয়, এটি শার্প বা শ্যাডিং ছাড়াই বা বেদনাদায়ক হয়ে উঠবে । (সম্পাদনা করুন: ভাগ করে নেওয়া, আসলে এই সমস্যাটিকে আরও খারাপ করতে পারে ))
মাইএসকিউএল এবং পোস্টগ্রিএসকিউএল-তে বিশাল ডিবি নিয়ে আপনি যে প্রধান সমস্যাগুলি দেখবেন সেগুলির মধ্যে অন্তর্ভুক্তি সমান্তরালতাটিকে সমর্থন করে না এই বিষয়টি জড়িত। অন্য কথায় কোয়েরিটি একটি একক থ্রেড দ্বারা একটি ব্লক হিসাবে চালিত হয় এবং এটি টুকরো টুকরো হয়ে আলাদাভাবে চালানো যায় না। বিপুল পরিমাণে ডেটা-র উপর বিশ্লেষণী অনুসন্ধান চালানোর সময় এটি প্রায়শই একটি সমস্যা। পোস্টগ্রিস-এক্সসি এবং গ্রিন প্লাম এখান থেকেই উদ্ধার করতে আসে যেহেতু তারা সঞ্চয়ের থেকে স্টোরেজ পৃথক করে এবং সমন্বয়কারী পর্যায়ে এটি করতে পারে। নোট করুন যে পোস্টগ্রাস-এক্সসি এবং গ্রিন প্লাম মূলত অভ্যন্তরীণভাবে শার্পিং ব্যবহার করে তবে সমন্বয়কারীরা বিশ্বব্যাপী সমস্ত ধারাবাহিকতা প্রয়োগ করে।
অন্তঃসত্ত্বা সমান্তরালতার সাহায্যে আপনি ক্যোয়ারীটি ভেঙে ফেলতে পারবেন, বিভিন্ন প্রসেসর / ডিস্ক আই / ও চ্যানেল এর অংশগুলি চালাবেন এবং ফলাফলের কিছু অংশ একত্রিত হয়ে অ্যাপ্লিকেশনটিতে ফেরত পাঠাতে পারবেন। আবার, এটি লেনদেন প্রক্রিয়াজাতকরণের লোডের চেয়ে বিশ্লেষক হিসাবে সাধারণত সবচেয়ে সহায়ক helpful
দ্বিতীয় জিনিসটি হ'ল ভার্টিকা বা গ্রিনপ্লামের মতো কিছু সিস্টেম তথ্যের কলামগুলি এক সাথে সঞ্চয় করে। এটি ওলটিপি দৃষ্টিকোণ থেকে সিস্টেমটিকে ব্যবহার করা আরও শক্ত করে তোলে এবং সেখানে কার্যকারিতা হ্রাস পায়, তবে এটি বৃহত বিশ্লেষণমূলক কাজের চাপের জন্য কর্মক্ষমতা তীব্রতর করে। সুতরাং এটি একটি কাজের চাপ-নির্দিষ্ট ট্রেড অফ।
সুতরাং উত্তরটি হ'ল একবারের আকারের 1-2 টিবি ছাড়ার পরে আপনি নিজেকে সিস্টেম এবং কাজের চাপের মধ্যে বেশ কয়েকটি ট্রেড অফের মুখোমুখি হতে পারেন । আবার এটি ডেটাবেসগুলির সাথে নির্দিষ্ট, কাজের সেটগুলির আকার ইত্যাদির সাথে সুনির্দিষ্ট However
অবশ্যই এটির অর্থ হ'ল সীমাগুলি সাধারণত পরিমাণযুক্ত নয়।
সম্পাদনা : আমি এখন একটি 9 টিবি ডাটাবেস নিয়ে কাজ করেছি যা পোস্টগ্রেএসকিউএলে সিদ্ধান্ত সমর্থন এবং লেনদেনের প্রক্রিয়াজাতকরণ কাজের চাপের মিশ্রণ পরিচালনা করে। একক বৃহত্তম চ্যালেঞ্জটি হ'ল যদি আপনার এমন প্রশ্নগুলি থাকে যা ডেটা সেটের বড় অংশগুলিতে আঘাত করে তবে আপনাকে উত্তরের জন্য কিছুক্ষণ অপেক্ষা করতে হবে।
তবে মৌলিক বিষয়গুলিতে (সূচীগুলি, অটোভ্যাকুয়াম, কীভাবে নিম্ন স্তরের এগুলি কাজ করে ইত্যাদি) এবং পর্যাপ্ত কম্পিউটিং সংস্থানগুলিতে যত্ন সহকারে মনোযোগ সহ, এগুলি সম্পূর্ণরূপে পরিচালনীয় (এবং আমার অনুমান হয় যে পিজিতে 30 টিবি ব্যাপ্তির মধ্যে ম্যানেজমেন্ট ভাল হবে)।
সম্পাদনা 2 : একবার আপনি যদি 100 টিবি তে যান তবে কী কাজ করে তা আপনার ডেটা সেটের উপর নির্ভর করবে। আমি এখনই একটি নিয়ে কাজ করছি যা এই পরিসীমাটিতে স্কেল হবে না কারণ এটি পোস্টগ্রিসএসকিউএলে প্রতি সারণি সীমাতে 32TB টি আঘাত করবে।