আমাদের রিলেশনাল ডিবিএমএসের ডেটা বড় হচ্ছে, এখন কি নোএসকিউএল এ যাওয়ার সময় এসেছে?


17

আমরা ইয়ার্নিংয়ের উদ্দেশ্যে একটি সামাজিক নেটওয়ার্ক অ্যাপ্লিকেশন তৈরি করেছি। এটি একটি পরীক্ষামূলক প্রকল্প যা আমরা আমাদের ল্যাবটিতে গবেষণা করছি। এটি কিছু ক্ষেত্রে স্টাডিতে ব্যবহৃত হয়েছে এবং আমাদের রিলেশনাল ডিবিএমএস (এসকিউএল সার্ভার ২০০৮) এর ডেটা বড় হচ্ছে। এটি এখন কয়েকটি গিগাবাইট এবং টেবিলগুলি একে অপরের সাথে অত্যন্ত সংযুক্ত। পারফরম্যান্সটি এখনও ঠিক আছে, তবে আমাদের অন্যান্য বিকল্পগুলি কখন বিবেচনা করা উচিত? এটা কি পারফরম্যান্সের বিষয়?


3
কিছু সামাজিক নেটওয়ার্কিং, আমি নেবো অত্যন্ত ভালো একটি গ্রাফ ডাটাবেসের সুপারিশ Neo4j বা OrientDB
অ্যাপোলো

উত্তর:


14

কয়েকটি গিগাবাইট খুব " বড় " নয়। এটি এন্টারপ্রাইজ ডিবি এর সাধারণ আকারের মতো। টেবিলে যোগদান করার সময় আপনি যতক্ষণ পিকে ছাড়েন, ভবিষ্যতেও এটি কার্যকরভাবে কাজ করা উচিত (যতক্ষণ না আপনি একদিনে টিবি'র ডেটা পান না)।

বড় ডেটা এনভায়রনমেন্টে কর্মরত বেশিরভাগ পেশাদাররা> big 5TB কে বিগ ডেটা শব্দটির শুরু হিসাবে বিবেচনা করেন । তবে তারপরেও পরবর্তী সেরা nosql ডাটাবেস ইনস্টল করার সর্বদা সর্বোত্তম উপায় নয়। আপনার সমস্যার জন্য সর্বোত্তম সরঞ্জামগুলি সন্ধান করার জন্য আপনি যে কাজটি ডেটা (সমষ্টি, পড়া, অনুসন্ধান, খনি, ..) দিয়ে সংরক্ষণাগার করতে চান তার বিষয়ে আপনার সর্বদা চিন্তা করা উচিত।

উদাহরণস্বরূপ, আপনি যদি আপনার ডাটাবেসে প্রচুর অনুসন্ধান করেন তবে সম্ভবত একটি সোলার দৃষ্টান্ত / ক্লাস্টার চালানো এবং সময়ে সময়ে পোস্টগ্র্রেস বা আপনার এসকিউএল সার্ভারের মতো কোনও ডিবিএমএস থেকে আপনার ডেটাটিকে সংজ্ঞায়িত করা এবং কেবল ডেটা সরিয়ে না দেওয়ার পরিবর্তে সোলারে রেখে দেওয়া ভাল would অধ্যবসায় এবং পারফরম্যান্সের মেয়াদে এসকিএল থেকে এনএসকিএল পর্যন্ত।


10

এই প্রশ্নের উত্তর দেওয়ার জন্য আপনাকে উত্তর দিতে হবে যে আপনি কী ধরনের আপস করতে পারেন। RDBMS কার্যকরী ACID । সম্পদের দিক থেকে এটি ব্যয়বহুল। এসিডি নেই এমন কোনও নোএসকিউএল সমাধান নেই। এই ধারণাগুলির গভীরে ডুব দেওয়ার জন্য সিএপি উপপাদ্যটি দেখুন ।

সুতরাং আপনাকে প্রতিটি সমাধানের দ্বারা প্রদত্ত প্রতিটি আপস বুঝতে হবে এবং আপনার সমস্যার জন্য সবচেয়ে উপযুক্ত একটি বেছে নিতে হবে।


8

বিগ ডেটা আসলে "এটি কত বড়" সম্পর্কে এতটা নয়।

প্রথমত, কয়েকটি গিগাবাইট মোটেও বড় নয়, এটি প্রায় কিছুই নয়। সুতরাং নিজেকে বিরক্ত করবেন না, আমি মনে করি আপনার সিস্টেমটি দক্ষতার সাথে কাজ করতে থাকবে।

তারপরে আপনাকে কীভাবে আপনার ডেটা ব্যবহার করবেন তা ভাবতে হবে।

  • এসকিউএল পদ্ধতির: প্রতিটি ডেটা মূল্যবান, ভাল সংগ্রহ এবং নির্বাচিত এবং উচ্চ মূল্যবান এবং ভাল কাঠামোগত ডেটা সংরক্ষণ করার দিকে ফোকাস দেওয়া হয়। এটি ব্যয়বহুল হতে পারে, সবকিছু আন্তঃসংযোগযুক্ত এবং এটি ভাল স্টেকচার্ড সিস্টেম এবং ক্রিয়ামূলক ডেটাগুলির জন্য ভাল।
  • বড় ডেটা পদ্ধতির: বড় ডেটাতে আপনি মূলত তার মূল্য নির্বিশেষে প্রায় সমস্ত কিছু সঞ্চয় করেন এবং তারপরে একটি সক্রিয় বিশ্লেষণ প্রক্রিয়া করুন। জিনিসগুলি লিঙ্কযুক্ত নয়, সেগুলি অনুলিপি করা হয়েছে। উদাহরণস্বরূপ বলা যাক আমার একটি ব্লগ এন্ট্রি আছে। বিগ ডেটাতে এর লেখকের কোনও লিঙ্ক থাকবে না, তবে লেখক ব্লগ এন্ট্রির ভিতরে এম্বেড হবে। আরও স্কেলযোগ্য উপায়, তবে একটি পৃথক এবং আরও জটিল পদ্ধতির প্রয়োজন।

যদি আপনার স্টোরিং "ফাংশনাল" ডেটা আপনার অ্যাপ্লিকেশন ব্যবহার করে তবে আমি আপনাকে এসকিউএল এ থাকার পরামর্শ দেব। যদি আপনার স্টোরের ডেটা পরে তা অনুসন্ধান করতে বা প্রতিবেদন করার জন্য হয় এবং যদি এই পরিমাণ ডেটা দ্রুত বাড়তে পারে তবে আমি বড় ডেটার পরামর্শ দেব। আমার মতে, আপনি যখন অবিচ্ছিন্নভাবে সংগ্রহ এবং বিশ্লেষণ করতে হয় এমন সত্যিকারের ডেটা নিয়ে কাজ করেন তখন বড় ডেটা কার্যকর হয়।


8

রিলেশনাল বনাম ডকুমেন্ট (বা নোএসকিউএল) ডাটাবেস কখন ব্যবহার করা উপযুক্ত তা সম্পর্কে আমি স্ট্যাকওভারফ্লোতে একটি সুন্দর বিস্তারিত উত্তর পোস্ট করেছি:

রিলেশনাল ডাটাবেস / ওআরএম বা ডকুমেন্ট ডাটাবেস / ওডিএম ব্যবহারের প্রেরণা

সারসংক্ষেপ:

  • ছোট জিনিসগুলির জন্য, আপনি যে কোনও সরঞ্জামের সাথে পরিচিত হন

  • কয়েকটি গিগাবাইট অবশ্যই স্পষ্টভাবে ছোট জিনিস: এটি কোনও একক মাইএসকিউএল ক্লাস্টারে যুক্তিসঙ্গত সংখ্যার নোড (16-32) এর সাথে ফিট না হওয়া অবধি বড় হয় না , যার অর্থ সম্ভবত 8-16TB ডেটা এবং কয়েক মিলিয়ন লেনদেন প্রতি সেকেন্ডে (বা একাধিক প্রচলিত হার্ড-ড্রাইভ-ভিত্তিক ডাটাবেস যার 100 টি পর্যন্ত টিবি ডেটা এবং সেকেন্ডে কয়েক হাজার লেনদেন))

  • আপনি যদি অন্য কোনও ডাটাবেস (মাইএসকিউএল ক্লাস্টার নয়) এর সাথে আটকে থাকেন তবে ফিউশনআইও হার্ডওয়্যারটিতে ফেলে আরও মাইলেজটি পান।

  • একবারে আপনার কাছে কয়েকটি টিবি-র চেয়ে বড় এবং প্রতি সেকেন্ডে কয়েক হাজার লেনদেনের চেয়ে দ্রুত গতিযুক্ত হয়ে গেলে, প্রথমে অ্যাপ্লিকেশন কোডটিতে লজিক্যাল শারডিংয়ে নোএসকিউএল এ যাওয়ার জন্য ভাল সময়।

  • ক্যাসান্দ্রা :)


6

নোএসকিউএল যাওয়ার সময় কি 2 টি বিষয়ের উপর নির্ভর করে:

  1. আপনার ডেটা প্রকৃতি / গঠন
  2. আপনার বর্তমান অভিনয়

এসকিউএল ডেটাবেসগুলি যখন ডেটাটি সুগঠিত হয় তখন উদাহরণ দেয় (যেমন যখন এটি একটি টেবিল, এক্সেল স্প্রেডশিট বা একটি নির্দিষ্ট সংখ্যক কলামগুলির সাথে সারিগুলির একটি সেট হিসাবে মডেল করা যায়)। এছাড়াও যখন আপনাকে প্রচুর টেবিলের সাথে যোগ দেওয়ার দরকার হয় (যা আপনার মতো মনে হয়)।

নো-এসকিউএল ডাটাবেসগুলি যখন কী-মান জোড়ার বাইরে ডেটা কাঠামোগত থাকে তখন এক্সেল করে।

পারফরম্যান্স অনুযায়ী আপনি নিজেকে একটি প্রশ্ন জিজ্ঞাসা করতে হবে: আপনার বর্তমান এসকিউএল সমাধানটি ধীর ?

যদি তা না হয় তবে " আইআইএবিডিএফআই " নীতিটি নিয়ে যান।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.