এটি প্রায়শই পুনরুক্ত করা হয় যে বিগ ডেটা সমস্যাটি হ'ল যে সম্পর্কিত ডেটাবেসগুলি এখন তৈরি হচ্ছে এমন বিশাল পরিমাণের ডেটা প্রক্রিয়া করতে স্কেল করতে পারে না।
তবে হ্যাডোপের মতো বিগ ডেটা সলিউশনগুলির এই সীমাবদ্ধতার সীমাবদ্ধতাগুলি কী? কেন ওরাকল আরএসি বা মাইএসকিউএল শার্পিং বা এমপিপি আরডিবিএমএসের মতো টেরাদাতা (ইত্যাদি) এই পর্বগুলি অর্জন করতে পারে না?
আমি প্রযুক্তিগত সীমাবদ্ধতায় আগ্রহী - আমি সচেতন যে ক্লাস্টারিং আরডিবিএমএসের আর্থিক ব্যয় প্রতিরোধমূলক হতে পারে।
উত্তর:
এমএসের সবেমাত্র নেদারল্যান্ডসে একটি প্রযুক্তিগত আলাপ হয়েছিল যেখানে তারা এই বিষয়গুলির কয়েকটি নিয়ে আলোচনা করেছিল। এটি ধীরে ধীরে শুরু হয়, তবে 20 মিনিটের চিহ্নের কাছাকাছি হয়ে হাডোপের মাংসে প্রবেশ করবে।
এর মূল বক্তব্য হ'ল "এটি নির্ভর করে"। আপনার যদি বোধগম্যভাবে ব্যবস্থা করা থাকে, (কিছুটা হলেও) সহজেই ডেটা বিভাজনে সহজ সেট যা (অন্তত কিছুটা) একজাতীয় হয় তবে আপনি কী করছেন তার উপর নির্ভর করে কোনও আরডিবিএমএস সহ সেই উচ্চ ডেটা ভলিউমের স্কেল করা মোটামুটি সহজ হওয়া উচিত ।
হাডোপ এবং এমআর এমন পরিস্থিতিতে আরও কৌতূহলযুক্ত বলে মনে হচ্ছে যেখানে আপনাকে ডেটা বিস্তৃত স্ক্যান করতে বাধ্য করা হয়, বিশেষত যখন সেই ডেটাগুলি অগত্যা সমজাতীয় বা আরডিবিএমএস জগতের মতো আমরা খুঁজে পাই না তার মতো কাঠামোগত হয় না।
বিগ ডেটা সমাধানগুলির সীমাবদ্ধতাগুলি কী? আমার কাছে, সবচেয়ে বড় সীমাবদ্ধতা যে তারা আবদ্ধ নয় তা হচ্ছে সময়ের আগে একটি কঠোর স্কিমা তৈরি করা। বিগ ডেটা সমাধানের সাহায্যে আপনি এখন "বাক্সে" প্রচুর পরিমাণে ডেটা সরিয়ে নিয়েছেন এবং ডেটাগুলির একজাতীয়তার অভাব মোকাবেলা করার জন্য আপনার অনুসন্ধানগুলিতে যুক্তি যুক্ত করেন later বিকাশকারীর দৃষ্টিকোণ থেকে ট্রেড অফ হ'ল প্রকল্পের সামনের প্রান্তে বাস্তবায়ন এবং নমনীয়তা, কোয়েরিতে বনাম জটিলতা এবং তাত্ক্ষণিক ডেটা ধারাবাহিকতা us
ডেটাবেস অগ্রণী এবং গবেষক মাইকেল স্টোনব্রেকার একটি প্রবন্ধ সহ-লিখেছিলেন যা traditional তিহ্যবাহী ডাটাবেস আর্কিটেকচারের সীমাবদ্ধতা নিয়ে আলোচনা করে। সাধারণত, তারা আরও ব্যয়বহুল হার্ডওয়্যার দিয়ে স্কেল করে, তবে সমান্তরালে আরও কমোডিটি হার্ডওয়্যার দিয়ে স্কেলিং করতে অসুবিধা হয় এবং এটি পুরানো যুগের জন্য ডিজাইন করা লিগ্যাসি সফ্টওয়্যার আর্কিটেকচার দ্বারা সীমাবদ্ধ থাকে। তিনি বিবাদ করেন যে বিগডাটা যুগে একাধিক নতুন ডাটাবেস আর্কিটেকচার প্রয়োজন যা আধুনিক অবকাঠামোগত সুবিধা নিয়ে আসে এবং নির্দিষ্ট কাজের চাপের জন্য অনুকূল করে তোলে। এর উদাহরণগুলি হ'ল সি-স্টোর প্রকল্প, যা বাণিজ্যিক ডাটাবেস ভার্টিকা সিস্টেমস এবং এইচ-স্টোর প্রকল্পের ফলে ভোল্টডিবি পরিণত হয়েছিল, যা একটি মেমরি ওয়ালটিপি এসকিউএল ডাটাবেস উচ্চ বেগ বিগডাটা কাজের চাপের জন্য ডিজাইন করা হয়েছিল। (সম্পূর্ণ প্রকাশ, আমি ভোল্টডিবির পক্ষে কাজ করি)।
আপনি এই বিষয়টিতে এই ওয়েবিনারটিকে আকর্ষণীয় মনে করতে পারেন। এটি নোএসকিউএল ডাটাবেসের সাফল্যের সাথে উদ্ভূত কিছু কল্পকাহিনীকে সাড়া দেয়। মূলত, তিনি দাবি করেন যে এসকিউএল সমস্যা ছিল না, পারফরম্যান্স পাওয়ার জন্য ধারাবাহিকতার মতো traditionalতিহ্যবাহী ডাটাবেস বৈশিষ্ট্যগুলি ত্যাগ করার প্রয়োজন হবে না।
এটি সম্পূর্ণ সত্য নয় যে আরডিবিএমএস স্কেল করতে পারে না। তবে বিবৃতিতে আংশিক সত্য আর্কিটেকচারের উপর নির্ভর করে। আপনি যে তালিকায় দিয়েছেন তার মধ্যে ওরাকল আরএসি বাকি (শার্পড মাইএসকিউএল এবং টেরাদাতা) থেকে আলাদা। প্রধান পার্থক্য হ'ল শেয়ার্ড ডিস্ক বনাম ভাগ কিছুই নয় আর্কিটেকচার।
অরাকল আরএসি এর মতো ভাগ করা ডিস্ক আর্কিটেকচারগুলি স্কেলিংয়ে ভুগছে কারণ কোনও সময়ে বা অন্যান্য যে সমস্ত মেশিন চলছে সেগুলি ডেটার কিছু অংশে সিঙ্ক্রোনাইজ করা উচিত। যেমন গ্লোবাল লক ম্যানেজার হ'ল একটি হত্যাকারী। আপনি কিছুটা পরিমাণে এটি সুরক্ষিত রাখতে পারেন তবে আপনি শেষ পর্যন্ত কোনও প্রাচীরকে আঘাত করবেন। আপনি যদি সহজেই মেশিনগুলি যুক্ত করতে না পারেন তবে আপনার কাছে কম তবে সুপার পাওয়ারফুল মেশিন থাকা উচিত যা আপনার পকেট জ্বালিয়ে দিতে পারে। ভাগ করা কিছুই আর্কিটেকচার (বা শার্পড ডেটা) এর ক্ষেত্রে, প্রতিটি মেশিন কিছু ডেটার মালিকানা গ্রহণ করে। এটি যদি কিছু ডেটা আপডেট করতে চায় তবে অন্যান্য মাহকিনগুলির সাথে এটি সিঙ্ক্রোনাইজ করার দরকার নেই।
তারপরে নোএসকিউএল ডাটাবেসের জাত আসে। আমি তাদের সাথে traditionalতিহ্যবাহী আরডিবিএমএস ডাটাবেসের একটি উপসেট ব্যবহার করব। আরডিবিএমএস দ্বারা প্রদত্ত সমস্ত কার্যকারিতা এই বিশ্বের সমস্ত অ্যাপ্লিকেশনগুলির প্রয়োজন হবে না। আমি যদি ডেটাবেসকে ক্যাশে হিসাবে ব্যবহার করতে চাই তবে আমি স্থায়িত্বের যত্ন নেব না। কিছু ক্ষেত্রে হতে পারে আমি ধারাবাহিকতা সম্পর্কেও চিন্তা করব না। যদি আমার সমস্ত ডেটা সন্ধানের চাবির উপর ভিত্তি করে থাকে তবে আমার কাছে পরিসীমা অনুসন্ধানের জন্য সমর্থন দরকার না। আমার দ্বিতীয় মাধ্যমিকের প্রয়োজন হতে পারে না। আমার পুরো ক্যোয়ারী প্রসেসিং / কোয়েরি অপ্টিমাইজেশন স্তরটি প্রয়োজন নেই যা সমস্ত traditionalতিহ্যবাহী ডাটাবেসগুলিতে রয়েছে।