উচ্চতর সমকালীন স্টোরেজ সিস্টেম


12

আপনার প্রয়োজনীয়তাটি কল্পনা করুন যে আপনার কাছে তিনটি বিশাল টেবিল (কাঠামোগত ডেটা) রয়েছে যার মধ্যে প্রত্যেকটিতে 30 বিলিয়ন সারি রয়েছে (4TB এর মোট আকার) এবং আপনার বহু যুগ্ম ব্যবহারকারী (যা দূরবর্তী ল্যান মেশিনে সমান্তরাল ওএস থ্রেড) এর একটি অংশ পড়তে হবে তাদের SeleLct যেখানে তথ্যগুলি এবং অতি সমকালীন মাধ্যমে ডেটাগুলি একই সময়ে 10,000 টি সমান্তরাল পাঠ করে এবং ব্যবহারকারীদেরকে এই টেবিলগুলিতে 2000 সাম্প্রতিক লেখকের মতো (সমস্ত ডেটা সেন্টার ল্যান নেটওয়ার্ক জুড়ে) অত্যন্ত সমকালীন তথ্য সন্নিবেশ করা (কোনও আপডেট নেই) বলা দরকার say । ব্যবহারকারীরা এই স্টোরেজটি যত দ্রুত সম্ভব পড়তে এবং সন্নিবেশ করতে চান যেখানে প্রতিটি পড়তে এবং লিখতে এমএস থেকে 1 সেকেন্ডের সীমা হয়।

এই জাতীয় চাহিদা পূরণের জন্য আপনি কোন প্রযুক্তিগুলির পরামর্শ দিচ্ছেন? এমন কোনও ডাটা স্টোরেজ বা কী মানের দোকান রয়েছে যা এটি করতে পারে? মেঘ কোনও বিকল্প নয়।

কিছু স্পষ্টতা:

ব্যবহারকারীদের এখনই ডেটা দেখতে হবে না এবং চূড়ান্ত ধারাবাহিকতা গ্রহণযোগ্য। স্টোরেজ যে কোনও চালক সরবরাহ করতে পারে তার মাধ্যমে ডেটা অ্যাক্সেস করে এবং ব্যবহারকারীরা আবার ডেটা সেন্টারের রিমোট মেশিনে কেবল থ্রেড চালায়। প্রশ্নগুলি বেশিরভাগ গ্রুপের মতো নির্বাচন করুন।

ডেটা সারণী বিন্যাসে এবং প্রতিটি সারিতে প্রায় 60 বাইট হয়।

কোনও মেঘ বিকল্প নেই যেখানে আমি ডায়নামোডিবি বা অনুরূপ সমাধানগুলি ব্যবহার করতে পারি না। ডেটা সেন্টারে আমার অভ্যন্তরীণভাবে এটি হোস্ট করতে সক্ষম হতে হবে।

সারণীর সমস্ত ডেটা সর্বদা পড়তে পারে এবং ব্যবহারের ধরণটি অনির্দেশ্য। এখানে যোগদান বা সুপার দীর্ঘ কোয়েরি নেই। কোনও ডিআর প্রয়োজন নেই তবে যুক্তিসঙ্গত এইচএ প্রয়োজন তবে এটি অভিনব হতে হবে না। প্রতিটি পাঠক সারণীর একটি ব্যাচ পাচ্ছেন তার উপর ভিত্তি করে যেখানে ক্লজ এবং সারিগুলি আসলে সম্পর্কিত নয় bat আমরা সম্ভবত প্রতিটি সারির জন্য নির্দিষ্ট দৈর্ঘ্য রাখতে পারি তবে আমি আশা করছি স্টোরেজ স্তরটি এটি সম্পর্কে চিন্তিত হবে।

এছাড়াও, আমার সবচেয়ে বড় উদ্বেগ হ'ল সেই সমস্ত সমকালীন লেখাগুলি যা সমবর্তী পাঠগুলির সাথে ঘটছে।

এ সম্পর্কে আপনার অন্তর্দৃষ্টি অত্যন্ত প্রশংসা করা হয়।

এবং আরও বড় কথা, আমার কাছে সেই তিনটি টেবিল রয়েছে যার সাথে প্রতি 30 বিলিয়ন সারি বিভিন্ন বস্তুর ধরণের থাকে


মেঘকে সংজ্ঞায়িত করুন কারণ বেশিরভাগ লোক, সাধারণ জনগণের 99% এবং বিপণনের 100% লোককে ক্লাউড বলা হয় কেবল একটি ক্লাস্টার যা অন্য কেউ রক্ষণ করে।

আমি বোঝাতে চাইছি, আমি ডায়নামোডিবি বা এমন কিছু প্রযুক্তি ব্যবহার করতে পারি না যা কেবলমাত্র পাবলিক ক্লাউডে পাওয়া যায় যেমন আমাজন বা অ্যাজুরি ইত্যাদির মতো।
আইকোড

উত্তর:


6

যদি পরিণামের ধারাবাহিকতা গ্রহণযোগ্য হয় এবং আপনার সমস্ত প্রশ্নের সমষ্টি হয় তবে সম্ভবত একটি স্বল্প-বিলম্বিত OLAP সিস্টেম আপনার পক্ষে কাজ করতে পারে। আপনার প্রয়োজনীয়তা কিছুটা অ্যালগোরিদমিক ট্রেডিং প্ল্যাটফর্মের মতো শোনাচ্ছে। এই ধরণের আর্কিটেকচারটি প্রায়শই ট্রেডিং ফ্লোর সিস্টেমে ব্যবহৃত হয় যা সর্বশেষ তারিখের ডেটাতে সামগ্রিক পরিসংখ্যান বিশ্লেষণের গণনা পরিচালনা করার প্রয়োজন রয়েছে।

আপনি যদি তারিখ অনুসারে আপনার ডেটা ভাগ করতে পারেন এবং পুরানো সারিগুলি আপডেট না হয়ে যায় তবে আপনি একটি সাধারণ আরডিবিএমএস প্ল্যাটফর্মের সাহায্যে মাইক্রোসফ্ট অ্যানালাইসিস পরিষেবাগুলির মতো একটি প্রচলিত ওএলএপি সার্ভার ব্যবহার করে একটি হাইব্রিড ওএলএপি সিস্টেম তৈরি করতে পারেন। এটি 4 মিলিয়ন ডলারের ডেটা এবং এসকিউএল সার্ভার এবং এসএসএএস উভয়ই ভাগ করে নেওয়া-ডিস্ক ক্লাস্টারগুলি সম্পাদন করা সম্ভব হবে। অন্যান্য বিক্রেতাদের কাছ থেকে অনুরূপ ওএলএপি সিস্টেমগুলি (যেমন ওরাকল / হাইপারিয়ন এসবাস) উপলব্ধ)

ওএলএপি সার্ভারগুলি সমষ্টি সহ একটি নেটিভ স্টোরের ডেটা স্থির করে কাজ করে। বিভাজনযুক্ত ডেটা বেশিরভাগ সমর্থন করবে। তদতিরিক্ত, বেশিরভাগ একটি রোলাপ মোডেও কাজ করবে, যেখানে তারা অন্তর্নিহিত ডাটাবেসের বিরুদ্ধে অনুসন্ধানগুলি জারি করে। গুরুত্বপূর্ণ বিষয়টি লক্ষ্যণীয় হ'ল স্টোরেজ কৌশলটি পার্টিশন ভিত্তিতে পরিচালনা করা যেতে পারে এবং আপনি একটি পার্টিশনকে এক থেকে অন্যটিতে অগ্রগতিতে পরিবর্তন করতে পারেন,

এই মডেলটিতে, historicalতিহাসিক ডেটাগুলি এমওএলপি পার্টিশনে সংরক্ষণ করা হয় যা ডেটাগুলির সমষ্টিও বজায় থাকে। যদি কোনও কোয়েরি সমষ্টি থেকে সন্তুষ্ট হতে পারে তবে সার্ভার সেগুলি ব্যবহার করবে। সমষ্টিগুলি কোয়েরিগুলির জন্য উপযুক্ত হতে পারে, এবং সঠিক সমষ্টিগুলি কোয়েরি সমাধানের জন্য প্রয়োজনীয় গণনার পরিমাণ নাটকীয়ভাবে হ্রাস করবে। এই ধরণের সিস্টেমের সাহায্যে খুব প্রতিক্রিয়াশীল সামগ্রিক প্রশ্নগুলি সম্ভব possible

রিয়েলটাইম ডেটা একটি ছোট শীর্ষস্থানীয় পার্টিশন বজায় রেখে প্রয়োগ করা যেতে পারে - চলতি মাস, দিন বা প্রয়োজনের জন্য এমনকি ঘন্টা পর্যন্ত। ওএলএপি সার্ভার ডাটাবেসের বিরুদ্ধে প্রশ্ন জারি করবে; এই পার্টিশনটি যথেষ্ট ছোট হলে ডিবিএমএস দ্রুত প্রতিক্রিয়া জানাতে সক্ষম হবে। একটি নিয়মিত প্রক্রিয়া নতুন নেতৃস্থানীয় পার্টিশন তৈরি করে এবং বদ্ধ historicalতিহাসিক সময়কালগুলিকে মোআলাপে রূপান্তর করে। পুরানো পার্টিশনগুলি মার্জ করা যায়, anyতিহাসিক ডেটা পছন্দসই যে কোনও শস্যে পরিচালিত হতে পারে।

ডাটাবেসে লিখিত ক্লায়েন্টগুলি কেবল অন্তর্নিহিত আরডিবিএমএস থেকে সরাসরি লিখুন। যদি historicalতিহাসিক তথ্য স্থির থাকে তবে তারা কেবল নেতৃস্থানীয় পার্টিশনে লেখা থাকবে be আপনার অতিরিক্ত ডিবিএমএস পারফরম্যান্স প্রয়োজন হলে এসএসডি ব্যবহার করার জন্য 4 টিবি হ'ল একটি ব্যবহারিক ভলিউম। এমনকি মূলধারার বিক্রেতাদের কাছে বিকল্প হিসাবে দ্রুত এসএলসি ইউনিট সহ এসএসডি ভিত্তিক অফার রয়েছে।


আপনার প্রতিক্রিয়ার জন্য আপনাকে ধন্যবাদ. আপনি সঠিক. আমার সমস্যাটি অ্যালগরিদমিক ট্রেডিং প্ল্যাটফর্মের মতো তবে ভিন্ন too আমরা আরডিবিএমএস রুটটি চেষ্টা করেছি এবং এটি স্কেল করতে পারেনি। আমার এমন স্টোরেজ দরকার যা স্কেল করতে পারে এবং ওএলএপি সিস্টেমগুলির জটিলতা নেই কারণ আমাদের তথ্যের আকারটি কেবল বৃদ্ধি পাচ্ছে এবং একবার আমরা তিনটি টেবিলে আরও টিবিতে পৌঁছে গেলে আরডিবিএমএস কেবলমাত্র প্রচুর লকিং এবং অনুরূপ ইস্যু তৈরি করবে। আমি আশা করছি যে একটি নোসকিএল বিকল্প যেমন প্রয়োজনীয়তা পূরণ করতে পারে। কোন চিন্তা আছে?
আইকোড

@ এমডটনেট আপনার 12k একযোগে ব্যবহারকারীর সহজ সমাধানের জন্য প্রত্যাশা / প্রয়োজনীয়তা, 4 টিবি আকারের সমস্যাটি অবাস্তব হতে পারে। আপনি উল্লেখ করেছেন যে আপনি আরডিবিএমএসের পদ্ধতির দিকে নজর রেখেছিলেন এবং এটি স্কেল হয়নি; 1) আপনি নিজের প্রশ্নটিতে এর বিশদ যুক্ত করতে পারেন 2) এই উত্তরটি একটি সংকর রোলাপ / মোলাপ পদ্ধতির পক্ষে, কোনও খাঁটি সম্পর্কযুক্ত ডাটাবেস নয়।
মার্ক স্টোরি-স্মিথ

আমি ডিবিএ নই এবং আমি মনে করি "বিশেষত বিশেষায়িত সাইটের বেশিরভাগের জন্য ড্রাইভ বাই আপ" খারাপ, তবে আমি যত্ন করি না, এই উত্তরটি কেবলমাত্র একটি উর্ধ্বগতির পক্ষে খুব ভাল। +1
PSr
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.