আমি একটি বড় ভূ-স্থান সংক্রান্ত ডেটা সেটের জন্য একটি নতুন সিস্টেম ডিজাইনের প্রক্রিয়ায় আছি যার জন্য দ্রুত পড়ার ক্যোয়ারী পারফরম্যান্সের প্রয়োজন হবে। অতএব, আমি দেখতে চাই যে কেউ যদি এটি সম্ভব বলে মনে করে বা নিম্নলিখিত পরিস্থিতিতে প্রয়োজনীয় কার্য সম্পাদন করতে উপযুক্ত ডিবিএমএস, তথ্য কাঠামো, বা বিকল্প পদ্ধতি সম্পর্কে অভিজ্ঞতা / পরামর্শ আছে কিনা:
প্রক্রিয়াজাত উপগ্রহ রাডার তথ্য থেকে অবিচ্ছিন্নভাবে ডেটা তৈরি করা হবে, যার বৈশ্বিক কভারেজ থাকবে। স্যাটেলাইট রেজোলিউশন এবং পৃথিবীর স্থল কভারেজের ভিত্তিতে, আমি পৃথিবীর 75 বিলিয়ন বিচ্ছিন্ন অবস্থানের মান নির্ধারণের জন্য সম্পূর্ণ ডেটা সেটটি অনুমান করি। একটি একক উপগ্রহের আয়ু জুড়ে, আউটপুট এই অবস্থানগুলির প্রতিটিতে 300 মান পর্যন্ত উত্পাদন করবে (সুতরাং> 22 ট্রিলিয়ন মানগুলির মোট ডেটা সেট)। এটি একটি স্যাটেলাইটের জন্য, এবং ইতিমধ্যে কক্ষপথে একটি দ্বিতীয় রয়েছে, নতুন আরও কয়েক বছরে পরিকল্পনা করা হয়েছে। তাই প্রচুর ডেটা থাকবে! একটি একক ডেটা আইটেমটি খুব সাধারণ এবং এটি কেবলমাত্র দ্রাঘিমাংশ, অক্ষাংশ, মান) নিয়ে গঠিত তবে আইটেমের সংখ্যার কারণে আমি একক উপগ্রহকে 100 টিবি পর্যন্ত উত্পাদন করতে অনুমান করি।
লিখিত তথ্য কখনও আপডেট করার প্রয়োজন হবে না, কারণ এটি কেবলমাত্র নতুন উপগ্রহ অধিগ্রহণ প্রক্রিয়া করার সাথে সাথে বাড়বে। লেখার পারফরম্যান্স গুরুত্বপূর্ণ নয়, তবে পড়ার পারফরম্যান্স গুরুত্বপূর্ণ। এই প্রকল্পের লক্ষ্য হ'ল গুগল ম্যাপের ওপরে একটি স্তর হিসাবে একটি সাধারণ ইন্টারফেসের মাধ্যমে ডেটা ভিজ্যুয়ালাইজ করতে সক্ষম হওয়া যেখানে প্রতিটি বিন্দুর গড়, গ্রেডিয়েন্ট বা সময়ের সাথে কিছু ফাংশনের উপর ভিত্তি করে রঙিন মান থাকে। (পোস্টের শেষে ডেমো)
এই প্রয়োজনীয়তাগুলি থেকে, ডাটাবেসটি স্কেলেযোগ্য হওয়া দরকার এবং আমরা মেঘ সমাধানগুলির দিকে তাকাতে পারি। সিস্টেমটি ভূ-স্থানিক প্রশ্নের যেমন "পয়েন্টের নিকটবর্তী (ল্যাট, লোন)" এবং "পয়েন্টগুলির মধ্যে (বাক্সে)" মোকাবেলা করতে সক্ষম হতে হবে এবং একটি বিন্দু চিহ্নিত করার জন্য <1s এর পারফরম্যান্স এবং বহুভুজ যা পড়তে সক্ষম তা পড়তে পারে 50,000 পয়েন্ট (যদিও 200,000 পয়েন্ট পর্যন্ত ভাল হবে)।
এখন পর্যন্ত আমার 111 মিলিয়ন লোকেশনে 50 750 মিলিয়ন ডেটা আইটেমের একটি পরীক্ষার ডেটা সেট রয়েছে। আমি একটি পোস্টগ্রিজ / পোস্টজিআইএস উদাহরণটি পরীক্ষা করেছি, যা ঠিক আছে, তবে আমি ধারালো হওয়ার সম্ভাবনা ছাড়াই এই তথ্যটি বাড়ার পক্ষে সক্ষম হব না I আমি একটি মঙ্গোডিবি উদাহরণও পরীক্ষা করেছি, যা আবার ঠিক আছে বলে মনে হয় দূরে, এবং শারডিং সহ এটি ডেটা ভলিউমের সাথে স্কেল করার জন্য যথেষ্ট হতে পারে। আমি ইলাস্টিক সন্ধান সম্পর্কে সম্প্রতি কিছুটা শিখেছি, সুতরাং এ সম্পর্কে যে কোনও মন্তব্য আমার পক্ষে এটি নতুন হিসাবে সহায়ক হবে।
সম্পূর্ণ ডেটা সেট সহ আমরা কী অর্জন করতে চাই তার একটি দ্রুত অ্যানিমেশন এখানে দেওয়া হয়েছে:
এই জিআইএফ (আমার পোস্টগ্রিস ট্রায়াল থেকে) (6x3) প্রি-কম্পিউটেড রাস্টার টাইলগুলি পরিবেশন করছে, যার প্রতিটিতে 200,000 ডলার পয়েন্ট রয়েছে এবং প্রতিটি উত্পন্ন করতে 17 ডলার নিচ্ছে। একটি বিন্দুতে ক্লিক করে গ্রাফটি <1s এর নিকটতম স্থানে সমস্ত .তিহাসিক মান টেনে তৈরি করা হয়।
দীর্ঘ পোস্টের জন্য দুঃখিত, সমস্ত মন্তব্য / পরামর্শ স্বাগত।