কীভাবে ওপেনস্ট্রিটম্যাপ ডেটা দক্ষতার সাথে স্কেল করা যায়


9

এক বছরেরও বেশি সময় ধরে, আমি ওএসএম ডেটা ভরা একটি ইন-হাউস পোস্টজিআইএস সার্ভার চালিয়ে যাচ্ছি, যা ম্যাপনিক-ভিত্তিক টাইল জেনারেশন এবং নোমানাটিম-ভিত্তিক জিওকোডিং উভয়ের জন্য ব্যবহৃত, দিনের প্রতিলিপিগুলির সাথে আপডেট হয়েছে। এটি বেশ ভাল কাজ করে।

তবে, ব্যবহার যেমন তাত্পর্যপূর্ণভাবে বৃদ্ধি পাচ্ছে, আমি অতিরিক্ত পোস্টগ্র্যাসএসকিউএল সার্ভার যুক্ত করে আরও ভাল নির্ভরযোগ্যতা এবং কার্য সম্পাদন করতে চাই। আর আমি একরকম হারিয়েছি।

যেহেতু পোস্টগ্র্যাসকিউএল নিজেই অনুলিপিটি পরিচালনা করে না, তাই সার্ভারগুলিকে সিঙ্কে রাখার জন্য আমি পিজপুল -২ এর মতো মিডওয়্যারের একটি পাইড ব্যবহার করার কথা ভাবব। তবে আমি আশঙ্কা করি যে এই ব্যবহারের জন্য এটি প্রয়োজনীয় ছাড়া আর কিছুই হবে না: খুব উচ্চ পাঠ্য-থেকে-লেখার অনুপাত, যেখানে সমস্ত লেখাগুলি একই দিনে প্রতিদিন একই সময়ে করা হয়।

আমার প্রশ্নগুলি সহজ: আপনি এই সার্ভারগুলিকে সিঙ্কে রাখতে কী করবেন? এবং, ওপেনস্ট্রিটম্যাপ ফাউন্ডেশন, ম্যাপকোয়েস্ট, ম্যাপবক্স বা ক্লাউডমেডে এর জন্য কী করা হয়?

ধন্যবাদ।

উত্তর:


13

প্রথমত, পোস্টগ্রিস 9 এবং তারপরে অন্তর্নির্মিত প্রতিলিপি সমর্থন রয়েছে এবং এটিই আমরা (ওপেনস্ট্রিটম্যাপ অপারেশন দল) মূল ডেটাবেসের জন্য পোস্টগ্রিস 9.1 তে চলমান এখন (প্রায় 90 মিনিট আগে) ব্যবহার করার দিকে নজর রেখেছি।

ওএসএম কী করে তা আপনার প্রশ্নের উত্তর দেওয়ার জন্য, আজ অবধি আমরা কোনও ধরণের প্রতিলিপি করি না - সেখানে একটি বড় পোস্টগ্রিজ ডাটাবেস যা ওয়েব সাইটের পিছনে মাস্টার ডাটাবেস হিসাবে কাজ করে এবং কাঁচা ডেটা ধারণ করে। এরপরে রেন্ডারিং এবং জিওকোডিংয়ের জন্য সেকেন্ডারি পোস্টগ্রিস + পোস্টগিস ডাটাবেস রয়েছে, উভয়ই গ্রহের ডাম্প ব্যবহার করে এবং আপডেট করার জন্য পৃথক রয়েছে।


পোস্টগ্রিস অন্তর্নির্মিত প্রতিলিপি সম্পর্কে জানতেন না। এটি খুব সম্ভবত কাজ করবে। ধন্যবাদ!
পিয়েরে

1
এছাড়াও আরআরপিএমজিআর ( repmgr.org ) চেকআউট করুন যা পোস্টগ্রিসের স্ট্রিমিং প্রতিরূপ ক্ষমতা ব্যবহার করে এবং স্বয়ংক্রিয়ভাবে কোনও মাস্টারের দাসকে ফ্যালব্যাক করার অনুমতি দেওয়ার জন্য কার্যকারিতা প্রসারিত করে।
শ্যাম সুন্দর সিএস

4

আমি এখানে দুটি বিকল্প দেখতে পাচ্ছি:

  1. ডেটাবেস পুলিং - প্রতিলিপি http://wiki.postgresql.org/wiki/Replication,_Clustering , _ এবং_সংযোগ_পুলিং , আমি পিজি ক্লাস্টার হিসাবে এটি সিঙ্ক্রোনাস এবং লোড ব্যালেন্সিংকে অনুমতি দেয়। আপনি মাস্টার - ক্রীতদাস আর্কিটেকচারের সাথেও যেতে পারেন তবে সংযোগ পুলিং এবং অ্যাসিনক্রোনাস ব্যতীত, এটি সমস্ত নির্ভর করে আর্কিটেকচার এবং যে প্রতিরূপ গতি আপনি অর্জন করতে চান তার উপর নির্ভর করে p .org / _media / pgpool.pdf )
  2. ওয়েব-অপ্টিমাইজেশন - ম্যাপকোয়েস্ট এবং ওএসএফের জন্য যতদূর আমি জানি তারা সার্ভার স্তর + সংযোগ পুলিংয়ে ওয়েব ক্যাচিং ব্যবহার করে। এর অর্থ হ'ল পোস্টগ্র্রেস / পোস্টগ্রিসের পক্ষ থেকে এতগুলি অনুরোধ করা হবে না কারণ আমি কিছু ডেটা ক্যাশে করি। ৩.পোস্টগিজ অপ্টিমাইজেশান - ডিবি স্তরে ইনডেক্সিং এবং ডাটাবেস নরমালাইজেশন কোয়েরি প্রচার করছে। পোস্টগ্রিস ডেটা ধরণের সম্পর্কে আরও জানতে এবং আপনার সার্ভারটি তাদের সাথে খাপ খাইয়ে নিতে আমি "পোস্টগিস ইন অ্যাকশন" ( http://manning.com/obe/ ) এর পক্ষে যাব

1
ধন্যবাদ। প্রথম বিকল্পটি অবশ্যই পছন্দসই। দ্বিতীয়টি আংশিকভাবে সম্পন্ন হয়েছে, প্রসবের জন্য সিডিএন এবং সামনের সার্ভারগুলিতে স্থানীয় এনগিনেক্স / মেমক্যাচ ক্যাশে।
পিয়েরে
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.