জিওস্ট্যাটিয়াল ডেটার জন্য সংস্করণ নিয়ন্ত্রণ ব্যবস্থা কার্যকর করছে? [বন্ধ]


28

আমি এখানে সঠিক উত্তর দেওয়ার যে কোন তাত্ক্ষণিক প্রয়োজন তা নয়, তবে আমি ভৌগলিক তথ্যের জন্য "(বিতরণ) সংস্করণ নিয়ন্ত্রণ ব্যবস্থা" ধারণাটি প্রবর্তনের জন্য কিছু প্রচেষ্টা দেখেছি। কয়েকটি উদাহরণ (যা আমি জানি) হ'ল ওপেনজিও ( 1 , 2 এবং 3 ) এবং " নরওয়েজিয়ান জিআইএস সফটওয়্যার বিক্রেতারা এবং নরওয়েজিয়ান ম্যাপিং এজেন্সি কর্তৃক " জিওসাইনক্রোনাইজারিং (জিওসেক্রোনাইজেশন) "প্রকল্পের হুইটপ্যাপারগুলি। আমি জিওপ্যাটিয়াল ডেটা বিতরণের সংস্করণও পেয়েছি ? , যা জিওজিট (ওপেনজিও দ্বারা) এবং আরকজিআইএস মডেলবিল্ডার মডেলগুলিতে সংস্করণ নিয়ন্ত্রণ প্রয়োগ করছে? আরকজিআইএস-এ সংস্করণ নিয়ন্ত্রণ সম্পর্কে।

বিকাশকারী হিসাবে আমি জানি (উত্স কোডের (এসভিএন এবং গিটের মতো) সংস্করণ নিয়ন্ত্রণ সিস্টেমগুলি কীভাবে কাজ করে তা অন্তত পর্যাপ্ত পর্যাপ্ত) এবং ভূতত্ত্বের আমার পটভূমি আমাকে বলে যে ভৌগলিক ডেটা সহ কিছু অনন্য চ্যালেঞ্জ রয়েছে যা সোর্স কোড (যা মূলত পাঠ্য হয়) যেভাবে পরিচালিত হয় তার সাথে সম্পূর্ণরূপে মিল নয় approach

(ডি) ভিসিএসের ভৌগলিক উপাত্তগুলির সাথে লেনদেন করার সময় কী কী চ্যালেঞ্জগুলি রয়েছে, আপনি কীভাবে এগুলি সমাধান করবেন, আমাদের কী তাদের দরকার এবং আমি উল্লিখিত বিষয়গুলির চেয়ে এই সমস্যাগুলি সমাধান করার অন্যান্য প্রচেষ্টা রয়েছে?

আমি জানি যে ওপেনজিও শ্বেতপত্রগুলি আমার কয়েকটি প্রশ্নের জবাব দেবে, তবে আমি যা করছি তার পরে আরও একটি "শিক্ষাগত" উত্তর রয়েছে, "আমাকে যেমন 10 বছর বয়সী বলুন" এর স্টাইলে, যাতে ভৌগলিক ডেটা মিশ্রণে নিয়ে আসে এমন চ্যালেঞ্জ এবং সমাধানগুলির একটি দুর্দান্ত ব্যাখ্যা আমি লোকদের উল্লেখ করতে পারি।

আমি আশা করি যে কিছু অন্তর্দৃষ্টি সম্পন্ন কেউ এই বিষয়ে কিছু ধারণা দিতে সময় নেবে, যেমনটি আমি বলেছিলাম যে আমি বর্তমানে একটি নির্দিষ্ট সমস্যা সমাধানের জন্য খুঁজছি না, তবে এই বিষয়টি আমার আগ্রহী।

উত্তর:


19

আমরা বর্তমানে আমাদের জিওডাটাস্টোরগুলির একটি সম্পূর্ণ নতুন নকশায় কাজ করছি। আমার বলতে হবে যে তাদের বিবর্তনে এখন অবধি 20 বছরেরও বেশি সময় লেগেছে। আমরা ভূ-স্থান সংক্রান্ত ডেটা ম্যানেজমেন্টে নিম্নলিখিত মূল বৈশিষ্ট্যগুলি চিহ্নিত করেছি:

  • একযোগে সম্পাদনা
  • ডেটা অংশ পড়তে বা লিখতে অনুমতি
  • ডেটা নির্ভর করে এমন পরিষেবাগুলি চালনার সময় হট আপডেট (লেনদেন এবং এসিআইডি দৃষ্টান্ত)
  • অভ্যন্তরীণ এবং বাহ্যিক স্কিমা (অভ্যন্তরীণ স্কিমা সংশোধন করে পরিষেবাগুলিকে প্রভাবিত করা উচিত নয়)
  • বিপুল পরিমাণে ডেটা সঞ্চয় এবং অ্যাক্সেস করার ক্ষমতা (ভেরিটার ডেটার টেরাবাইট এবং গিগাবাইটের হান্ড্রেটস)
  • বিভিন্ন স্তরগুলির মধ্যে ডেটা ধারাবাহিকতা (প্রতিটি পার্সেল একটি জেলা এবং এর মধ্যে অন্তর্ভুক্ত)

আমরা নিম্নলিখিত পদ্ধতির মূল্যায়ন করেছি, আমি তাদের সম্পর্কে যা বলতে পারি তা এখানে:

  1. ইএসআরআই এন্টারপ্রাইজ জিওডাটাবেস(আর্কজিআইএস 10.1); আমাদের (এসডিই) এর আগে যা ছিল ঠিক তেমনই একই, তবে লেনদেন পরিচালনা করতে সংস্করণ বৈশিষ্ট্যটির ব্যাপক ব্যবহার। তবে এটি কেবল কোনও এন্টারপ্রাইজ জিওডাটাবেস নয়, আমার মতে এসডিই কেবল একটি জিওডাটা সার্ভার হিসাবে একটি ওয়ার্কগ্রুপে কাজ করে, যেখানে লোকেরা সকাল ৮ টা থেকে রাত ৮ টা পর্যন্ত কাজ করে এবং আপনি এটি রক্ষণাবেক্ষণ কাজের জন্য অফলাইনে নিতে পারেন, লেনদেন কমিটি (ইএসআরআই ভাষণে পুনর্মিলন এবং পোস্টের সংস্করণ), প্রতিলিপি, ইত্যাদি ... আপনি যদি এই ডেটার উপরে পরিষেবাগুলি তৈরি করেন তবে আপনাকে একটি প্রতিলিপিযুক্ত প্রোডাক্ট ডাটাবেসকে স্টেজিং ডাটাবেস (যেখানে কাজ শেষ হবে) পরিচালনা করতে হবে। এটি বিল্ড / টেস্ট এবং প্রোগ্রামিংয়ে মোতায়েনের মতো প্রায় একই রকম। বৈশিষ্ট্যযুক্ত সমৃদ্ধ প্যাকেজ ইএসআরআই বিতরণ করা বেশ সুন্দর হলেও এতে নমনীয়তার অভাব রয়েছে (লোকেরা কাজ করার সময় স্কিমা পরিবর্তন, বা রক্ষণাবেক্ষণের কাজগুলি, উদাহরণস্বরূপ সূচক তৈরি)।

  2. ফ্ল্যাট ফাইল এবং একটি সংস্করণ নিয়ন্ত্রণ সিস্টেমআমরা গিটকে বেছে নিয়েছি (এটি জানেন না যে ইতিমধ্যে জিওগিট রয়েছে)। ওহ হ্যাঁ, আমার কিছু বন্ধু এবং আমিও সফটওয়্যার ইঞ্জিনিয়ারিং থেকে এসেছি। এটি সব এত সহজ হতে পারে। আমি মনে করি এটির সমস্যাটি রয়েছে: এটি কোনও গাড়ী যান্ত্রিক একটি গাড়ি তৈরির মতো। এটি তার পক্ষে বজায় রাখা সহজ হবে, তবে এটি ড্রাইভ করা এবং খারাপ দেখতে অবশ্যই বিরক্ত হবে for আমি মনে করি এটির কিছু বড় অসুবিধাগুলি রয়েছে: কিভাবে 2 টেরাবাইট (বা আরও বেশি, বাইনারি) রাস্টারড্যাট্যাসেট সংস্করণটি কীভাবে নিয়ন্ত্রণ করা যায়? আর কোন ফরমেটে? আপনি যদি পাঠ্যনির্ভর ফর্ম্যাটগুলি (উদাহরণস্বরূপ জিএমএল) ব্যবহার করেন তবে ভেক্টর ডেটা সহজেই সংস্করণে নিয়ন্ত্রণ করা যায় তবে এটি তখন এক বিলিয়ন সারি ডেটাসেটের সাথে কাজ করাও শক্ত। আমি এখনও নিশ্চিত নই যে আমরা কার্যকর ব্যবহারকারীর অনুমতি পরিচালনা করতে পারি কিনা, কারণ প্রত্যেককেই সবকিছু সম্পাদনা বা এমনকি দেখার অনুমতি দেওয়া উচিত নয়। এবং একই সাথে 4 জন ব্যবহারকারী নিবিড়ভাবে সম্পাদিত ভেক্টর ডেটাसेटকে কীভাবে মার্জ করবেন? এই সমস্ত কার্যকরভাবে করার জন্য কমপক্ষে আপনাকে একজন সত্যিকারের কম্পিউটার বিজ্ঞানী / প্রোগ্রামার হতে হবে ... আমাদের জিআইএস ব্যবহারকারীরা পরিকল্পনাকারী, সার্ভেওর, ভূতাত্ত্বিক এবং আরও অনেক কিছু। প্রোগ্রামাররা যেমন সংস্করণ বংশের কথা ভাবেন বা শাখা প্রশাখাগুলি যেমন অনুমিত হয় তেমনি ব্যবহার করা তাদের পক্ষে কেবল সমস্যা। তবুও, ভাগ করা রেপো হিসাবে ডেটাস্টোরগুলি ভাবা একটি আকর্ষণীয় ধারণা।

  3. একটি সহজ ধারক হিসাবে ফ্ল্যাট টেবিলযুক্ত ডাটাবেস । এসডিই যেমন করে তেমনি এসডিই স্টাফ ছাড়াই। এখনও বজায় রাখা শক্ত, কারণ আপনি আরডিবিএমএস আপনাকে যে সুবিধাগুলি দেয় তা বাস্তবে ব্যবহার না করে। হ্যাঁ এটি খুব সহজ একটি ডাটাবেসে সমস্ত কিছু লোড করা, তবে এটি ডেটা ম্যানেজমেন্টকে মোটেই নয়।

  4. বিগডাটা এবং নোএসকিউএল । ফ্ল্যাট ফাইল এবং ফ্ল্যাট টেবিল হিসাবে একই সমস্যা। আমার মতে ওয়েবে ব্যবহারের জন্য একটি সহজ ফাইল সিস্টেম এপিআই। হ্যাঁ এটি ওয়েবে খুব ভাল কাজ করে এবং হ্যাঁ আপনার ডকুমেন্টগুলি কেবল এতে throwোকানো সহজ তবে আমি মনে করি যদি আমি (সম্ভবত রাস্টার) ডেটারের টেরাবাইটের উপর স্থানিক ডেটা বিশ্লেষণ করতে চান তবে আমি এটি পছন্দ করি যাতে এটি সিরিয়ালযুক্ত এবং deserialized করা না হয় HTTP ইন্টারফেসের ওপরে।

আপডেট 2018: এখানে অনেকগুলি নতুন গতিবেগ তৈরি করার জিনিস রয়েছে। কয়েকটি নাম রাখার জন্য:

  • ক্লাউড ব্লক স্টোরেজ এবং এইচডিএফএস
  • পাইথন / সুদৃশ্য / ডাস্ক স্ট্যাক
  • অ্যাপাচি স্পার্ক

    • ভেক্টরের ডেটাগুলির জন্য জিওমেসা / জিওওয়েভ
    • রাস্টার ডেটার জন্য জিওট্রেলিস
  • এবং আরো অনেক কিছু

    1. বিস্তৃত ক্লাসিক ডাটাবেস মডেলিং(একটি আরডিবিএমএস সহ) মূল সমস্যাটি হ'ল এটি যে কোনও জায়গায় সহজেই ডেটা ফেলে দেওয়া এবং আশা করা যায় যে এটি প্রতিটি ভবিষ্যতের প্রয়োজনের সাথে খাপ খায়। তবে আপনি যদি একটি ডাটাবেসে কোনও শক্তসমর্থ ডাটামোডেল (ওএসএম বাস্তবে এটি করেছিলেন) নির্দিষ্ট করার জন্য সময় ব্যয় করেন তবে আপনি এর সমস্ত সুবিধা ব্যবহার করতে সক্ষম হবেন। আমরা বিতরণকৃত লেনদেনগুলিতে ডেটা সম্পাদনা এবং আপডেট করতে পারি, আমরা তাদের মূল স্কিমাটিও সংশোধন করতে পারি, যখন পরিষেবাগুলি এখনও একই ডেটার বাহ্যিক স্কিমার উপর নির্ভর করে, আমরা এটি বজায় রাখতে পারি, আমরা এর ধারাবাহিকতাটি পরীক্ষা করতে পারি, অনুমতিগুলি অনুমতি দিতে বা অস্বীকার করতে পারি, আমরা আমরা এখনও এটি একটি দ্রুত পদ্ধতিতে অ্যাক্সেস করতে পারি এমন সময়ে প্রচুর পরিমাণে ডেটা সঞ্চয় করতে সক্ষম হয়েছি, আমরা historতিহাসিক ডেটাডমডেলগুলি তৈরি করতে এবং এটিকে স্বচ্ছভাবে এবং এ জাতীয় ট্রিগার করতে সক্ষম। যেহেতু আমরা স্কেল সার্ভার ব্যবহার করি আমাদের এখনও একটি নেটিভ রাস্টার ধরণের অভাব রয়েছে তবে অন্যান্য ডাটাবেস বিক্রেতারা ইতিমধ্যে এটি সরবরাহ করে।

ওয়েল আমি মনে করি যে রিলেশনাল ডাটাবেস মডেলটি গত কয়েক বছরে স্থানিক তথ্য ধরণের সাথে স্থানিক বিশ্বে উঠে আসে (এর আগে এটি যেখানে বিএলওবি কনটেইনার ছিল) এবং এখনও ডেটা সংরক্ষণের সবচেয়ে নমনীয় এবং পেশাদার ফর্ম। এর অর্থ এই নয় যে এটি ভিসিএস পদ্ধতির সাথে বা নোএসকিউএল দ্বারা পরিপূরক হওয়া উচিত নয় তবে আমি পেশাদারি কেন্দ্রিয় স্থানিক ডেটা ম্যানেজমেন্টের ফর্ম হিসাবে ব্যবহারকারীদের গোষ্ঠীতে ডেটা বিতরণের ফর্ম হিসাবে এই পদ্ধতির সম্ভাবনা বেশি দেখি। এছাড়াও ওএসএম প্রচুর কাজকে কেন্দ্রিয় করে তুলেছে, যা জনগণ কেবল সরবরাহ করতে পারে না, যেমন প্রচুর পরিমাণে ডেটা আমদানি করার মতো (অস্ট্রিয়ায় বেশিরভাগ ওএসএম ডেটা একদিনে আমদানি করা হয়েছিল, ভিড়ের উত্স নয়) এবং টাইল জেনারেশন। সহযোগী (ভিড়ের সোর্সিং) অংশটি আসলেই খুব গুরুত্বপূর্ণ, তবে এটির অর্ধেক ব্যবসা।

আমি মনে করি আমাকে এটিকে অনেকটা পুনরায় প্রকাশ করতে হবে এবং আরও তথ্য সরবরাহ করতে হবে। এর মতো একটি প্রশ্নের কয়েক ঘন্টা পুরোপুরি উত্তর দেওয়া শক্ত, আমি পরের দিনগুলিতে আমার উত্তরটির গুণমান উন্নত করার চেষ্টা করব


এই উত্তরের কোনও আপডেট? আমি জিআইআই প্রযুক্তিবিদদের একটি অফিসের জন্য একটি জিইউআই ভিত্তিক সংস্করণ নিয়ন্ত্রণ সেটআপ খুঁজছি যা প্রোগ্রামার-বুদ্ধিমান নয় এবং আমাদের যে কার্যকারিতাটি প্রয়োজন তা খুব বেসিক; আমরা একটি এনএএস-তে মাস্টার ডেটাসেট রাখতে সক্ষম হতে চাই এবং ব্যবহারকারীরা পর্যায়ক্রমে এটিতে সিঙ্ক করতে পারেন যাতে তারা ডেটার স্থানীয় অনুলিপিগুলিতে কাজ করতে পারে তবে সিনিয়র জিআইএস বিশ্লেষক পর্যায়ক্রমে আপডেট করে রাখে এনএএস ডেটা। আমি গিট এবং মার্চুরিয়ালের দিকে নজর রেখেছি, তবে তারা সকলেই খুব বেশি দক্ষ এবং কমান্ড-লাইন আরও পছন্দসই সহজ বাস্তবায়নের জন্য দৃষ্টি নিবদ্ধ করেছে বলে মনে হচ্ছে। কোন চিন্তা?
ব্যবহারকারী 25644
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.