ডাটাবেসে শেফফাইল ডেটা কেন্দ্রিয়করণ


13

আমি বিভিন্ন জিআইএস প্রকল্পের শত শত শেফফাইল পেয়েছি যা বর্তমানে একটি একক ডাটাবেস প্ল্যাটফর্মের মধ্যে একত্রীকরণ শুরু করতে চাই, বর্তমানে পোস্টগ্রিস / পোস্টজিআইএস দিয়ে এটি চেষ্টা করে।

খুব সহজেই কোনও ডেটা মানসম্মত হয় - এর অর্থ এটি অনেক একই ডেটা ধরণের , তবে নির্দিষ্ট বৈশিষ্ট্যের নাম / প্রকারের সাথে মেলে না।

আমি এটিকে মোকাবেলা করতে কোথায় শুরু করব? প্রতিটি শেফফাইলকে প্রথমে স্থানান্তরিত করার জন্য আমার কি একটি আদর্শ মডেল বিকাশ করা উচিত (যেমন হাইড্রো_লাইন, ট্রান্সপোর্ট_লাইন, হাইড্রোপলির মান ইত্যাদি)?

একটি বিকল্প হ'ল প্রতিটি শেফফাইল পৃথকভাবে পোস্টগ্র্রেসে আমদানি করা, সুতরাং প্রতিটি এসএইচপি ডাটাবেসে একটি টেবিল হয়ে যায়, তবে আমি কার্যকারিতা এবং সংস্থার দিক থেকে এ সম্পর্কে নিশ্চিত নই। অনিবার্যভাবে বিলম্ব করার মতো ধরণের অনুভব করে ...

এই ভয়ঙ্কর কাজটি মোকাবেলায় কোনও পরামর্শ?

উত্তর:


7

স্পেসিয়াল ইটিএল সফটওয়্যারগুলি (এক্সট্র্যাক্ট - ট্রান্সফর্ম - লোড) দেখুন, তারা এই জাতীয় কাজের জন্য নিবেদিত। সিকিউরিটি থেকে সর্বাধিক পরিচিত এফএমই , তবে এসডিআই (স্পেসিয়াল ডেটা ইন্টিগ্রেটার) এবং জিওকিটেলের মতো কয়েকটি ওপেন সোর্স (আংশিক) বিকল্পগুলি এখন উপলভ্য ।


2
আমি আগের প্রশ্নের তুলনায় জিজ্ঞাসা করেছি, সুতরাং আপনি যদি এই পথে যান তবে দয়া করে একটি লিখন আপ করুন। gis.stackexchange.com/questions/5049/spatial-etl-comparisons
RyanKDalton

আমি এফএমইর একটি পরীক্ষামূলক সংস্করণ পেয়েছি এবং এসডিআই এবং জিওকেটল উভয়ই ইনস্টল করেছি। আমি সেগুলি চেষ্টা করে দেখব এবং আমি সেগুলি বুঝতে পারি কিনা। এফএমই দেখতে স্যুপ-টু-বাদাম দ্রবণের মতো, তবে আমি প্রথমে শিখার বক্ররেখাটি পেতে হবে :)।
কোলেম্যান্ম

1
@ কোলেম্যান্ম- আপনি এই কাজটি শেষ করেছেন? আপনি কোন পণ্যটি সবচেয়ে দরকারী বলে মনে করেছেন?
রায়ানকডাল্টন

6

আরে

আমি প্রথমে এটি পোস্টজিআইএসে আমদানি করব। পৃথক টেবিলগুলিতে একাধিক আকার লোড করার সরঞ্জাম রয়েছে। কিউজিআইএস স্পিট এক্সটেনশন এক is পোস্টজিআইএস ট্রাঙ্ক বা পরীক্ষামূলক বাইনারিগুলিতে নতুন গ্রাফিকাল shp2pgsql অন্য বিকল্প। অথবা আপনি কেবল shp2pgsql দিয়ে একটি ব্যাচের স্ক্রিপ্ট লিখতে পারেন।

আমি সেখানেই শুরু করব, মুল বলা বা এমন একটি স্কিমায় সবকিছু আমদানি করব। তারপরে আমি ডেটা স্ট্রাকচার করব। টেবিলগুলিতে একত্রে মার্জ করা যেখানে উপযুক্ত এবং ঠিক তেমন।

এটি করার মতো দুর্দান্ত জিনিসটি হ'ল আপনি যদি সেই সমস্ত রূপান্তরগুলি করতে আপনার ব্যবহৃত সমস্ত প্রশ্নগুলি সংরক্ষণ করেন তবে আপনার ডেটার ইতিহাস সম্পর্কে দুর্দান্ত ডকুমেন্টেশন রয়েছে। প্রয়োজনে এটি পুনরায় করা খুব সহজ। একবার আপনি আপনার সাংগঠনিক কাজের সাথে প্রস্তুত হয়ে গেলে আপনি আপনার স্কিমার "মূল" এর একটি ব্যাকআপ ছুঁড়ে ফেলে অন্য কোথাও রেখে দেবেন।

আমি মনে করি এটি এটির একটি কাঠামোগত এবং পরিষ্কার উপায়। এবং যেমনটি আগে বলা হয়েছিল, আপনি কোন ক্ষেত্রের নামটি কী নতুন নাম এবং কী মূল টেবিলগুলি সেই বড় নতুন একটিতে মিশ্রিত হয়েছে তার একটি খুব শক্ত দলিল পাবেন।

এফএমই এবং সফটওয়্যারগুলিতে আপনি অবশ্যই আপনার কাজগুলি সংরক্ষণ করতে পারেন তবে অভ্যন্তরীণ ডাটাবেস প্রশ্নের তুলনায় খুব ধীর হওয়ার পাশাপাশি এটি স্কয়ার-কোয়েরি হিসাবে ডকুমেন্টের সর্বজনীন উপায় নয়। পাঠ্য ফাইল এবং রিলেশনাল ডেটাবেস থাকা পর্যন্ত এগুলি ব্যবহারযোগ্য এবং পঠনযোগ্য।

আমি পাঠ্য ফাইলগুলি এমন কিছু দেখার জন্য শেষ করতে ব্যবহার করি:

-- A query to merge all roads in Norway

Create table road_tables.all_roads as
SELECT id as roadid, status, the_geom from original.big_roads
union all
SELECT rid as roadid, condition as status, the_geom from original.small_roads;

ইত্যাদি। পাঠ্য ফাইল হিসাবে এটি সংরক্ষণ করা হয়েছে কয়েক বছর পরে একটি দুর্দান্ত মান।

শুভেচ্ছা নিক্লাস


1
+1 আমি মনে করি এটি একটি খুব ভাল পদ্ধতির। পোস্টগ্রিসের মধ্যে সবকিছু করা হয়, খুব স্বচ্ছ এবং প্রয়োজনে সহজেই পুনরুত্পাদনযোগ্য।
আন্ডার ডার্ক

1
ইএসআরআই ভিত্তিক জিআইএসের জন্য ভাল সুপারিশ নয়। মুক্ত উত্স "কেবল" এটি গ্রহণযোগ্য হবে। ইএসআরআইয়ের আরও অনেক নির্ভরতা রয়েছে যা এই পদ্ধতির মাধ্যমে অ্যাক্সেসযোগ্য হবে না। ইন্টারপ, জিআইএস সার্ভার, বা আরসিএসডি ছাড়া পোস্টপিসে সরাসরি সংযোগ অনুমোদিত নয়।
ব্র্যাড নেসোম

2
@ ব্র্যাড হুম, আমি অবাক হয়েছি যে, এটি যদি স্বচ্ছ প্রজননযোগ্য এবং দ্রুত উপায়ে কাজ করার পক্ষে যুক্তি বা আমার এবং আমার ডেটার মধ্যে এসডি রাখার মাধ্যমে লক হয়ে যাওয়ার বিরুদ্ধে যুক্তি ...
...-)

1
@ ব্র্যাড: কোলেম্যান্ম ইএসআরআইয়ের কথা উল্লেখ করেনি, সুতরাং উত্তরটি ভাল বলে মনে হচ্ছে।
আন্ডার ডার্ক

আমি ইএসআরআই এসডি বৈশিষ্ট্যযুক্ত ক্লাস এবং এসকিউএল সার্ভার ২০০৮ (ডাব্লু / নেটিভ জ্যামিতি) এর সাথে এটির অনুরূপ কাজ করেছি - আমি প্রথমে ফিচারক্লাসটি তৈরি করেছি, তারপরে একটি seriesোকানো বিবৃতি দিয়ে লোড করব। আইআইআরসি, আমাকে ফিচারক্লাসটি একটি নতুন ফিচারক্লাসের শেষে রফতানি করতে হয়েছিল কারণ আমি সঠিকভাবে নতুন আপত্তি তৈরি করতে পারিনি। আমি একবার এটি করেছি, যথারীতি ব্যবসা।
জে কামিন্স

4

আমার পরামর্শটি হ'ল আপনার ভারী ব্যবহৃত ডেটা স্তরগুলি (শেফফিলগুলি) থেকে 2-5 বাছাই করে সেগুলি আরডিবিএসে স্থানান্তরিত করা।
এই ডেটাগুলির জন্য ওয়ার্কফোনগুলি তদন্ত করুন এবং প্রয়োগ করুন। Rdbms বনাম ফাইল ভিত্তিক ডেটার প্রয়োজনীয়তা এবং প্রয়োজনীয়তাগুলিতে অভ্যস্ত হওয়া।

সীমাবদ্ধতার মধ্যে রয়েছে: সহযোগিতার জন্য প্রয়োজনীয় রফতানি, অবতরণ অঞ্চল, কর্ডসিস, ফাইলের প্রকার।

আপনি যা প্রস্তাব করছেন তাতে অনেকগুলি বেনিফিট রয়েছে।
পার্শ্ব দ্রষ্টব্য: (আমার দাদা কেনার আগে আমার বাবা-মা'কে 6 মাস অবধি বাড়ি খোঁজার জন্য ব্যয় করতে বলেছিলেন) আপনার ডেটার জন্য আপনি একটি বাড়ি (দীর্ঘমেয়াদী) খুঁজছেন তা বিবেচনা করুন, আপনি এখন থেকে 30 বছরের কোনও কিছুর জন্য অর্থ প্রদান করতে চান না যে আপনি পছন্দ করি না

আমার প্রস্তাবটি হ'ল (ডিজিটাল বা অ্যানালগ) আপনার ডেটা উত্সগুলির একটি বৃক্ষের তালিকা লিখুন এবং সেগুলি একটি বড় ছবিতে দেখুন, এটি আপনাকে আরও সংক্ষিপ্ত গ্রুপিংয়ে ডেটা সংগঠিত করার অনুমতি দেবে।

আরাকিসের মধ্যে এমন পদ্ধতি রয়েছে (আমার অনুমান: আপনি আপনার পছন্দসই সিস্টেমটি নির্দিষ্ট করেননি) পৃথকীকরণের ডেটা সংহত করতে।

আপনি যদি ভাল ডিজাইনের অনুশীলনগুলি শিখতে আগ্রহী হন তবে আপনি এই তথ্যের কিছু চেষ্টা করতে পারেন ...

জিওডাটাবেস ডিজাইনের ওভারভিউ
জিওডাটাবেস ডকুমেন্টএইন
আর্ক 10 এর জন্যও কিছু অনুরূপ অনুরূপ রয়েছে।
রিসোর্স সেন্টার
আরসি 10 জিওডাটাবেস

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.