স্থানিক ইটিএল (এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড) এর বিকল্পগুলি সন্ধান করছেন?

33

আমি বিভিন্ন স্থানিক ইটিএল (এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড) সরঞ্জামগুলির উপকারিতা এবং কনসে আগ্রহী। আপনি যদি এখানে তালিকাভুক্ত আইটেমগুলি ব্যবহার করেন (বা আপনার নিজের যুক্ত করুন), আমি আপনার মতামত এবং অভিজ্ঞতা চাই। বিশেষত আমি এর ব্যবহারযোগ্যতার তুলনা দেখতে চাই:

উল্লিখিত সমস্ত সফ্টওয়্যার একটি পর্যালোচনা দেওয়ার প্রয়োজন নেই। আপনি যদি একটিরও অভিজ্ঞ হন তবে কোন দিকে যাবেন সে সম্পর্কে সিদ্ধান্ত নেওয়ার ক্ষেত্রে এটি খুব উপকারী।

উদাহরণ: আমি একটি স্কিমা রূপান্তর ফাংশন তৈরি করতে চাইছি যা আমাকে ইনপুট স্তরটি নির্বাচন করতে, একটি অনুবাদ তৈরি করতে এবং একটি নতুন, প্রাক-সংজ্ঞায়িত স্কিমে আউটপুট তৈরি করতে দেয়। সর্বোত্তমভাবে, অনুবাদ স্ক্রিপ্ট তৈরি করার পরে, আমি একটি ইন্টারেক্টিভ ফর্ম রাখতে চাই যেখানে আমি আমার ইনপুট স্তরের ক্ষেত্রগুলিকে "ম্যাপ" করতে পারব আউটপুট স্তরটিতে (যেমন- আউটপুট স্তরের "ঠিকানা" নামক একটি ক্ষেত্র থাকবে, একে কী বলা হয়) ইনপুট স্তরে?)

কিছু প্রশ্নোত্তরে উল্লেখ করা হয়েছিল যে কোনও ডাটাবেসে জিআইএস ডেটা আপলোড করার জন্য কোন সরঞ্জামগুলি উপলব্ধ?

এবং এখানে আমি সম্পর্কিত পাওয়া বেশ কয়েকটি নিবন্ধ আছে।

convert  import  translation  interoperability  spatial-etl 
— রায়ানডাল্টন
সূত্র

উত্তর:

17

এই প্রশ্নটিকে সম্প্রদায় উইকি এবং উইকি লক করা হয়েছে কারণ এটি এমন প্রশ্নের একটি উদাহরণ যা উত্তরের তালিকার সন্ধান করে এবং এটি বন্ধ হতে রক্ষা করার জন্য যথেষ্ট জনপ্রিয় বলে মনে হয়। এটি একটি বিশেষ কেস হিসাবে বিবেচনা করা উচিত এবং এটির জন্য উত্সাহিত হওয়া প্রশ্নের ধরণ, বা কোনও স্ট্যাক এক্সচেঞ্জ সাইট হিসাবে দেখা উচিত নয়, তবে আপনি যদি এটিতে আরও বিষয়বস্তু অবদান রাখতে চান তবে এই উত্তরটি সম্পাদনা করে নির্দ্বিধায় দ্বিধা বোধ করবেন ।

আমি পেশাদার প্রসঙ্গে যা দেখেছি কেবল সে সম্পর্কেই কথা বলব। আমার একজন শিক্ষার্থী একটি পরিচিত উত্স (টেলিআল্টলাস) থেকে তাদের জিআইএসে বিশাল পরিমাণের স্থানিক তথ্য গ্রহণ, যাচাইকরণ এবং সংহত করার দায়িত্বপ্রাপ্ত একটি এন্টারপ্রাইজ নিয়ে কাজ করেছিলেন। তিনি এফএমই ব্যবহার করে বেশ কয়েকটি ওয়ার্কফ্লো ব্যবহার করেছিলেন, ফ্লাইটে খুব জটিল যাচাইকরণ এবং ট্রান্সফর্মেশন করে যেমন বৈশিষ্ট্য নির্বাচন, টপোলজি যাচাইকরণ, নকলগুলি মুছে ফেলা ইত্যাদি etc. এর পরে ওয়ার্কফ্লো স্বয়ংক্রিয়ভাবে আগত ডেটাসেটগুলি প্রক্রিয়া করতে সক্ষম হয়েছিল।

আমি একটি ভিভা প্রবেশন রিপোর্টের জন্য একটি জুরিতে ছিলাম (দুঃখিত, "স্যাটারেনশন ডি রেপর্ট ডি স্টেজ" এর গুগল ট্র্যাকশন) যেখানে শিক্ষার্থী আরও একটি এফএমই ওয়ার্কফ্লো বর্ণনা করেছিল, তবে এবার জাতীয় পর্যায়ে প্রেরণে আঞ্চলিক ডেটাসেটগুলি বৈধ করার জন্য জাতীয় ঝুঁকি ডাটাবেস। মূল পার্থক্যটি হ'ল এই শেষ উদাহরণে ডেটাসেটটি ছিল বিভিন্ন ধরণের ফাইল ফর্ম্যাট, রাস্টার এবং ভেক্টর, স্কেল এবং শৈলীতে।

সর্বশেষে, আমি টেল্যান্ড ওপেন স্টুডিওর ভিত্তিতে ওপেন সোর্স ইটিএল স্থানিক ডেটা ইন্টিগ্রেটর পরীক্ষা করেছি। বৈশিষ্ট্যগুলি অনেকগুলি ছিল, তবে এফএমই এর চেয়ে কম, তবে আমি মনে করি যে মূল পার্থক্যগুলি ডকুমেন্টেশন এবং ওয়ার্কফ্লো সৃষ্টির ব্যবহারকারী-বন্ধুত্বের বিষয়ে ছিল। আমাকে প্রায়শই কর্মপ্রবাহের উপাদানগুলির জাভা কোড উত্সটি সংশোধন করতে বাধ্য করা হয়েছিল। তবে এটি এসডিআই-এর পূর্ববর্তী সংস্করণ ছিল এবং আমি এখানে যে ত্রুটিগুলি বর্ণনা করছি তা তাদের প্রথমদিকে ওপেন সোর্স প্রকল্পগুলির সাথে কিছুটা স্বাভাবিক এবং আমরা একই স্তরের মালিকানাধীন ভাল সম্মানিত সফটওয়্যার এবং ফ্রি ওপেন সোর্স তরুণ দাবীদারদের সাথে তুলনা করতে পারি না।

— পলিজিও
সূত্র
24

সাম্প্রতিক প্রজেক্টের জন্য বেশ কয়েকটি জিবি অবধি স্থানের ডেটা নিয়ে কাজ করার জন্য, আমি এফএমই দিয়ে ডেটা লোডিং / পুনঃনির্মাণগুলি শুরু করেছি। এটি ভাল কাজ করেছে, তবে একটি শেখার বক্ররেখা আছে।

প্রকল্পের শেষে আমি পুনরায় পুনরায় প্রক্রিয়াগুলি স্বয়ংক্রিয় করতে পাইথন স্ক্রিপ্টগুলি ব্যবহার করছিলাম। এফএমই স্ক্রিপ্ট করা যায় তবে আপনার যদি পাইথন বেসিক থাকে তবে জিনিসগুলি আরও জটিল করে কেন? পাইথন আপনাকে সম্পূর্ণ নমনীয়তা দেয় এবং প্রতিটি আমদানি স্ক্রিপ্টের মাধ্যমে আপনার পাইথন দক্ষতা উন্নত হয়।

ডেটা ট্রান্সফর্মেশনগুলির সাথে কাজ করার সময় আমি নিম্নলিখিত পাইথন প্যাকেজগুলি অমূল্য পেয়েছি:

আপনার যদি কোনও বিকাশকারী / প্রোগ্রামিং ব্যাকগ্রাউন্ড থাকে তবে আমি পাইথন ব্যবহার করার পরামর্শ দিই, যদি আপনি জিইউআইয়ের সাথে কাজ করতে পছন্দ করেন (যা ডকুমেন্টেশনের জন্য সুন্দর চিত্রগুলিও তৈরি করতে পারে) তবে আমি এফএমই সুপারিশ করব।

— ভূগোলের
সূত্র
11

আমি ওপেন সোর্স পছন্দ করি তবে এফএমই সহজেই ওপেনসোর্স ইটিএল এর বিরুদ্ধে জিততে পারে যতটা ভাল আমি বলতে পারি। এটি রক্ষণাবেক্ষণ এবং সমর্থনের জন্যও আসলে বেশ সস্তা (কমপক্ষে আমাদের কাছে থাকা বেশিরভাগ কর্পোরেট সমাধানগুলির তুলনায়)।

আপনি যদি ফর্ম্যাটগুলির মধ্যে অনুবাদগুলির সন্ধান করেন তবে ওজিআর এটি করতে পারে ( রূপান্তরের জন্য জিডিএল-তে কিছু পাইপ দিয়ে )। অবশ্যই, এটি কমান্ড লাইন ।

"সম্ভাব্য সদৃশ" মন্তব্যে তালিকাভুক্ত এর বাইরে ভিজ্যুয়াল মডেলিংয়ের জন্য , তারা কিউজিআইএস / এসএক্সটিএনটিই মডেল বিল্ডারের উপর কাজ করছে; ধারণার ভিডিওর প্রমাণ: https://www.youtube.com/watch?v=LTUu-I2ouqU

(না, আমি নিরাপদে কাজ করি না, আমি কেবল তুলনামূলকভাবে খুশি গ্রাহক)।

— জিআইএস-জনাথন
সূত্র
ভিডিও লিঙ্কটি নষ্ট হয়ে গেছে। আপনি এটা ঠিক করতে পারবো?
— জিওস্টোনমার্টেন
6

বেশিরভাগ সাধারণ অপারেশনগুলি এই ওপেন সোর্স ইউটিলিটিগুলি দ্বারা পরিচালিত হতে পারে

  • ভেক্টর জন্য ogr2ogr
  • রাস্টার জন্য gdal_translate এবং gdalwarp

এফডব্লিউটুলস http://fwtools.maptools.org/ পান এবং এটি ব্যবহার করে দেখুন।

— spatialthoughts
সূত্র
6

আমি প্রায় এক বছর আগে বিভিন্ন সরঞ্জামের একটি তুলনা করেছি যা এতে এই থ্রেডে উল্লিখিত বেশিরভাগ বিকল্প রয়েছে।

আরও প্রত্যক্ষ উত্তর হিসাবে, আমি এর বহুমুখিতার কারণে এফএমই প্রচুর ব্যবহার করি। যাইহোক, আমি যখন সিটিজিএমএল, ইনস্পায়ার জিএমএল বা বড় ডাটাবেস মডেলগুলির মতো জটিল ডেটা স্ট্রাকচারের সাথে কাজ করি, তখন আমি ইএটিএল এবং বিশেষত সুরেলা করার জন্য তৈরি একটি ওপেন সোর্স অ্যাপ্লিকেশন HALE ব্যবহার করি ।

এখানে চিত্র বর্ণনা লিখুন

বর্তমানে (২.৯.০ সংস্করণ অনুসারে) এটি এফএমই (2014 এসপি 1) এর সাথে তুলনা করে:

  • এইচএএলএর খুব কম সংখ্যক ফর্ম্যাট রয়েছে (HALE: 20, FME 200) এবং ট্রান্সফর্মারগুলি (HALE: 30+, FME: 400 এরও বেশি) তবে সমস্ত এক্সএমএল / জিএমএল উপভাষার জন্য খুব ভাল সমর্থন
  • এইচএএলএর পূর্বরূপগুলি কোনও মানচিত্রে এবং টেবিল দর্শনে ইন্টারেক্টিভ ট্রান্সফর্মেশনের ফলাফলগুলি দেখায় এবং আউটপুটকে সরাসরি বৈধতা দেয়
  • HALE সাধারণত আরও দ্রুত হয়, কারণ প্রতিটি বৈশিষ্ট্যের স্থানীয় প্রেক্ষাপট বজায় থাকে, আপনাকে ফিচারমিয়ার্স অনেকগুলি সংরক্ষণ করে, উদাহরণস্বরূপ
  • এইচএলই ওপেন সোর্স এবং ২০১০ সাল থেকে উত্পাদন ব্যবহারে
  • এইচএল একটি ঘোষণামূলক ম্যাপিং ইউআই ব্যবহার করে, যা পদ্ধতিগত পদ্ধতির তুলনায় কম প্রয়োজনীয় ব্যবহারকারী ইনপুট নিয়ে যায়

নোট করুন যে আমি বেশ কয়েক বছর ধরে HALE দলে রয়েছি।

— tr_xsdi
সূত্র
আপনি কীভাবে মনে করেন এটি আজ বনাম এফএমই স্ট্যাক করে? বিশেষত ওয়েব এবং জিওআরএসএস ডেটা ফিডগুলির জন্য?
— ডাঃ ওয়াইএসজি
@ ডঃ ওয়াইএসএসজি হলের রক্ষণাবেক্ষণ 2015 সালে ভিট্রান্সফর্ম জিএমবিএইচ দ্বারা গ্রহণ করা হয়েছিল, সুতরাং এর বিকাশের পিছনে এখন একটি নিবেদিত দল রয়েছে। গত চার বছরে এখানে যথেষ্ট বিকাশ হয়েছে। পরিবর্তনগুলি গিটহাব রিলিজ নোটগুলিতে নথিভুক্ত করা হয়। এটি JSON / GeoJSON ডেটা প্রসেসিং সমর্থন করে। জিওআরএসএস একটি সাধারণ এক্সএমএল ফর্ম্যাট যা জিএমএলের কিছু অংশ পুনরায় ব্যবহার করে, তাই এটি সম্পূর্ণরূপে সমর্থিতও। জিওআরএসএস ফিডগুলি স্বয়ংক্রিয়ভাবে প্রক্রিয়া করতে, আপনি হেল-ক্লিমে (কমান্ড লাইন ইন্টারফেস এবং অন্যান্য এপিআই) সন্ধান করতে চান।
— tr_xsdi
5

আপনি যদি ব্লাহ 238 এর নকল লিঙ্কটি দেখেন তবে আপনি আরও তথ্য পাবেন। আমি বলব যে ট্যালেন্ডার ওপেন স্টুডিও এবং পেন্টাহো জিওকিটল হ'ল যে কোনও একটি বেছে নিতে পারেন এমন সর্বাধিক বিশিষ্ট ওপেন সোর্স সমাধান। এই দুটি টেলেন্ডারের মধ্যে কেবলমাত্র ইটিএল এবং জিওকেটল ছাড়া আমি যতটা পড়েছি তার চেয়ে বেশি লক্ষ্যবস্তু।

আমার পৌরসভা জিও কেটলকে স্থানীয় কর্তৃপক্ষ এবং অঞ্চলগুলির (এসএলএআর) এসিডোসিয়ান অ্যাসোসিয়েশন দ্বারা একত্রে একটি জিএমএল উপভাষা লিখতে যেতে চলেছে এবং জিওডাটা বিভিন্ন বাণিজ্যিক অভিযানের জন্য আমাদের এই ফর্ম্যাটটি প্রয়োজন।

আমি বিশ্বাস করি জিওকেটল এর ২.০ সংস্করণ থেকে ওজিআর / জিডিএল সমর্থন করে।

— ফিশহিড
সূত্র
5

এফএমই সম্ভবত এই স্থানটিতে ব্যবহারের জন্য সেরা পণ্য। এরপরে এটি জিডিএল / ওজিআর। এই জায়গার আর একটি ওপেন সোর্স পণ্য হ'ল জিওকেটেল - http://www.spatialytics.org/projects/geokettle/ যদিও আমি কখনই রাগে এটি ব্যবহার করি নি (অন্যান্য ভাগ পণ্য উল্লেখ করার জন্য যথেষ্ট ভাগ্যবান)।

যদি এই জেনেরিক বিকল্পগুলির কোনওটি না কাজ করে তবে আপনি সম্ভবত একটি নির্দিষ্ট রূপান্তর সরঞ্জামটি ব্যবহার করতে চান।

— রব বুথ
সূত্র
3

ক্ষুদ্র প্রকল্পের উচ্চ শিক্ষার বক্ররেখার জন্য জিয়োকেটলকে ধর্মীয়ভাবে ব্যবহার করা হয় যদি না আপনি যদি একটি গ্রিপস ইউআই না ব্যবহার করেন ... জিডিএল 1.10 এর বিপরীতে এটি সংকলিত হিসাবে সত্যই শক্তিশালী সমস্ত জিও প্রকার সমর্থন করে ... আমি যা পছন্দ করি তা হ'ল পরিষেবাগুলির মাধ্যমে সঞ্চিত ডেটা এবং ডেটা উভয়ের জন্য সমর্থন ... আমি এটি স্থানীয় পোস্টগিসের উদাহরণে জিএসজেএস-এর মাধ্যমে জিওজেএসন-এর মাধ্যমে আর্কজিআইএস সার্ভার ডেটাসেটগুলি পুনরায় তৈরি এবং সিঙ্ক করতে ব্যবহার করেছি ... ওয়ার্কফ্লো শর্তে তৈরি করতে পারে এবং বৈধতা এটিকে আপত্তিজনক # এর জন্য জিজ্ঞাসা করতে সেট করতে পারে এবং এর ভিত্তিতে একটি পূর্বনির্ধারিত সিএসভি সংকলন করে থাকে প্রথম ক্যোয়ারীর উপর নির্ভর করে একসাথে 500 টি বৈশিষ্ট্যের জন্য একটি পোস্টের অনুরোধ পুনরাবৃত্তি করা একটি জিওজসন ফাইলে সমস্ত অনুরোধ একত্রিত করতে সক্ষম হয়েছিল, পোস্টগ্রিসে এমনকি ভ্যাকুয়াম এবং সূচক চালানোর জন্য স্ক্রিপ্টযুক্ত পোস্টগ্রিজ লোড করতে ogr2ogr চালাতে সক্ষম হয়েছিল ... কেবল অনুমোদিত নয় একজন ভক্ত

আপনি এটি চালাতে পারেন এবং ডেস্কটপ গুইতে একটি ওয়ার্কফ্লো মানচিত্র করতে পারেন এবং এটি হ্যাডুপে সেট আপ করতে পেন্টাহোস সার্ভার সরঞ্জামগুলি ব্যবহার করতে পারেন এবং এটি স্ক্রিপ্ট বা ক্রোন জব হিসাবে চালাতে পারেন।

— 323290
সূত্র
3

কিউজিআইএস (কমপক্ষে বর্তমান সংস্করণ ২.6 থেকে) এখন একটি সংহত মডেল নির্মাতাও রয়েছে। এই সরঞ্জামবাক্সের মাধ্যমে আপনি অ্যালগরিদমের (জিডিএল, গ্রাস, সাগা, ভেক্টর্টুলগুলি) ইত্যাদির অ্যাক্সেস পেতে পারেন। আপনি নিজের স্ক্রিপ্টও যুক্ত করতে পারেন।

আমি অবশ্যই স্বীকার করব যে আমি এটি ব্যাপকভাবে ব্যবহার করি নি, তবে আমি যদি কোনও মডেল নির্মাতার সন্ধান করতাম তবে আমি এটিকে তদন্তের যোগ্য মনে করব।

— হিমশীতল
সূত্র
0

[সতর্কতা: আমি যে পণ্যটির সাথে জড়িত তার একটি কৃত্রিম প্রচার]

আমরা ইটিএল করার একটি সরঞ্জাম নিয়ে কাজ করছি। এটি এফএমই এর স্বাদে অনুরূপ তবে সহজ কাজগুলির জন্য ডিজাইন করা হয়েছে এবং ব্যবহারের জন্য কম দক্ষতার প্রয়োজন। কিছু বিশদ https://www.geoactive.it এ পাওয়া যাবে কেবল ডেটা ড্রাগনের তথ্য অনুসন্ধান করুন। এই অ্যাপ্লিকেশনটি পিছনের প্রান্তে জিডিএল / ওজিআর ব্যবহার করে এবং আমরা জিডিএল / ওজিআরগুলিতে কোনও সংযোজন চাপছি।

বাণিজ্যিক ব্যবহারের জন্য এটি ক্রয় করা প্রয়োজন তবে আমাদের কাছে একাডেমিক লাইসেন্সগুলি বিনামূল্যে পাওয়া যায় তাই আপনি যদি এটি পড়াশুনার জন্য ব্যবহার করতে চান তবে আমাকে বার্তা দিন এবং আমি আপনাকে আরও কিছু বিশদ সরবরাহ করব।

এটি এর প্রথম দিকে মুক্তির পর্যায়ে তাই এখনও কিছু ছোট ছোট বাগ রয়েছে তাই দয়া করে আমাদের সাথে সৌম্য হন।

— Darkcylde
সূত্র
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.