জটিল জিওপ্রসেসিং ওয়ার্কফ্লো পরিচালনা করতে পোস্টজিআইএস কীভাবে ব্যবহার করবেন?


12

আমাদের সংস্থা আমাদের জিওপ্রসেসিংয়ের কার্যপ্রবাহকে পোস্টজিআইএসে স্থানান্তরিত করার বিষয়ে বিবেচনা করছে। আমরা বর্তমানে আরকজিআইএস ব্যবহার করছি, মডেলবিল্ডারে ব্যবহৃত কাস্টম পাইথন সরঞ্জামগুলির আধিক্য সহ। আমরা আমাদের বেশিরভাগ ডেটা পোস্টজিআইএস-এ বিভিন্ন অ্যাপ্লিকেশন দ্বারা গ্রহন করতে সরাচ্ছি এবং এখন আমরা জিজ্ঞাসা করছি যে এটি সেখানেও ডেটা প্রসেসিং সম্পাদন করাও বোধগম্য।

আমরা আমাদের সফ্টওয়্যারটির সাথে উপযোগী হতে ডেটা প্রক্রিয়া করি। একজন গ্রাহক আমাদের সফ্টওয়্যারটি কিনে, তাদের ডেটা দেয় এবং আমরা আমাদের সফ্টওয়্যারটি ব্যবহারের জন্য এটি অনুকূলিতকরণের জন্য প্রক্রিয়া করি। এটির জন্য আমাদের ইনপুট ডেটার বিভিন্ন গুণাবলী পরিচালনা করতে বিভিন্ন সরঞ্জাম তৈরি করতে হবে। আমরা কোনও নির্দিষ্ট ফর্ম্যাট বা স্কিমাতে ডেটা পাওয়ার আশা করতে পারি না, সুতরাং আমরা আউটপুট ক্ষেত্রগুলিতে ইনপুট ক্ষেত্রগুলিকে মানচিত্রের জন্য সরঞ্জাম তৈরি করি, একক ক্ষেত্রকে একাধিক ক্ষেত্রগুলিতে পার্স করতে পারি, একাধিক ডেটাসেট ইত্যাদি মিশ্রণ করি We এবং ক্ষেত্র এবং অন্যান্য অনেকগুলি সাধারণ ক্রিয়াকলাপ conc পোস্টজিআইএস আমাদের সমস্ত প্রক্রিয়াজাতকরণ প্রয়োজন সম্পাদন করতে পুরোপুরি সক্ষম বলে মনে হচ্ছে।

আপনারা যারা আপনার ডেটা প্রসেসিং করতে পোস্টজিআইএস ব্যবহার করেন, আপনার কাছে কি সংগঠন, ব্যবহারের সরঞ্জামাদি ইত্যাদির জন্য কোনও পরামর্শ আছে?

  • আপনি কি কিউজিআইএস পাইথন প্রসেসিংয়ের সাথে একত্রে এটি ব্যবহার করেন?
  • লোকেরা কি অ-ওয়েব প্রক্রিয়াকরণের জন্য পাইথন ওআরএম ব্যবহার করে? পোস্ট জিআইএসের জন্য পাইথন ওআরএম রয়েছে বলেই আমি জিওডাজাঙ্গো ব্যবহারের দিকে ঝুঁকছি । ডেটা প্রক্রিয়া করার জন্য পোস্টজিআইএস ব্যবহারের আমাদের প্রাথমিক পরীক্ষার পাইথন কোডে অনেকগুলি বৃহত এসকিউএল পাঠ্য ব্লক রয়েছে এবং আমরা ভেবে দেখছি যে জিওডজ্যাঙ্গো ওআরএম আরও পরিচালনাযোগ্য এবং পঠনযোগ্য কোড তৈরি করতে সহায়তা করতে পারে। জিওএলচেমি ওআরএমও রয়েছে যা পোস্টজিআইএসের সাথে একইভাবে যোগাযোগ করে এবং জ্যাঙ্গোর মতো ওয়েব-স্পেসিফিক বলে মনে হয় না।

আমি কিউজিআইএস বা আর্কজিআইএস ব্যবহার করে যতটা লোক দেখি পোস্ট জিআইএস জিওপ্রসেসিং করতে লোকেরা শুনতে পাইনি, তাই আমি এটি তুলনামূলক বিকল্প কিনা তা জানতে চাই।


1
আপনার সমস্ত প্রক্রিয়া "ব্যাকএন্ড"? আমি কোনও জ্যাঙ্গো বা জিওড্যাঞ্জো ব্যবহারকারী নই, তবে আমি কেবল ওয়েবসাইটগুলি বিকাশের জন্য সেই পণ্যগুলি নিয়েই ভাবি (এবং তাদের মূল্যবান তুলনায় আরও সমস্যা, আইএমএইচও)। কেন কেবল (গুগল ইউনিক্স) কমান্ড লাইনে বা "ক্রোন" এর মাধ্যমে পর্যায়ক্রমে শেল বা পাইথন স্ক্রিপ্টগুলির একগুচ্ছ চালানো হয় না? (কম ক্লিক-ক্লিকি আমার মনে সর্বদা আরও ভাল)) আপনি সম্ভবত এগুলি নিয়মিত বিন্যস্ত করতে চান, অন্তত আগত ডেটা স্ট্রিম দ্বারা। এছাড়াও, পোস্টজিইস সম্ভবত কিউজিআইএস ছাড়াই আপনার ডেটা টুকরো টুকরো করে ফেলতে পারে - কোন নির্দিষ্ট ধরণের ক্রিয়াকলাপগুলি আপনার মনে রয়েছে?
ফোরকান্ডওয়েট

1
হ্যাঁ, আমাদের প্রক্রিয়াজাতকরণ ব্যাকএন্ড। তবে গ্রাহকদের তাদের ডেটা দেখতে এবং সম্পাদনা করার জন্য আমাদের অবশেষে একটি ওপেনলায়ার্স ওয়েব ম্যাপ থাকবে। আমরা অ্যাপ্লিকেশনটির ব্যবহারকারী এবং অ্যাডমিন অ্যাকাউন্টগুলির জন্য জ্যাঙ্গো ব্যবহার করতে পারি। যদি তা হয়, তবে আমি ভেবেছিলাম যে প্রক্রিয়াজাতকরণের জন্য জিওডাঞ্জোতে খোঁজ করার আর একটি কারণ হতে পারে, যদিও জাঙ্গা মূলত ওয়েবসাইটগুলির জন্য নির্মিত হয়েছিল। জাজানো উপস্থাপনার সাথে এই বৃহত স্কেল প্রসেসিংটি পরামর্শ দেয় যে জ্যাঙ্গো কেবল ওয়েবসাইটের জন্য নয়: স্লাইডসারেটনেট
ট্যানার

1
ব্যাকএন্ড কাজের জন্য, আমি পোস্টজিআইএস, সামান্য ওগরি 2ogr, একটি স্ক্রিপ্টিং ভাষা (পাইথন, রুবি, টিসিএল, যাই হোক না কেন) এবং একটি ইউনিক্স কমান্ড লাইন ব্যবহার করব। আপনার ডেটাবেসটিকে যথাসম্ভব সামঞ্জস্য করা ছাড়া আমি তাতে জ্যাঙ্গো মেশানোর চেষ্টা করা এড়াতে চাই। তারপরে, আপনার যদি এটির প্রয়োজন হয় তবে এটির সামনে একটি প্রান্ত দিন। আমার নিয়মটি হ'ল: কম ক্লিকি = আরও বেশি উত্পাদনশীল (যদিও জিআইএস বিশ্লেষকরা ক্লিকি-ক্লিকি ক্র্যাপের সাথে আরও স্বাচ্ছন্দ্য বোধ করছেন ... যার অর্থ "স্বজ্ঞাত ইন্টারফেস")।
ফোরকান্ডওয়েট

স্লাইডশারে সম্পর্কিত - এটি দেখতে কৃপণভাবে জটিল বলে মনে হচ্ছে এবং আপনি যদি নিজের প্রসেসিং পাওয়ার চালিয়ে যাওয়ার চেষ্টা করছেন তবে অন্যথায় এটি পরিচালনা করার জন্য নাইটমারিশ মজাদার appropriate
ফোরকান্ডওয়েট

1
জেনেরিক এটেল প্রশ্নগুলির একটি দু'টি যা আপনাকে সহায়ক বলে মনে করতে পারে: " স্পেসিয়াল ইটিএল তুলনা " এবং " কোনও নিরাপদ ফেম বিকল্প আছে? "
রায়ানকডালটন

উত্তর:


8

জিওপ্রসেসিংয়ের উদ্দেশ্যে পোস্টজিআইএস ব্যবহার করা আমার পছন্দ really

আমার দুটি প্রধান রেজোজন হ'ল:

1) ডাটাবেসে জটিল কাজ করা প্রায়শই খুব দ্রুত হয় কারণ আপনি সঠিক ক্রমে কাজগুলি করার জন্য ক্যোয়ারী পরিকল্পনাকারীর সহায়তা পান।

2) আপনি যে পাঠ্যফাইলে ব্যবহার করেছেন সেগুলি স্কেল লাইনগুলি সংরক্ষণ করুন এবং আপনি যা করেছেন তার খুব ভাল ডকুমেন্টেশন রয়েছে।

আমার কর্মপ্রবাহ, যদি কার্যগুলিতে অনেকগুলি "ধাপগুলি" জড়িত থাকে তবে এরকম কিছু হতে পারে:
1- কার্যের প্রকৃতির উপর নির্ভর করে কোয়েরির অংশগুলি বা এটির সবগুলি তৈরি করুন
2- ডেটাসেটের একটি ছোট অংশে ক্যোয়ারি পরীক্ষা করুন এটি কীভাবে সম্পাদন করে দেখুন
3- প্রয়োজনে কিছু টুইট করুন
4- পুরো ডেটাসেটে ক্যোয়ারি চালান
5- কিছু নোট সহ একটি পাঠ্য ফাইলে লাইনগুলি সংরক্ষণ করুন।
এগুলি প্রায়শই আর্কজিআইএস শুরু করার মতো দ্রুত এবং লাইসেন্স সার্ভারের লাইসেন্সের জন্য অপেক্ষা করে।


5

আমরা পোস্টজিআইএস এবং কিছু ধরণের পাইথন প্রোগ্রামিং পরিবেশ ব্যবহার করি যা আমরা বিকাশ করেছি এমন অনেকগুলি জিওপ্রসেসিং ওয়েব পরিষেবাদির জন্য; কোন অভিযোগ নাই!

জিওড্যাজ্যাঙ্গো হ'ল একটি দুর্দান্ত পছন্দ যদি আপনি কোনও ওয়েব অ্যাপ্লিকেশনের বৈশিষ্ট্যগুলি নিয়ে বেশিরভাগ (বা একচেটিয়াভাবে) কাজ করছেন। এটি পোস্টজিআইএস রাস্টার বা পোস্টজিআইএস ২.০ এর রাস্টার ডাটা টাইপ সমর্থন করে না। এটি এখন জাঙ্গোর সর্বশেষতম সংস্করণ সহ নেটিভভাবে আসে জাজানোতে কাস্টম, কাঁচা এসকিউএল কোয়েরি ব্যবহার করে আপনি রাস্টার সমর্থন এবং সামগ্রিক দৃ rob়তার অভাব পূরণ করতে পারেন।

আরও দৃ ge় জিওপ্রসেসিং অ্যাপ্লিকেশনগুলির জন্য, এবং বিশেষত যদি আপনি কোনও অবজেক্ট-রিলেশনাল মডেল ব্যবহার করতে চান তবে জিওএলচেমি 2 চেষ্টা করুন। মূল জিওএলচেমি গ্রন্থাগার, যা এসকিউএএলএলচেমি প্রসারিত করে, বৈশিষ্ট্য ডেটার জন্য সমর্থন সরবরাহ করে; জিওএলচেমি 2 পোস্টজিআইএস ২.০ এ নতুন রাস্টার ডেটা টাইপের জন্য (সীমিত) সহায়তা সরবরাহ করে এটি বাড়িয়েছে

এবং তারপরে, জিডিএল এবং ওজিআরের জন্য পাইথন বাইন্ডিংগুলি সর্বদা থাকে!


ওয়াইএমএমভি, তবে আমি দেখতে পেলাম যে অবজেক্ট-রিলেশনাল লাইব্রেরিগুলি সত্যিই পুরানো এসকিউএল-তে কিছু যুক্ত করে না। আমি অন্য মন্তব্যে যেমন বলেছি, সুনির্দিষ্ট বিবরণ শুনতে এটি সবচেয়ে আকর্ষণীয় হবে।
ফোরকান্ডওয়েট

4
আমি কেস স্টাডি বর্ণনা করতে পারি: আগুনের ক্ষয় পরবর্তী মডেলের জন্য রাস্টার ইনপুট তৈরির জন্য একটি ওয়েব পরিষেবা। মূলত, বেশ কয়েকটি রাস্টারকে সাবসেট করা এবং একে অপরের সাথে যুক্ত করা দরকার। আমি জিওএলচেমি 2 (জিএ 2) পোস্টজিআইএসের সাথে ইন্টারফেসে বেছে নিয়েছি, যেখানে ডেটা সঞ্চিত রয়েছে। জিএ 2 ব্যবহার করে, আমি কমপ্যাক্ট, পুনরায় ব্যবহারযোগ্য পোস্টজিআইএস কোয়েরি তৈরি করতে পারি। একটি ক্যোয়ারী একটি "পোড়া জমি কভার" পণ্য তৈরি করে (কোনও জমির আবরণ, উপসেটের একটি পুনর্গঠন)। এই পণ্যটি কিছু মডেলিংয়ের জন্য নিজস্ব প্রয়োজন হয়, তবে তৃতীয় আউটপুট পণ্য উত্পাদন করতে অন্য রাস্টার, একটি মৃত্তিকা স্তরতে যুক্ত করা হয়। জিএ 2 আমাকে পাইথনে মিশ্রিত করতে, মিলাতে এবং সিরিয়ালায়িত করতে দেয়।
আর্থার

3

যদিও সম্ভব, এটি কল্পনা করা শক্ত যে আপনি কোনও ডাটাবেস ইঞ্জিন বা ওয়েব ফ্রেমওয়ার্কের ভিতরে অনেকগুলি জিওপ্রসেসিং করতে চাইবেন। আমি আপনাকে অন্তর্নিহিত কোড লাইব্রেরি - জিওস, প্রোজ .৪ এবং জিডিএল দেখার পরামর্শ দিচ্ছি। তিনটি জন্য পাইথন বাইন্ডিং বা গ্রন্থাগার রয়েছে। দেখার জন্য আরেকটি বিকল্প হ'ল কিউজিআইএসের জন্য সিক্সেন্টেটি জিওপ্রসেস প্লাগইন, কারণ এটি মডেল / ওয়ার্কফ্লো বিল্ডিংয়ের অনুমতি দেয়।

আরও কিছু চিন্তা:

পোস্টজিআইএস ব্যবহার বাতিল করবেন না। এটি ভাল স্টোরেজ এবং সার্ভারের ক্ষমতা সরবরাহ করে এবং এসকিউএল যদিও কিছু জিও এবং প্রোজ 4.4 কার্যকারিতা প্রকাশ করে। এটি উল্লিখিত অন্যান্য সরঞ্জামগুলির সাথেও দুর্দান্ত খেলে: জ্যাঙ্গো, কিউজিআইএস এবং পাইথন।

পূর্বোক্ত সেক্সট্যান্ট প্লাগইনটির সম্ভাব্য ব্যবহারের পাশাপাশি কিউজিআইএস ভিজ্যুয়ালাইজেশনের জন্য ভাল, পোস্টগ্রিসের সাথে কাজ করার জন্য কিছু সরঞ্জাম রয়েছে এবং এতে পাইথন কনসোলও রয়েছে।

আপনি যদি ওআরএম খুঁজছেন এবং ওয়েব ফ্রন্ট এন্ড চান, জ্যাঙ্গো এটি করবে। আপনি যদি সেক্সি-এর চেয়ে কম সেক্সি ইন্টারফেসকে আপত্তি করেন না তবে অ্যাডমিন পৃষ্ঠাগুলি আপনাকে তুলনামূলকভাবে সামান্য প্রচেষ্টা সহ একটি সিআরইউডি ইন্টারফেস দেবে - এমনকি আপনি জিওড্যাঞ্জো ব্যবহার করলে জ্যামিতি সম্পাদনাও করবেন।


2
যদিও আমি সম্মত হবো যে কেউ জিওপ্রসেসিংয়ের জন্য কোনও ওয়েব কাঠামো ব্যবহার করবে না, তবে আমি দৃ strongly়ভাবে একমত নই যে কেউ জিওপ্রসেসিং করতে পোস্টজিআইএস (বা অন্য কোনও ডাটাবেস ইঞ্জিন) ব্যবহার করবে না। আলোচনায় এগিয়ে যাওয়ার জন্য আমাদের সুনির্দিষ্ট প্রয়োজন, তবে পোস্টজিআইএস এবং এসকিউএল ব্যবহার করে আমি প্রচুর পরিমাণে জ্যামিতি স্লাইসিং / ডাইসিং এবং পয়েন্ট-ইন-পলিসি বিশ্লেষণ করি।
ফোরকান্ডওয়েত

2
@ ফোরকান্ডওয়াইট ওহ, পোস্টজিআইএসে আমি আপনার সাথে একমত তবে, আমি ধারণা পেয়েছি যে তারা বেশ কয়েকটি ছোট স্ক্রিপ্ট ব্যবহার করে যা তারা প্রতিটি প্রকল্পের জন্য আলাদাভাবে চেইন আপ করতে পারে। আমার লক্ষ্য ছিল তাদের অন্তর্নিহিত লাইব্রেরিগুলি তদন্ত করা যাতে তারা যে কোনও পরিবেশে সবচেয়ে ভাল কাজ করতে পারে তা বেছে নিতে পারে।
স্ক্রো

3

কটাক্ষপাত সংক্ষিপ্তসার ETL , বিশেষভাবে, FME স্থানিক অপারেশন (অথবা ওপেন সোর্স জন্য GeoKettle )।

আমি সত্যিই এফএমই ব্যবহার করতে পছন্দ করি, কারণ এটি একটি ভিজ্যুয়াল ওয়ার্কফ্লো তৈরি করে এবং আপনি স্থানিক ক্রিয়াকলাপের জন্য যুক্তিকে আলাদা করতে পারবেন, যোগদান করতে পারবেন, একীভূত হবেন ... সবকিছু, এবং আপনি নন-ডাটাবেস ফর্ম্যাট এবং বিভিন্ন ডাটাবেসগুলির সাথে কাজ করতে পারেন ... প্রচুর এবং সহজ এবং দ্রুত করুন। আপনার যদি মডেল বিল্ডারের সাথে অভিজ্ঞতা থাকে তবে আপনি এটিকে তাড়াতাড়ি তুলে নেবেন, এবং অনলাইনে প্রচুর ডকুমেন্টেশন রয়েছে।

এফএমইয়ের একমাত্র অসুবিধা হ'ল এটিতে অর্থ ব্যয় হয়। তবে আমি মনে করি এটি মূল্যবান।

এফএমই ব্যবহারের বিকল্প হ'ল জিডিএল এবং ওজিআর পাশাপাশি পাইথনের সাথে এটি বেঁধে রাখার জন্য। অথবা, আপনি যেমনটি বলেছেন, পোস্টগ্র্রেএসকিউএল এ সব করছেন। আমি মনে করি স্থানিক ডেটা র্যাংলিংয়ে একটি ইটিএল এর শক্তিশালী ভূমিকা আছে এবং এটি অনেক কিছু করে যা আপনি কেবল আপনার ডাটাবেসে করতে পারবেন না।

আমি এটি ব্যবহার করি নি, তবে জিও সার্ভার ডাব্লুপিএসের একটি বাস্তবায়ন সরবরাহ করে , আমি এটি ব্যবহার করি নি, তবে অন্যরা কীভাবে এটি আপনার পক্ষে কার্যকর হতে পারে সে সম্পর্কে মন্তব্য করতে পারে?

আমি জিওডাজাঙ্গো ব্যবহারের বিষয়ে মন্তব্য করতে পারি না, তবে আমি ভেবেছিলাম এটি ডেটা দেখার জন্য ফ্রন্ট-এন্ডের মতো আরও সিএমএস।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.