ইএসআরআই-তে বড় আকারের জিওকোডিং এবং প্রসেসিং


9

ঠিক আছে, তাই আপনি আপনার ESRI বিশ্বে আপনি কতটা বড় ডেটাসেট ব্যবহার করছেন সে সম্পর্কে এই ধরণের অনানুষ্ঠানিক ক্যোয়ারী / সমীক্ষার অনুমান করি ...

আমি একটি রাজ্যব্যাপী ডেটাসেট তৈরি করছি এবং রক্ষণ করছি, যেখানে আমাকে ব্যক্তিগত ঘর পর্যায়ে নিয়ে যেতে হবে, না পার্সেল স্তর তবে আমাদের সিস্টেমে পার্সেল প্রতি একাধিক মেলিং ঠিকানা। অনেক জায়গায় আমি রাস্তার নেটওয়ার্ক বা ইউএসপিএস এএমএস / এআইএস ডেটা থেকে গণনা করা তাত্ত্বিক ঠিকানা ব্যবহার করছি। সুতরাং আমার ঠিকানা তালিকাটি প্রায় 13.5 মিলিয়ন ঠিকানা এবং মাসিক বা ত্রৈমাসিকের মধ্যে বড় হচ্ছে।

এই মুহূর্তে কেউ কি ঠিকানার তথ্য / সঠিকভাবে অনুসন্ধানের তথ্যের একটি লাইভ সিস্টেম বজায় রেখে চলেছেন যা এই অবিচ্ছিন্ন ডেটাসেটে বড়?

অন্যরা কীভাবে এত বড় ডেটাसेट পরিচালনা করছেন সে সম্পর্কে আমি সহযোগিতা করতে বা আরও কথা বলতে চাই। যখন আমি ছেদগুলি বা স্থানিক যোগদানের মতো কাজ সম্পাদনের চেষ্টা করি তখন ইএসআরআই সফ্টওয়্যারটি প্রবাহিত হবে বলে মনে হচ্ছে issues ইএসআরআই বলছে তারা এই ধরণের সমস্যা দেখেন না তবে 9.3.1-এর পরে আমার এই সমস্যাগুলি রয়েছে তাই আমি একাধিক মেশিনে পুনরায় তৈরি করতে পারার কারণে আমি প্রথম / একমাত্র ব্যক্তি হতে পারি না।

আমার প্ল্যাটফর্মটি এখন ডেস্কটপে ESRI আর্কজিআইএস 10, জিওমিট্রি স্থানিক অবজেক্টটি ব্যবহার করে একটি এসকিউএল ২০০8 ব্যাকএন্ডে আরকিএসডিই 9.3.1-এসপি 1 এর সাথে কথা বলছে। সুতরাং আমি সত্যিই বহিরাগত কিছু করছি না; তবে এখনও আমার কাছে মনে হয় যে কিছু কিছু জায়গায় আমি সম্ভবত খামটিকে চাপ দিচ্ছি।

[আরও]

আমি যে বিষয়ে জানতে আগ্রহী তা হ'ল এই ডেটাসেটগুলি ব্যবহারের জন্য প্রক্রিয়াগুলি অপ্টিমাইজ করতে অন্যান্য ব্যক্তিরা কী করছেন। আমি এক মাস এগিয়ে মিলিয়ন মিলিয়ন রেকর্ডের অ্যাডওয়ার্ড যুক্ত করব এবং যখন আপনি অন্যান্য প্রসেসগুলি চালাবেন এবং আরও বিশ্লেষণের জন্য ডেটা সংযুক্ত করবেন তখন আপনি জটিল যোগদানের সাথে কাজ শুরু করবেন when আচ্ছা, আপনি কেবল_ফিড ব্যবহার করে ছেদগুলি / ওভারলেগুলি / পরিচয়গুলি থেকে ডেটা আউটপুট আউট করেন এবং এতে যোগদানের জন্য আপনি একটি পাতলা মাঝারি টেবিল পান; তবে আপনি যখন এই টেবিলটি তৈরির বিভাজন এবং বিজয়ের চেষ্টা শুরু করেন আপনি সেই সমস্যাগুলিকে আঘাত করতে শুরু করেন যেখানে আপনাকে আপনার উত্সের ডেটাটিকে কার্যকরী অঞ্চলে বিভক্ত করতে হবে তবে তারপরে আপনার আইডিএস পুনরাবৃত্তি করতে হবে যা আপনি ফিরে মার্জ করতে পারবেন না; সুতরাং আপনার কাছে এমন ছোট ছোট ডেটা রয়েছে যা আপনি সহজেই আর পুরো করতে পারবেন না।

বিকল্পগুলি কাউন্টি-বাই-কাউন্টি স্কেলে ডেটা ভেঙে দেওয়া, তারপরে স্থানীয় দর্শনগুলি ব্যবহার করে এটি আবার একত্রিত হওয়া ইত্যাদি সম্পর্কে চিন্তাভাবনা করুন ... অন্য ব্যবহারকারীরা যদি এত বড় আকারে একই ধরণের সমস্যাগুলি দেখছেন তবে ছোট পদচিহ্নের।


3
আরাকল স্পেসিয়াল (১১ জি) আরকএসডিইতে জিওকোডযুক্ত এবং অর্কজিআইএস এবং ওয়েব অ্যাপে (অভ্যন্তরীণ) ভিজ্যুয়ালাইজড 60০ মিলিয়ন ঠিকানা। এটা তোলে geocoded ঠিকানা কিন্তু ঝাপসা (ভুল মিলেছে ঠিকানাগুলি) এই একটি ভাল পথপ্রদর্শক হয় সম্পর্কে নয় scdhec.gov/gis/presentations/ESRI_Conference_08/tws/workshops/...
Mapperz

আমি একমত, জিওকোডিং কখনও সমস্যা হয়নি। আমার সমস্যাটি তখনই হয়ে যায় যখন আপনার কাছে এত বড় ডেটাসেট থাকে যে আপনার একটি ধারাবাহিক প্রক্রিয়া থাকা দরকার যা অন্যান্য প্রক্রিয়াগুলি খুব কঠিন হয়ে যায়। ইন্টারসেক্টস, স্প্যাটিয়াল-জয়েন্টস ইত্যাদির মতো ক্রিয়াকলাপ / কার্যগুলি, যেখানে আপনাকে মডেলিংয়ের জন্য অত্যন্ত স্বাভাবিক পরিবেশে অন্য ডেটাতে যোগ দিতে হয়।
ডাইরাইট

আপনার স্থানীয় তথ্য সূচী হয়? ডক্স অনুসারে, এসকিউএল সার্ভার বি-ট্রি সূচকগুলি ব্যবহার করে। জিআইএসটি সূচকগুলির সাথে একটি পোস্টজিআইএস ডাটাবেসে ডেটা লোড করার চেষ্টা করুন এবং কর্মক্ষমতা তুলনা করুন। এটি আপনাকে বলবে এটি কোনও এসকিউএল সার্ভারের সমস্যা কিনা।
শান

এই ধরণের জিনিস নিয়ে কোনও সমস্যা নেই, তবে আমি সামগ্রিকভাবে যা দেখছি তা হ'ল আপনি যখন এতগুলি পয়েন্ট নিয়ে কাজ করছেন এবং এতক্ষণ ধরে চলে এমন গভীর ফাংশন করছেন আপনি সেগুলি অনুকূল করার উপায়গুলি দেখেন। এবং অন্যান্য বড় আকারের ব্যবহারকারীরা কী করছেন সে সম্পর্কে আমি কৌতূহল বোধ করি।
ডাইরাইট

যদি প্রশ্নটি ওপেন-এন্ড হয় তবে এটি পুনরায় সংশোধন করে একটি সম্প্রদায়ের উইকি তৈরি করা উচিত।
শান

উত্তর:


1

এটি একটি (পুরানো) উন্মুক্ত সমাপ্ত প্রশ্ন হিসাবে আমি আপনাকে একটি মুক্ত-সমাপ্ত উত্তর দেব: ডাটাবেসটি সঠিকভাবে ব্যবহার করা বিপুল পরিমাণ সময় সাশ্রয় করতে পারে। কিছু করার স্পষ্ট উপায় অগত্যা দ্রুততম নয়, উদাহরণস্বরূপ যখন আমি সম্প্রতি ওরাকল থেকে প্রচুর সারি মুছে ফেলতে চেয়েছিলাম তখন দেখা যাচ্ছে যে কেবল পাঠানো হচ্ছে: delete from TABLE1 where ID = 123প্রতিটি বৈশিষ্ট্যটি অবিশ্বাস্যরূপে ধীর ছিল এবং কিছু অভিনব ওরাকল স্টাফ আমি করতে পারি দ্রুততর আকারের অর্ডার তৈরি করতে to

সুতরাং মূলত যদি আপনি কোনও বিশেষ সমস্যা খুঁজে পান যা একটি বাধা, সুতরাং আর্কজিআইএস পক্ষের পক্ষে সম্ভবত এখানে (বা ইএসআরআই ফোরামগুলি, বা আপনার ইএসআরআই সমর্থন) থাকতে পারে তবে একটি ডাটাবেস-পার্শ্ব ইস্যুতে (এবং জিনিসগুলি সাধারণত সেখানে উপস্থিত করলে আপনি আরও দ্রুত হবে) আপনি HTTP- তে জানতে চাইবেন : //www.stackoverflow.com


এত বেশি খোলা শেষ হয়নি; তবে এই বিষয়টিকে পরিচালনা করার জন্য আরও তাত্ত্বিক উপায়গুলির জন্য আরও সন্ধান করা। আমার অতি সাম্প্রতিক পাথটি আমাকে আমার নিজের এসকিউএল ২০০৮ ডিবিতে কথা বলার জন্য আমার নিজের অস্পষ্ট-চেহারা যুক্তি তৈরি করতে বাধ্য করেছিল। এটিকে আরও দ্রুত করার জন্য সুসংযুক্ত সূচকের উপর নির্ভর করতে ইএসআরআই ইঞ্জিনের উপর নির্ভরতা অপসারণ করা। যেহেতু আমরা বিইং এর বা গুগলের ইঞ্জিনগুলির ইন্টার্নালগুলি সম্পর্কে পর্যাপ্ত পরিমাণে জানতে পারি না আমরা কেবল ধরে নিতে পারি যে তারা সেখানে নিজস্ব সূক্ষ্ম যুক্তি ব্যবহার করবে।
ডবলাইট

গুগল তাদের গবেষণামূলক গবেষণাপত্রগুলি থেকে কিছুটা পিছনের দৃশ্যের চিত্র খুঁজে বের করতে পারেন - গবেষণা.
google.com/pubs/papers.html
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.