গুগল ম্যাপ টাইল তৈরির প্রক্রিয়াগুলির পারফরম্যান্স


11

আমি জানি যে প্রশ্নটি বরং অস্পষ্ট তবে দয়া করে ডাব্লু / আমাকে সহ্য করুন। আমি গুগল / বিং মানচিত্রের টাইল তৈরি করতে বিভিন্ন ধরণের পদ্ধতির জন্য লোকেরা দেখেছি - বিশেষত সময় নির্ধারণ করে - কী ধরণের পণ্যের পারফরম্যান্স সম্পর্কে ধারণা নেওয়ার চেষ্টা করছি। কীভাবে এটি করা যায় তার জন্য বেশ কয়েকটি পদ্ধতি রয়েছে (উদাঃ gdal2tiles, FME, maptiler, ইত্যাদি)। একটি দুর্দান্ত শালীন লিনাক্স সার্ভারে কেবল একটি বৃহত পিএনজি নেওয়া এবং চিত্রম্যাগিক ব্যবহার করে টাইলস তৈরির প্রাথমিক প্রয়াস, কিছু দীর্ঘ দীর্ঘ প্রক্রিয়াজাতকরণের সময় পেয়েছিল এবং তাই আমি অন্যান্য ব্যক্তিরা উত্পাদনে কী ব্যবহার করছে তা দেখতে চেয়েছিলাম। কমপক্ষে প্রতিদিন নতুন টাইলস তৈরি করা দরকার এবং তাই এটার টার্নআরআন্ড সময়টি অত্যন্ত সমালোচনামূলক।

আসল প্রয়োজনীয়তা হ'ল এটি একটি লিনাক্স সার্ভারে চলতে পারে। স্পষ্টতই, নিখরচায় ভাল তবে আমি নিজের মধ্যে সীমাবদ্ধ রাখতে চাই না। ইনপুটটি কাঁচা গ্রিডড / রাস্টার ডেটা বা একটি বড় চিত্র হতে পারে। আউটপুটটি গুগল বা বিং মানচিত্রে যেমন ব্যবহৃত হয় তেমন চিত্র টাইলস হওয়া দরকার।

কেবল তুলনার খাতিরে, আমি বলব যে সময়গুলি Google মানচিত্রের জুম স্তর 7 এর জন্য হওয়া উচিত।

আমি প্রত্যেকের সহায়তার প্রশংসা করি এবং আবার এই প্রশ্নটি সম্ভবত কতটা অস্পষ্ট বলে মনে হচ্ছে তার জন্য আমি ক্ষমা চাইতে চাই।

আপডেট: ইনপুট হিসাবে আমার কাছে বর্তমানে বিভিন্ন ফর্ম্যাটে একাধিক (কাঁচা) ডেটা উত্স রয়েছে: নেট ডিসিডিএফ, জিআরআইবি, জিআরআইবি 2। নিজেই কাঁচা ডেটা ছাড়াও, আমার কাছে সেই ডেটার সত্যিকারের বৃহত চিত্রগুলি তৈরি করার ক্ষমতাও রয়েছে যা পরে টুকরো টুকরো টাইলস / টাইল করা যেতে পারে।

আদর্শভাবে, আমি কেবল চিত্রটি কাটছি তবে আমি যা দ্রুত ফলাফল পেতে চাই তা চেষ্টা করতে রাজি আছি।


আপনাকে সুপারিশ অত্যন্ত চূড়ান্ত চিত্র আপনি ব্যবহার করছেন নিখুঁত এডোবি বাজি ব্যবহার করেন - adobe.com/products/fireworks - এমনকি ফটোশপ থেকে রপ্তানি এবং তারপর বাজি মধ্যে অপ্টিমাইজ ফাইলের 75% (PNG) পর্যন্ত মাপ
Mapperz

@ ম্যাপারজ- "আতশবাজিগুলিতে অনুকূলিতকরণ" সম্পর্কে বিস্তারিত?
ডেরেক সুইংলে

আমি মনে করি আপনাকে আপনার ইনপুট (গুলি) এ প্রসারিত করতে হবে এবং যদি আরও প্রসেসিং প্রয়োজন হয় বা যদি আপনি কেবল সেগুলি কাটাচ্ছেন।
ইয়ান টার্টন

4
@ ম্যাপের্জ: নিখরচায় মাপের পরিমাণ pngcrush এবং pngnq পরিমাণের জন্য। - আমি বর্তমানে একটি অনুরূপ টাস্কে কাজ করছি এবং সিস্টেমে খাওয়ানো প্রতিটি ফাইলের জন্য চিত্রগ্রাহক ব্যবহার করে একটি স্বয়ংক্রিয় চেইন gdal2tiles> pngnq> pngcrush> প্রিজারেটর থাম্বনেইল রয়েছে - আমি এটিকে দ্রুত বলে দাবি করতে পারি না, তবে অটোমেশনটি অনেক বেশি ভার নেয় । এবং আমার ক্ষেত্রে কোনও আপডেট নেই, এটি আগুন এবং ভুলে যান।
relet

1
@ রিলেট - আপনি যে কোনও সময় পার করতে পারবেন? এই জন্য আপনার হার্ডওয়্যার সেটআপ কি? ধন্যবাদ
ম্যালোনসো

উত্তর:


3

নিম্নলিখিত রাস্টার ফাইলের জন্য আমার কয়েকটি ফলাফল এখানে রয়েছে:

JPEG 14456x14490 14456x14490+0+0 DirectClass 62mb

$ সময় জিডাল টাইলস [...]

Generating Base Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.
Generating Overview Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.

real    5m7.675s
user    5m5.070s
sys  0m2.060s

$ সময় [প্রতিটি টাইলের জন্য pngnq এবং& pngcrush, মোট 4500]

real    9m32.827s
user    18m34.190s
sys  0m27.230s

হ্যাঁ, কয়েক মিনিটের মধ্যে - আমি আউটপুট আকারের জন্য অনুকূলিত করেছি, গতি নয়। মেশিনটি ভার্চুয়াল ইন্টেল জিওন 2x3GHz, মেমরির 4 জি। (এবং স্পষ্টতই, gdal2tiles কিছু সমান্তরাল ব্যবহার করতে পারে))


স্যাম্পল ফাইলটি ডাউনলোডের জন্য উপলব্ধ। আমি ম্যাপটিলার
ডট

দুঃখিত, আমি ইতিমধ্যে চাকরি পরিবর্তন করেছি। টাইলসটি কোথায় প্রকাশিত হয়েছে তা আমি সম্ভবত খুঁজে পেতে পারি, তবে আসল ফাইলটি নয়।
relet

6

gdal2tilesজুম রেঞ্জের জন্য গুগল টাইলগুলিতে 0-12 এর মোটামুটি বড় (380 এমবি, 39 কে এক্স 10 কে পিক্সেল) টিফটি প্রক্রিয়া করতে আমার বেশ কিছুক্ষণ সময় নিয়ে সমস্যা ছিল । উবুন্টু ১২.০৪৪৪ বিবিটিতে মাল্টিপ্রসেসিং ছাড়াই পুরো দিন (৮ ঘন্টা) সময় লেগেছে ১.৯৯ মিলিয়ন টাইলসকে ৩.৩ গিগাবাইটে প্রসেস করতে। @ স্টেফান তালপালারু যেমন উপরে উল্লেখ করেছেন, gdal2tiles সমান্তরালভাবে রান করা মূল বিষয় is আপনার আসলটির ব্যাকআপ তৈরি করুন gdal2tiles.py, তারপরে যে ডিরেক্টরিটি (আমার ছিল ) সেই ডিরেক্টরি থেকে প্যাচটি ইনস্টল করুন :gdal2tiles.py/usr/local/bin

$ sudo patch -p0 -i gdal2tiles_parallelize_base_and_overview_tiles.patch

এখন gdal2tilesআপনার মতো স্বাভাবিকভাবে চালান । আমার চারটি কোর (ইন্টেল কোর i7 3.4GHz) পেগড সহ আমি পারফরম্যান্সে অবিশ্বাস্য বৃদ্ধি পেয়েছি:

$ time gdal2tiles.py -p raster -z 0-12 -w none ds1105-2235df023_23_b.tif gdal-tiles12
Generating Base Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.
Generating Overview Tiles:
0...10...20...30...40...50...60...70...80...90...100 - done.

real    39m8.242s
user    104m6.808s
sys 9m16.036s

সুতরাং ~ থেকে 8 ঘন্টা 39 মিনিট । খেলা পরিবর্তনকারী.


5

Gdal2tiles.py এর সমান্তরাল সংস্করণ ব্যবহার করে দেখুন: http://trac.osgeo.org/gdal/ticket/4379


1
আপনার উইন্ডোজ সমান্তরাল সংস্করণ চালানোর কোন সাফল্য আছে? আমি উত্পন্ন টেম্প ফাইলগুলিতে ফাইল অ্যাক্সেস ত্রুটিগুলি পাই।
মিশালিস অভ্রাম

2

আপনি এফএমই উল্লেখ করেছেন এবং এফএমেপিডিয়ায় মানচিত্র টাইলস তৈরির জন্য কয়েকটি সংখ্যা রয়েছে

এটি একটি দীর্ঘ নিবন্ধ, তাই আমি প্রাসঙ্গিক অংশগুলি টেনে আনি:

Level             Tiles           Minutes (hours)
    8            24,500           18 (0.3)
   10           245,000          105 (1.75)
   11         1,000,000          384 (6.4)

এটি এফএমই সার্ভার সহ একটি বহু-মেশিন প্রক্রিয়া ব্যবহার করছে। আপনি ওয়েলজিও ব্লগে পল বিসেটের এই পোস্টটিও পরীক্ষা করে দেখতে পারেন: http://www.weogeo.com/blog/Scaling_FME_Engines_on_WeoGeo.html

ক্লাউডে কীভাবে এই জাতীয় ডেটা প্রক্রিয়াকরণ করা যায় তা দেখানোর একটি দুর্দান্ত সিনেমা রয়েছে - মূলত প্রসেসিং লোডটি ছড়িয়ে দিতে এবং এটি খুব দ্রুত সম্পন্ন করার জন্য অ্যামাজন ভার্চুয়াল মেশিনগুলির একটি গোছা ফায়ার করে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.