আমি কীভাবে বড় ডেটা জিওপ্রসেসিং অনুকূল করতে নুমপি অ্যারে ব্যবহার করতে পারি?


16

আমি জিওপ্রসেসিং অনুকূলকরণের জন্য নম্পপি অ্যারেগুলি কীভাবে ব্যবহার করতে পারি তা শিখতে আগ্রহী। আমার বেশিরভাগ কাজের মধ্যে "বিগ ডেটা" জড়িত, যেখানে জিওপ্রসেসিং প্রায়শই কিছু নির্দিষ্ট কাজ সম্পাদনে কয়েক দিন সময় নেয়। বলা বাহুল্য, আমি এই রুটিনগুলিকে অনুকূল করতে আগ্রহী। আরকজিআইএস 10.1 এর বেশ কয়েকটি নম্পপি ফাংশন রয়েছে যা আরকিপির মাধ্যমে অ্যাক্সেস করা যায়, সহ:

  1. NumPyArrayToFeatureClass (arcpy.da)
  2. রাস্টারটোমপাইআরে (আরকিপি)
  3. টেবিলটোমপাইআরে (আরকিপি.ডি)

উদাহরণস্বরূপ, ধরা যাক যে আমি নুমপি অ্যারে ব্যবহার করে নিম্নলিখিত প্রক্রিয়াজাতকরণ নিবিড় কর্মপ্রবাহকে অনুকূল করতে চাই:

এখানে চিত্র বর্ণনা লিখুন

এখানে সাধারণ ধারণাটি হ'ল এখানে প্রচুর পরিমাণে ভেক্টর-ভিত্তিক পয়েন্ট রয়েছে যা ভেক্টর এবং রাস্টার-ভিত্তিক উভয় ক্রিয়াকলাপের মধ্য দিয়ে যায় বাইনারি পূর্ণসংখ্যার রাস্টার ডেটাসেটের ফলে।

এই ধরণের কাজের প্রবাহকে অনুকূল করতে আমি কীভাবে নুমপি অ্যারে যুক্ত করতে পারি?


2
এফওয়াইআই, এখানে একটি নম্পপিআরেআউটোরাস্টার ফাংশন এবং একটি ফিচারক্লাসটোনামপাইআরে ফাংশন রয়েছে।
blah238

2
ArcGIS সঙ্গে মাল্টিপ্রসেসিং ব্লগ পোস্টে কিছু ভাল তথ্য এখানে প্রযোজ্য হতে পারে না। আপনি অন্যান্য মাল্টিপ্রসেসিং প্রশ্নেও আগ্রহী হতে পারেন ।
blah238

3
আমার কাছে মনে হয় আর্কপাইতে নম্পি ব্যবহার করার কথা চিন্তা করার আগে আপনাকে প্রথমে বুঝতে হবে নুমপি অ্যারে পাইথন তালিকায় কী কী সুবিধা দেয়। আরম্পজিআইএসের চেয়ে নম্পির স্কোপ অনেক বেশি বিস্তৃত।
জিন

2
@ জেন, এই স্ট্যাক ওভারফ্লো উত্তরটি এটি বেশ ভাল যোগ করেছে।
blah238

3
একটি সরাইয়া হিসাবে, তাহলে আপনি Hadoop এর আগ্রহী খুব - সেখানে বড় (স্থানিক) ডেটা উন্নয়ন মূল্য এই চেক আউট হয় ভিডিও এবং Hadoop এর জন্য জিআইএস টুলস
PolyGeo

উত্তর:


3

আমি মনে করি যে এখানে প্রশ্নটির কর্কটটি আপনার কার্যপ্রবাহের কোন কাজগুলি আসলে আর্কজিআইএস নির্ভর নয়? স্পষ্টত প্রার্থীদের মধ্যে ট্যাবুলার এবং রাস্টার অপারেশন অন্তর্ভুক্ত রয়েছে। যদি কোনও জিডিবি বা অন্য কোনও ইএসআরআই ফর্ম্যাটের মধ্যে ডেটা শুরু এবং শেষ হওয়া আবশ্যক, তবে আপনাকে কীভাবে এই পুনর্নির্মাণের ব্যয়টি হ্রাস করতে হবে (অর্থাত্, বৃত্তাকার ভ্রমণের সংখ্যা হ্রাস করুন) বা এমনকি এটি ন্যায়সঙ্গত করা উচিত - কেবল খুব বেশি হতে পারে যুক্তিযুক্ত হিসাবে ব্যয়বহুল। আর একটি কৌশলটি হ'ল এর আগে অজগর-বান্ধব ডেটা মডেলগুলি ব্যবহার করার জন্য আপনার ওয়ার্কফ্লোটি সংশোধন করা (উদাহরণস্বরূপ, আপনি কীভাবে খুব শীঘ্রই ভেক্টর বহুভুজ খনন করতে পারেন?)।

@ ইজেন প্রতিধ্বনিত করার জন্য, যখন নপি / স্কিপি সত্যিই দুর্দান্ত, তবে এটি একমাত্র পন্থা উপলব্ধ বলে মনে করবেন না। আপনি বিকল্প কাঠামো হিসাবে তালিকাগুলি, সেটগুলি, অভিধানগুলিও ব্যবহার করতে পারেন (যদিও @ ব্লাহ 238 এর লিঙ্কটি দক্ষতার পার্থক্য সম্পর্কে খুব স্পষ্ট), পাইথনগুলিতে এই কাঠামোগত কাজ করার জন্য জেনারেটর, পুনরুক্তিকারী এবং সমস্ত ধরণের অন্যান্য দুর্দান্ত, দ্রুত, দক্ষ সরঞ্জাম রয়েছে। পাইথন বিকাশকারীদের একজন, রেমন্ড হেটেঞ্জার এর মধ্যে রয়েছে সমস্ত ধরণের সাধারণ সাধারণ পাইথন সামগ্রী। এই ভিডিওটি একটি দুর্দান্ত উদাহরণ

এছাড়াও, multiplexed প্রক্রিয়াকরণ উপর @ blah238 এর ধারণা সম্মুখের যোগ করতে তুমি লেখা / মধ্যে নির্বাহ যদি IPython (শুধুমাত্র "নিয়মিত" পাইথন পরিবেশ), আপনি একাধিক কোর শোষণ জন্য তাদের "সমান্তরাল" প্যাকেজ ব্যবহার করতে পারেন। আমি এই স্টাফটি নিয়ে কোনও হুইজ নই, তবে এটি মাল্টিপ্রসেসিং স্টাফের থেকে কিছুটা উচ্চ-স্তরের / নবাগত বান্ধব মনে করি। সম্ভবত সেখানে কেবলমাত্র ব্যক্তিগত ধর্মের একটি সমস্যা, তাই এটি লবণের এক দানা দিয়ে নিন। এই ভিডিওটিতে এটি 2: 00:00 এ শুরু হওয়া সম্পর্কে একটি ভাল ওভারভিউ রয়েছে । সম্পূর্ণ ভিডিও আইপিথনের জন্য সাধারণভাবে দুর্দান্ত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.