ওপেন ডেটা বিতরণের জন্য কোন ডেটা ফর্ম্যাটগুলি সেরা?

Question

ওপেন ডেটা বিতরণ বিবেচনা করার সময় বিভিন্ন ডেটা ফর্ম্যাটগুলির (পারফরম্যান্স, ফাইলের আকার, ইত্যাদি) কী কী হবে?

আমাদের সংস্থা ওপেন ডেটা হিসাবে ডেটা প্রকাশ করতে চায়। তবে কোন ডেটা ফর্ম্যাটগুলি ব্যবহার করতে হবে সে সম্পর্কে কোনও পরিষ্কার ধারণা নেই। অবশ্যই, ডেটা ফর্ম্যাটটি যত বেশি 'খোলা' হবে তত সহজেই এটি ব্যবহার করা সহজ।

নিম্নলিখিত ধরণের বিবেচনায় নেওয়ার সময় কোন ডেটা ফর্ম্যাটগুলি সর্বাধিক 'উন্মুক্ত' এবং তাই ওপেন ডেটা বিতরণের জন্য সর্বাধিক ব্যবহারযোগ্য ?:

• রাস্টার ডেটা (আমি ভাবছি: জিওটিআইএফএফ, এরদাস আইএমজির আইএমজি?)
• ভেক্টর ডেটা (আমি ভাবছি: জিএমএল, সিএসভি, ইএসআরআই শেফিল, ডিএক্সএফ?)
• সারণী ডেটা (আমি ভাবছি: সিএসভি?)
• 3D ডেটা (আমি ভাবছি: সিটিজিএমএল?)
• 3 ডি পয়েন্ট ক্যান / লিডার (আমি ভাবছি: এলএএস?)
• আমি কি এখানে কিছু ভুলে যাচ্ছি?

এছাড়াও, যদি ওপেন ডেটা ফর্ম্যাট সম্পর্কে ডকুমেন্টেশন থাকে তবে আমি ভাগ করতে চাইলে আমি খুব আগ্রহী।

Comments

ভেক্টরের জন্য, আপনি জিওজসন এবং কিমিটিও বিবেচনা করতে পারেন

— নিউহাউসার

আপনি কি এই লিঙ্কটি দেখতে পেয়েছেন? gis.stackexchange.com/questions/61744/…

আপনাকে ডেটা এক্সচেঞ্জ ফর্ম্যাট এবং ডেটা স্টোরেজ ফরম্যাটের মধ্যে পার্থক্য করতে হবে। উদাহরণস্বরূপ জিওজসন একটি দুর্দান্ত ডেটা এক্সচেঞ্জ ফর্ম্যাট, তবে ডেটা স্টোরেজ ফর্ম্যাট হিসাবে সফল হয়। আমি ধরে নিচ্ছি আপনি কেবল ডেটা বিতরণের জন্য ফর্ম্যাট (অর্থাত্ ডেটা এক্সচেঞ্জ) নিয়ে উদ্বিগ্ন। এটা কি ঠিক?

— দেবদত্ত টেংশে

@ দেবাদত্তা টেংশে: ভালো কথা! আপাতত, উদ্দেশ্যটি হ'ল সর্বাধিক সুবিধাজনক বিনিময় বিন্যাসে ডেটা বিতরণ করা।

— মার্ক ভার্সচুর

প্রতিক্রিয়ার জন্য ধন্যবাদ সবাই। এছাড়াও, বনাম ফাইলের আকার ব্যবহারের জন্য ফাইলের ধরণের কয়েকটি টিপস খুব সহায়ক হবে।

— মার্ক ভার্সচুর

Answer 1

ভিয়েনার উন্মুক্ত ডেটা উদ্যোগের শহরটি ( http://data.wien.gv.at ) জিওসারবার ডাব্লুএমএস এবং ডাব্লুএফএস পরিষেবাগুলির মাধ্যমে রাস্টার এবং ভেক্টর জিওডাটা অ্যাক্সেস সরবরাহ করতে জিওসারবার ব্যবহার করে । এর অনেক সুবিধা রয়েছে: ব্যবহারকারীরা অফলাইনে ব্যবহারের জন্য বিভিন্ন ফর্ম্যাটে ডেটা ডাউনলোড করতে পারেন (যেমন জিওজসন, কেএমএল বা জিপড শেফিলগুলি) অথবা অনলাইন মানচিত্র বা জিআইএস প্রকল্পগুলিতে এম্বেড করে পরিষেবাগুলি সরাসরি ব্যবহার করতে পারেন।

Comments

আমরা এখানে এটিই করি: map.gcc.tas.gov.au/data আপনি কোনও স্থান-টেবিলের জন্যও জিও সার্ভার ব্যবহার করতে পারবেন না এমন কোনও কারণ নেই।

— অ্যালেক্স লেথ

Answer 2

সারণী সিএসভির জন্য। এক্সেল সর্বোপরি অতিরিক্ত জটিল এবং সবচেয়ে খারাপভাবে অ্যাক্সেসযোগ্য। অ্যাক্সেস অ্যাক্সেসযোগ্য নয় এবং পিডিএফটি মুখে একটি থাপ্পর।

জিওপ্যাটিয়াল ব্যবহারের জন্য জিওজসন, এটি পাঠ্য এটি ভাল সমর্থন করে এবং কেবলমাত্র অন্যান্য টেকসই বিন্যাসে (শেফফাইল) প্রযুক্তিগত বিধিনিষেধ নেই। এছাড়াও যদি আপনার খুব ভাল কারণ না থাকে তবে তা ডাব্লুজিএস ৮৮ এ হওয়া উচিত, মনে রাখবেন যে বেশিরভাগ ব্যবহারকারী অন্য কোনও রাজ্যে থাকবেন এবং রাষ্ট্রীয় বিমান চান না।

Answer 3

অবিচ্ছিন্ন / অ্যারে ডেটা (অর্থাত্ রাস্টারগুলি) জন্য আমি নেটসিডিএফকে বেশ পছন্দ করি । নেট ডিসিডিএফ এর জন্য পেশাদাররা হলেন:

• নেট ডিসিএফ হ'ল স্ব-বিবরণীকরণ (যেমন, ফাইলের শিরোনামের মাধ্যমে ডেটা সংজ্ঞা পাওয়া যায়) সুতরাং আপনার গৌণ মেটাডেটা ফাইল সরবরাহ করার দরকার নেই
• নেট ডিসিএফ 4 এন-ডাইমেনশনাল ডেটা সঞ্চয় করার অনুমতি দেয় (ডিস্কে এইচডিএফ 5 ডেটা ফর্ম্যাট ব্যবহার করে এটি একটি বোনাস কারণ এটি আপনার ওএসের মতো বড় ফাইলগুলি পরিচালনা করতে পারে)। এটি যুক্তিসঙ্গত সংক্ষেপণ এবং ডেটাতে দ্রুত অ্যাক্সেস সহ আসে। নোট করুন যে নেটসিডিএফ 3 এন-ডাইমেনশনাল ডেটা সমর্থন করে না, এবং 32-বিট সিস্টেমে মোটামুটি 2 জিবি ফাইলের আকারের সীমা রয়েছে।
• নেট ডিসিএফএফ একটি ওপেন ফর্ম্যাট তাই সাধারণ পাঠাগারগুলির মাধ্যমে ডেটা অ্যাক্সেস করা সাধারণত সমস্যা হয় না। উদাহরণস্বরূপ, পাইথনে এটি স্কিপি থেকে ডেটা টুকরো টুকরো পড়ার পক্ষে যথেষ্ট সহজ:

from scipy.io import netcdf
f = netcdf.netcdf_file('source.nc')
print(nc.dimensions) #take a look at the dimensions of the data
print(nc.variables)  #A dictionary containing all the variables
nc.variables["some_data"].dimensions #The dimensions this variable is in, e.g. lat, lon
out_array = nc.variables["some_data"].data
f.close() #and we're done

নেটসিডিএফ 4-এর একমাত্র নেতিবাচক দিকটি হ'ল আর্কজিআইএস এবং কিউজিআইএসের মতো স্ট্যান্ডার্ড জিআইএস প্যাকেজগুলিতে অসাধারণ সমর্থন (যদিও আমি খুব সম্ভবত এটির সাথে সংশোধন করতে চাই!)।

অন্যান্য কিছু প্যাকেজ সম্পাদনা করুন যা নেটিসিডিএফ সমর্থন করে

নেটডিসিএফ সমর্থন করে এমন কিছু মানক প্রোগ্রামিং ল্যাঙ্গুয়েজ (যদিও ন্যায্য হলেও, এইচডিএফ পড়তে পারে এমন কিছু নেটডিসিডিএফ 4 পড়তে পারে):

• জাভা
• পার্ল
• সি ++

গণিত এবং পরিসংখ্যান ব্যবহারকারীদের জন্য আপনার কাছে:

• মতলব
• IDL
• আর

বিশেষত জিআইএসে:

• জিডিএল আপনার জন্য ডেটা রূপান্তর করবে
• অনুরূপভাবে FME
• আর্কজিআইএস নেটসিডিএফ সমর্থন করে (যদিও এটি আমার অভিজ্ঞতার সেরা স্তর নয়)
• একটা হল QGIS প্লাগইন উন্নয়নে

আপনি যদি দ্রুত একটি নেটসিডিএফ ফাইলটি দেখতে চান তবে আমি নাসা থেকে ক্রস প্ল্যাটফর্ম প্যানোপ্লাই ব্যবহার করব। এবং আপনি যদি আরও আগ্রহী হন তবে ইউসিএআর ইউনিডিটাতে সফ্টওয়্যারটির একটি তালিকা রয়েছে ।

Comments

নেটসিডিএফ একটি ভয়ঙ্কর পছন্দ এটি পাইথনের বাইরে সত্যই কোনও সমর্থন নেই। এটির পক্ষে ভাল সমর্থন থাকতে পারে তবে আক্ষরিক অর্থে প্রতিটি ভাষায় টিফস, পিএনজি এবং জেপিগের সমর্থন রয়েছে।

— ক্যালভিন

আমি দৃ strongly়ভাবে একমত না। নেটসিডিএফ সমর্থন করে এমন প্যাকেজগুলির একটি দ্রুত তালিকা দেখানোর জন্য আমি উপরে আমার প্রতিক্রিয়া সম্পাদনা করেছি। আমার অভিজ্ঞতায় এটি কোনও বহুমাত্রিক বৈজ্ঞানিক তথ্য (যেমন জ্যোতির্বিজ্ঞান এবং আবহাওয়া) এর পছন্দের একটি ফর্ম্যাট। পিএনজি এবং টিআইএফএফ রাস্টার ডেটা বিতরণের জন্য খারাপ নয়, এবং অবশ্যই ডেটা দেখা সহজ, তবে তারা বহুতল মাত্রার বৃহত পরিমাণে ভালভাবে স্কেল করে না। বৈজ্ঞানিক তথ্য বিতরণ করতে কখনই জেপিজি ব্যবহার করবেন না (যদিও আপনি কাউকে কোনও মানচিত্র প্রেরণ করছেন তবে এটি পুরোপুরি ভাল কাজ করে)।

— ওলামেনার্স 0

Answer 4

আমি বলব:

• ভেক্টর ডেটার জন্য শেফিলগুলি বা জিএমএল
• 3D মডেলগুলির জন্য .obj- ফাইলগুলি
• পয়েন্ট মেঘের জন্য .xyz (সাধারণ সিএসভি)
• সারণী তথ্য জন্য সিএসভি
• রাস্টার ডেটার জন্য জিওটিআইএফএফ

এই ফর্ম্যাটগুলি ওপেন সোর্স সফ্টওয়্যার দ্বারা সহজেই পঠনযোগ্য এবং নির্দিষ্ট অ্যাপ্লিকেশনের জন্য প্রয়োজনীয় অন্য কোনও ফর্ম্যাটে সহজেই রূপান্তরযোগ্য।

ডেটা উন্মুক্ত করার জন্য +1!

Comments

ভেক্টর ডেটার জন্য আপনি শেফিলগুলি এবং জিএমএলকে কেন প্রস্তাব দিয়েছেন তা জানতে আগ্রহী হব। উভয়ই ভয়ানক ফর্ম্যাট। জিএমএলের একমাত্র সঞ্চয়কারী অনুগ্রহটি এটি একটি ওজিসি ফর্ম্যাট।

— দেবদত্ত টেংশে

শেফিলগুলি অনেকগুলি অ্যাপ্লিকেশনে পাঠযোগ্য এবং সমস্যা ছাড়াই আলাদা কিছুতে রূপান্তরিত হতে পারে। তুমি কি পরামর্শ দাও?

— til_b

শেফফাইল এড়ানো তারা কাজ করে তবে তাদের গুরুতর প্রযুক্তিগত সীমাবদ্ধতা রয়েছে।

— নিকভস

সুতরাং আপনি কী পরামর্শ দিচ্ছেন যে শেফফিলগুলির প্রযুক্তিগত সীমাবদ্ধতা নেই?

— til_b

'খালি' হওয়ার দৃষ্টিকোণ থেকে @til_b জিওটিআইএফএফ একটি দুর্দান্ত ফর্ম্যাট। যাইহোক, স্টোরেজ (বা এটি একটি ডাউনলোড হিসাবে অফার) জন্য এটি ভয়ানক, কারণ ফাইলগুলি বিশাল আকার ধারণ করতে পারে। আপনি কি এমন একটি উন্মুক্ত রাস্টার ফর্ম্যাট সম্পর্কে জানেন যা লসলেস সংকোচনের প্রস্তাব দেয়?

— মার্ক ভার্সচুর

Answer 5

কার্যত এই একই প্রশ্নটি ওপেনডেটাতে এসেছিল SEএসই: জিওপ্যাসিয়াল ডেটা প্রকাশের জন্য সবচেয়ে দরকারী ফর্ম্যাটগুলি কোনটি?

সুতরাং, আশা করি আমি আমার নিজের উত্তর এখানে উদ্ধৃত করে কোনও নীতি লঙ্ঘন করছি না:

আমার অভিজ্ঞতা, বেশ কয়েকটি সরকারী ডেটাসেট থেকে মানচিত্র তৈরি:

পয়েন্ট ডেটার জন্য, সিএসভি হ'ল "ল্যাট" এবং "লোন" কলাম সহ সেরা। পাঠ্য সম্পাদক, স্প্রেডশিট ইত্যাদি সহ বিস্তৃত সরঞ্জামগুলিতে কাজ করা খুব সহজ two দুটি ডাউনসাইড রয়েছে:

1. জিডিএল এর জন্য একটি .vrtসহযোগী ফাইল দরকার ।
2. latএবং lonকলামগুলির নামকরণ পুরোপুরি মানসম্পন্ন নয়। অনেক সরঞ্জাম তারা যা গ্রহণ করে তাতে বেশ উদার।

লাইনের জন্য এবং বহুভুজের জন্য, ক্রমান্বয়ে পছন্দসই:

1. GeoJSON। আপনার সাথে কাজ করা সহজ এবং কোনও পাঠ্য সম্পাদক বা জিওজসন.ইও সহ সম্পাদনা করার ক্ষমতাটি সত্যিকারের বোনাস you আর একটি সুবিধা হ'ল নন-জিআইএস বিকাশকারীরা এটি উপলব্ধি করতে পারে। যখন আমি পয়েন্টের পরিবর্তে মাল্টিপয়েন্ট হিসাবে বলার জন্য ডেটা সরবরাহ করি কেবল তখনই আমি এই সমস্যার মধ্যে চলেছি।
2. Shapefile। খুব ব্যাপকভাবে সমর্থিত, তবে দুটি অসুবিধাগুলি রয়েছে। প্রথমত, এটি ফাইলগুলির সংগ্রহ, সুতরাং আপনাকে একটি .zip পেরিয়ে এটিকে বের করতে হবে। দ্বিতীয়ত, ক্ষেত্রের নামগুলি 10 টি অক্ষরের মধ্যে সীমাবদ্ধ। আপনার গড় নন-জিআইএস ব্যক্তির জন্য তারা সম্পাদনা করা শক্ত।
3. KML / KMZ। এগুলির মধ্যে প্রায়শই প্রচুর অপ্রাসঙ্গিক ক্রাফ্ট থাকে (স্টাইলিং, আইকন, ইত্যাদি) এবং বৈশিষ্ট্যগুলি মাঝে মাঝে মিনি এইচটিএমএল টেবিল হিসাবে এনকোড থাকে যাগুলির সাথে কাজ করা সত্যিই শক্ত। কমপক্ষে আপনি গুগল সরঞ্জামের সাহায্যে এগুলি সহজে সম্পাদনা করতে পারেন।

সত্য, যদিও, সেরা উত্তর সম্ভবত "তাদের সব"। প্রত্যেককে অনুগ্রহ করুন এবং সিএসভিতে ডেটা প্রকাশ করুন (যদি বিন্দু হয়), জিওজেএসন, শেপফিল এবং কেএমজেড জিপ করে।