কেন ছেদটি ইআরআরকে 999999 দেয়: ফাংশন কার্যকর করতে ত্রুটি অবৈধ টপোলজি [অনেকগুলি লিনেগের শেষ প্রান্তগুলি]?

Question

আমি 65,000 স্কয়ার কিলোমিটার এলাকা জুড়ে 1 মি ডিএম পর্যন্ত 2 ফাইল সেট (দিক এবং opeাল) দিয়ে অর্কিগিস 10 এসপি 3 তে একটি ইন্টারসেক্ট প্রক্রিয়া চালানোর চেষ্টা করছি। দিকটির 9,930,384 রেকর্ড রয়েছে এবং opeালটিতে 31,435,462 টি রেকর্ড রয়েছে (2 জিও-ডাটাবেজে প্রায় 12 জিবি মোট)।

আমি প্রায় 3 বার মেরামত জ্যামিতি চালিয়েছি এবং এখন ডেটাসেটগুলি কোনও ত্রুটি প্রতিবেদন করে না (প্রতিটি সময় 30 ঘন্টা গ্রহণ করেছে)।

এখন আমি পেয়েছি

এক্সিকিউটিং (ইন্টারসেকট): ইন্টারসেক্ট "ডি: \ এসসিআরএটিসিএইচ \ প্রকল্পসমূহ \ 106 \ ডেটা \ 7_asp_Merge.gdb \ _H @HghstRez_M_rep #" ডি: \ এসসিআরএটিসিএচ CH প্রকল্পসমূহ \ 106 \ ডেটা \ কার্যকরী d ওয়ার্কিং.gdb \ AsSl_Int ALT সময় অক্টোবর 23 02:19:10 2011 পড়ার বৈশিষ্ট্য ...

প্রক্রিয়া টাইলস ...

ত্রুটি 999999: ফাংশন কার্যকর করতে ত্রুটি।

অবৈধ টপোলজি [অনেকগুলি লিনিজ শেষ পয়েন্ট।]

(ইন্টারসেক্ট) কার্যকর করতে ব্যর্থ

23 ই অক্টোবর 04:09:12 2011 এ ব্যর্থ হয়েছে (অতিবাহিত সময়: 1 ঘন্টা 50 মিনিট 2 সেকেন্ড)

এটি কি আসলে টোপোলজির সমস্যা বা কোনও ফাইল আকারের সমস্যা?

আমি আরকিআইএনএফও স্প্লিট সরঞ্জামটি ব্যবহার করার চেষ্টা করেছি তবে এটি ড্রাইভে এবং ছোট ফাইল সেটটিতে দাগযুক্ত প্রান্তগুলির জন্য 1TB এরও বেশি ফাঁকা জায়গা থাকাতেও ব্যর্থ হয়। এসিপি এবং opeালের মধ্যবর্তী ক্ষেত্রগুলি ছেদ করার জন্য আমি ডাইসটি ব্যবহার করতে পারি না। আমি বুঝতে পেরেছি যে বড় ডেটাসেটগুলিতে ইএসআরআই ফাটল ধরেছে (স্বয়ংক্রিয়ভাবে টাইলস) ডেটাসেটগুলি - এটি প্রবর্তনযোগ্য সমস্যা হতে পারে? সমস্যা সমাধানের জন্য আমি সরবরাহ করতে পারি এমন আরও কোনও তথ্য আছে?

মেশিনগুলির অনুপাতটি ইএসআরআই ন্যূনতমের চেয়েও বেশি –আমাদের মধ্যে ১GB জিবি র‌্যাম, ইন্টেল জিওন, উইন্ডোজ,, -৪ বিট, ২ এক্স ওয়ান টিবি ডিস্ক এবং ড্রাইভগুলিতে ১২.২ টিবি এরও বেশি ফ্রি রয়েছে। প্রক্রিয়াতে ব্যবহৃত সমস্ত ফাইল স্থানীয় ড্রাইভে রয়েছে।

---

সবেমাত্র এই ব্যাখ্যাটি পাওয়া গেছে (২ রা জুলাই, ২০১২) যা সমস্যাগুলি সমাধানে প্রচুর সহায়ক ইঙ্গিত দেয়।

http://blogs.esri.com/esri/arcgis/2010/07/23/dicing-godzillas-features-with-too-many-vertices/

Comments

উইন্ডোজ অপারেটিং সিস্টেমের জন্য ফাইল আকারের সীমা 2 জিবি। (এক্সপিতে / 3 জিবি সহ 3 জিবি)। বড় ডেটাসেটস 'টাইলিং' রিসোর্সগুলি

— help

ম্যাপারজ লিঙ্কটি থেকে একটি গুরুত্বপূর্ণ অংশের তথ্য পাঠানো হয়েছে: "এন্টারপ্রাইজ এবং ফাইল জিওডাটাবেসগুলির এই সীমাবদ্ধতা নেই তাই খুব বড় ডেটাসেট ব্যবহার

— রায়ানকেডাল্টন

আপনার কি opeাল এবং দিকের রাস্টার রয়েছে? যদি তা হয় তবে আপনার কি স্থানিক বিশ্লেষক রয়েছে?

— কर्क কুইকেনডাল

@ ম্যাপের্জ, এটি ফাইল সিস্টেমের উপর নির্ভর করে। FAT 2 জিবিতে সীমাবদ্ধ, FAT32 4 জিবি এবং এনটিএফএস সীমাহীন অনুসারে: মাইক্রোসফ্ট

— রিসোর্স

রাস্টার গণনার জন্য জর্জ, আপনি হয় সাধারণ সেলসাইজের (যেমন 1 মিটার) পুনরায় নমুনা করতে পারেন বা পৃথকভাবে পৃথক পৃথক প্যাচগুলি প্রক্রিয়া করতে পারেন। এটি কিছুটা চিন্তার দাবিদার, কারণ 30 মিটার রেজোলিউশনে গণনা করা একটি opeালু বা দিকটি 1 মিটার রেজোলিউশনে গণিতের সাথে একেবারে তুলনীয় নয়। এই গণনার উদ্দেশ্য সম্পর্কে তথ্যের অভাবে সাধারণ পরামর্শ দেওয়া শক্ত।

— whuber

Answer 1

একটি বিস্তারিত ডিএম-তে খুব কম সংলগ্ন কোষের slাল এবং দিক উভয়েরই অভিন্ন মান থাকবে। সুতরাং, যদি ইনপুট বৈশিষ্ট্যগুলি সাধারণ opeাল এবং সাধারণ দিকের সংলগ্ন ক্ষেত্রগুলিকে প্রতিনিধিত্ব করে, তবে আমাদের প্রতি ছেদকেন্দ্রটিতে প্রায় একটি বৈশিষ্ট্য এই ছেদ প্রক্রিয়াটির ফলস্বরূপ আশা করা উচিত।

ডেমটিতে মূলত 65,000 * 1000 ^ 2 = 6.5 E10 সেল ছিল। এর প্রত্যেকটির প্রতিনিধিত্ব করতে কমপক্ষে 4-বাইট পূর্ণসংখ্যা বা 8-বাইট ভাসমান স্থানাঙ্ক, বা 32-64 বাইটের অর্ডারযুক্ত জোড়া লাগবে। এটি একটি 1.3 E12 - 2.6 E12 বাইট (1.3 - 2.5 টিবি) প্রয়োজন। এমনকি আমরা ফাইল ওভারহেড (কোনও বৈশিষ্ট্যটি কেবল তার স্থানাঙ্কের চেয়ে বেশি হিসাবে সংরক্ষণ করা হয়), সূচীকরণ বা বৈশিষ্ট্য মানগুলির জন্য অ্যাকাউন্ট করতে শুরু করি নি, যার জন্য তাদের নিজেদের 0.6 টিবি (ডাবল স্পেসিয়েন্সে সঞ্চিত থাকলে) বা আরও বেশি (যদি সংরক্ষণ করা থাকে তবে) পাঠ্য), সনাক্তকারীদের জন্য অতিরিক্ত সঞ্চয়স্থান storage ওহ, হ্যাঁ - আর্কজিআইএস প্রতিটি চৌরাস্তার দুটি কপি চারপাশে রাখতে পছন্দ করে, যার ফলে সবকিছু দ্বিগুণ হয়। কেবলমাত্র আউটপুট সংরক্ষণ করার জন্য আপনার 7-8 টিবি দরকার হতে পারে।

আপনার যদি স্টোরেজটির দরকার পড়েও, (ক) আপনি যদি এইচআরসিআইএস মধ্যবর্তী ফাইলগুলি ক্যাচ করছেন এবং আপনি (খ) এটি দ্বিগুণ ব্যবহার করতে পারেন তবে এটি সন্দেহজনক যে কোনওভাবেই কার্যকরভাবে অপারেশনটি সম্পূর্ণ হবে।

সমাধানটি গ্রিড ডেটা স্ট্রাকচার ব্যবহার করে গ্রিড অপারেশন সম্পাদন করা হয়, ভেক্টর ডেটা স্ট্রাকচার নয়। যদি ভেক্টর আউটপুট একেবারে প্রয়োজন হয়, সমস্ত গ্রিড কার্যক্রম শেষ হওয়ার পরে ভেক্টরাইজেশন করুন ।

Comments

অনেক দুঃখের সাথে গ্রহণ করা হয়েছে। 30 মিটার, 10 মিটার এবং 1 মিটার ডেটাসেটগুলির সংমিশ্রণের পরিবর্তে আমি এসপি + এসএলপি + ভেজকে ছেদ করে / প্রতিটি ডেটাসেটে আলাদাভাবে স্কোরিং করে তারপরে মার্জ করছি।

— জর্জিসি

স্থানিক বিভাজন কৌশল ব্যবহার করে আমাদের প্রকল্পটি সম্পূর্ণ করতে দেয়। একটি ডেটাসেট যা প্রক্রিয়া করতে 7 ঘন্টা সময় নেয় (এবং কখনও কখনও ক্র্যাশ হয়ে যায়), প্রায় 100 মিনিটে প্রক্রিয়াজাত করা হয় যখন 6 অংশে বিভক্ত হয়ে যায় এবং তারপরে মার্জ করতে 10 মিনিট সময় নেয়। এর জন্য ন্যূনতম ইনপুটগুলি (প্রতিটি পুনরাবৃত্তির জন্য) একাধিক অংশকে দক্ষতার সাথে প্রক্রিয়া করতে মডেলগুলিকে সংশোধন করতে প্রায় 40 মিনিট যুক্ত করুন এবং মূলত এটি অর্ধেক প্রসেসিং সময় (কমপক্ষে) সাশ্রয় করে। সুতরাং এমন একটি প্রক্রিয়া যা অন্যথায় 200h এর কাছাকাছি গিয়েছিল 50h এরও কম সময় নিয়েছিল এবং প্রায় 15 ঘন্টা "বাস্তব" কাজের সাথে (কীভাবে ডেটা বিভক্ত করবেন তা সিদ্ধান্ত নেওয়ার ক্ষেত্রে, মডেলগুলিতে ভেরিয়েবলগুলি প্রবেশ করানো ইত্যাদি ইত্যাদি)

— জর্জসি

Answer 2

বিভক্ত সরঞ্জাম ব্যবহার এবং ভূতত্ত্ব মেরামতের জন্য আমার পরীক্ষকগণ। এটি আমার পক্ষে কাজ করে কারণ আমি যার উপর কাজ করেছি সে ভেক্টর স্তর ব্যবহার করছিল যা আমি রাস্টার থেকে ভেক্টরে রূপান্তর করেছি। আমি প্রথমে সরঞ্জামটি বিভক্ত করার চেষ্টা করেছিলাম এবং ত্রুটিটি দিয়েছিলাম। সুতরাং, আমাকে মেরামতের ভূতাত্ত্বিক ব্যবহার করতে হয়েছিল এবং এটি কতক্ষণ চলবে তা নির্ভর করে। আমি এটি দু'বার করেছিলাম কারণ যখনই আপনি কোনও পরিবর্তন বা সম্পাদনা করেছেন, তবুও আপনাকে বিভক্ত করার আগে পুনরায় চালিত জিওম্রিটি চালাতে হবে। এটা আমার জন্য কাজ করে।

যাইহোক, আমি উভয় স্তরগুলিতে মেরামত জিওমেট্রি চালিয়েছি: শেপফিল এবং ফাইল জিওডাটাবেস। আমি আপনাকে সারারাত মেরামত ভূতত্ত্ব চালানোর পরামর্শ দিই।

Comments

আমি আর একটি জিনিস ভুলে গিয়েছিলাম। আমি যখনই পরামর্শ দিতে পারি আপনি যখনই এরকম কিছু করেন, তখন আমি একটি নতুন আর্কম্যাপ খোলার চেষ্টা করব এবং এই সরঞ্জামগুলি চালানোর পরামর্শ দেব? আপনি ইতিমধ্যে খোলা টেম্প ফাইলগুলি সাফ করার জন্য, এবং এটি বন্ধ করে এবং আরক্যাম্যাপ খুলুন। এটি অস্থিরতা পরিষ্কার করে। এটা আমার এক শতাংশ পরামর্শ।

— প্রবক্ত

ধন্যবাদ। আমি মেরামত জিওমটি 3-4 বার চালিয়েছি এবং এখন ডেটাসেটগুলি কোনও ত্রুটির খবর দেয় না। এটি সাধারণত কাজ করে তবে আমি মনে করি যে whuser এর ব্যাখ্যা অনুযায়ী ডেটাসেটগুলি কেবলমাত্র বৃহত্তর ...

— জর্জসি

জর্জ, আমি আনন্দিত এটি আপনার জন্য কাজ করে। হ্যাঁ আমি কী তদন্তের ব্যাখ্যাটি পড়েছি তবে আমার কাছে প্রশ্ন আপনি youাল এবং দিকটি একীভূত করেছিলেন? যদি তাই হয়, তবে আপনি যখন বিভাজন সরঞ্জামটি ব্যবহার করবেন, আপনি এই স্তরটি বিভক্ত করতে কোন বৈশিষ্ট্য স্তরটি ব্যবহার করেছিলেন? উদাহরণস্বরূপ, আমার opeাল আনি উচ্চতা একীভূত স্তরটির সাথে বিভক্ত হওয়ার জন্য আমাকে 24 কোয়াড (তাদের মধ্যে প্রায় 24 টি যা বড় নয়) ব্যবহার করতে হয়েছিল। হতে পারে আপনি চেষ্টা করতে এবং আরও সংক্ষিপ্ত করতে পারেন এমন ছোট স্তর যা আপনার মার্জড স্তরের সাথে বিভক্ত হতে পারে?

— প্রোবর্ট

আমি opeাল এবং দিকটি মার্জ করেছিলাম এবং এটি কাজ করে তবে এটি সঠিক প্রক্রিয়া ছিল না ... আমাদের ছেদ করা দরকার এবং এটি কাজ করে না। বিভক্ত করতে আমি জাতীয় 100k টোপো মানচিত্রের গ্রিডের একটি অনুলিপি পেয়েছি এবং তা এসপি এবং opeালের উপরে আলাদাভাবে ব্যবহার করেছি। অঞ্চলটি 30 টি মানচিত্রের শীট দ্বারা আচ্ছাদিত।

— জর্জিসি

আপনি কি ভূতত্ত্ব পরিষ্কার করতে 100 কে টপো মানচিত্রের গ্রিডটি চালিয়েছেন? যেহেতু আমি জিজ্ঞাসা করেছি, আমার কিছু ত্রুটি সনাক্ত হয়েছে এবং পরিষ্কার মেরামত করতে হয়েছিল। সুতরাং এটি আমার উপর কাজ। যদি আপনি এখনও আরও সমস্যার মুখোমুখি হন তবে আপনি কি চেষ্টা করে এটিকে জাতীয় 100 কে আরও ছোট করে ভাগ করতে পারেন? তিনে ভাগ করে দেই?

— প্রবক্ত