50 জিবি ডেম জন্য ক্লাস্টার প্রক্রিয়াকরণ সংস্থান প্রয়োজন?

Question

"ভাড়া নেওয়ার উদ্দেশ্যে", আমাকে আমার বিশ্ববিদ্যালয়ের কম্পিউটিং সেন্টার থেকে আমার প্রয়োজনীয় কম্পিউটিং সংস্থানগুলি নির্দিষ্ট করতে হবে। আমি কী চাইতে হবে সে সম্পর্কে আমার খুব কম ধারণা আছে।

নীচের তথ্য বিবেচনা করে আপনি কি কিছু প্রস্তাব দিতে পারেন?

এটি গণনামূলক ক্লাস্টার: "মোট 80 সিপিইউ এবং 160 গিগাবাইট মেমরির 16 গিগাবাইট মেমরি সহ 2 কোয়াড কোর ইন্টেল সিওন 2.33 গিগাহার্টজ সিপিইউ সহ প্রতিটি ব্লেডযুক্ত দশটি ফলক সার্ভার 2 টিবি ডিস্ক সিস্টেমে অ্যাকাউন্টগুলি চলছে ning -৪-বিট লিনাক্স "

ক্ষতবিহীন সংকোচনের সাথে, আসল ডেটা হ'ল একটি 50 জিবি টিফ ফাইল। কিছু সময় আমি বেশ কয়েকটি (দশ পর্যন্ত) ফাইল 50gb আকারের সাথে কাজ করব।

আমি জিডিএল, পাইথন স্ক্রিপ্টিং এবং সম্ভবত সি ++ স্ক্রিপ্টিং ব্যবহার করব। যদি অনুমতি দেওয়া হয় তবে আমি গ্রাস জিআইএস এবং সাগা জিআইএসের মতো সফ্টওয়্যার ব্যবহার করব। এছাড়াও, স্থানিক গ্রন্থাগারগুলির সাথে আর ভাষা। আমি সাধারণ ভূখণ্ডের প্যারামিটারগুলি অর্জন করব, নির্দিষ্ট বৈশিষ্ট্যগুলি (ল্যান্ডফর্মগুলি) নিষ্কাশনের জন্য অবজেক্ট-ওরিয়েন্টেড অ্যালগরিদমগুলি প্রয়োগ করার চেষ্টা করব এবং বর্ণনামূলক এবং মডেলিংয়ের উদ্দেশ্যে পরিসংখ্যান বিশ্লেষণ ব্যবহার করব।

Comments

আপনি কোন উত্তর থেকে ঠিক কী প্রত্যাশা করছেন - কোন পরিমাণ বা পরিমাণের জন্য অনুরোধ করা যায়? ব্লেড সংখ্যা, 1 ফলক উপর কোর সংখ্যা, ইত্যাদি? আপনার কি এমন কোনও ফর্ম পূরণ করতে হবে যা কোনও ক্লু দিতে পারে?

— blah238

হাই বেলা কোন ফর্ম নেই। আমার তত্ত্বাবধায়ক আমাকে আগে থেকেই এই প্রশ্নগুলি জিজ্ঞাসা করছেন (এমন কিছু মনে রেখে যা আমি অবগত নই)। তবে, পরে, প্ল্যাটফর্মটি অ্যাক্সেস করার সময়, প্রসেসরের সংখ্যা হুবহু নির্দিষ্ট করা উচিত, পাশাপাশি প্রত্যাশিত মেমরির প্রয়োজন এবং প্রক্রিয়াজাতকরণের সময়। সুতরাং, নং সম্পর্কে ধারণা থাকা ভাল হবে। প্রসেসরের পরিমাণ এবং মেমরির পরিমাণ যা সাধারণ ম্যাট্রিক্স বীজগণিত (A * 0.1 + B + C / 50) সম্পাদনের অনুমতি দেয়, প্রতিটি ম্যাট্রিক 50Gb আকারে, উদাহরণস্বরূপ, এক ঘণ্টারও কম নয় (সফ্টওয়্যারটি সমান্তরাল কম্পিউটিংয়ের অনুমতি দেয় তা বিবেচনা করে) )। ধন্যবাদ.

— মার্কো

আপনি যদি সমস্যাটিকে প্রথমে আক্রমণ করার জন্য আপনার কৌশলটি নির্ধারণ করেন তবে এটি সহায়তা করতে পারে। আপনার পাইথন স্ক্রিপ্টগুলি (জিডিএল বাইন্ডিং ব্যবহার করে) একাধিক প্রসেসরের সুবিধা নিতে সক্ষম হবে বলে আমি বিশ্বাস করি না। আপনি কীভাবে ডেটা ভাগ করার পরিকল্পনা করছেন এবং সমান্তরাল প্রক্রিয়াকরণের জন্য কাজ করবেন। এরপরে আপনি কয়েকটি পরীক্ষার চালিয়ে যেতে পারেন এবং আপনার ব্যবহারের পরিকল্পনা করা

— কোরগুলির

ধন্যবাদ ডেভিড আমি এই সম্পর্কে আরও পুঙ্খানুপুঙ্খভাবে চিন্তা করেছি। আমি মতলবকে নিয়ে কিছু পরীক্ষা করবো।

— মার্কো

Answer 1

সুতরাং, নং সম্পর্কে ধারণা থাকা ভাল হবে। প্রসেসরের পরিমাণ এবং মেমরির পরিমাণ যা সাধারণ ম্যাট্রিক্স বীজগণিত সম্পাদনের অনুমতি দেয় (A * 0.1 + B + C / 50)

ডেভিডএফ মন্তব্যগুলিতে যেমনটি আরও গুরুত্বপূর্ণ বলেছেন যে রাষ্ট্রীয় অবস্থা, কোনও বিষয় মনে করবেন না, আপনি চালাতে পারবেন না (বা এটি চালানো ভাল ধারণা নয়) একবারে পুরো ম্যাট্রিক্সের সাথে একটি 50 গিগাবাইট ম্যাট্রিক্স বীজগণিত ধারণা থেকেই এটি বোঝায় যে পুরো ম্যাট্রিক্স স্মৃতিতে লিখতে হবে।

একটি ভাল কৌশল, দ্রুত, খুব সহজ এবং দক্ষ হ'ল gdal_calc ব্যবহার করা, খণ্ডগুলিতে রাস্টারটি পড়ে এবং লেখায় তাই এটি খুব স্মৃতিশক্তি দক্ষ।

উদাহরণস্বরূপ: gdal_calc.py -A ইনপুট.টিফ-বি ইনপুট 2.টিফ - আউটফাইল = ফলাফল.টিফ --calc = "(এ + বি) / 2"

এটি ব্যবহার করে দেখুন, সম্ভবত আপনার ডেস্কটপে প্রসেসিং চালানো যেতে পারে এবং প্রক্রিয়াটি দ্রুততর করার জন্য আপনার আরও একটি ভাল মেশিনের প্রয়োজন হতে পারে।

ওবস: মাল্টিকোর প্রসেসরের সুবিধা নিতে আপনাকে একাধিক gdal_calc প্রক্রিয়া স্প্যাম করতে হবে।