এমডি সিমুলেশনগুলির জন্য আমার ল্যাবটিতে একটি তৈরি করার চেয়ে ক্লাউডে কখন একটি ক্লাস্টার তৈরি করা যায়?

23

একটি অ্যামাজন ইসি 2 গণনা ক্লাস্টারের 3 বছর ধরে শারীরিক সিপিইউ কোর প্রতি প্রায় 800 ডলার duty 1000 (ডিউটি চক্রের উপর নির্ভরশীল) খরচ হয় । আমাদের হার্ডওয়্যার অধিগ্রহণের শেষ রাউন্ডে, আমার ল্যাবটি প্রায় ~ 300 ডলার মূল্যের জন্য অ্যামাজনের ক্লাস্টারের মতো 48 টি মূল্যের হার্ডওয়্যার তুলেছিল।

আমি কি এখানে কিছু মিস করছি? এমন কোনও পরিস্থিতি রয়েছে যেখানে আণবিক গতিশীলতা সিমুলেশনের মতো উচ্চ সিপিইউ কাজের জন্য মেঘের মধ্যে একটি ক্লাস্টার তৈরি করা অর্থনৈতিক বোধ তৈরি করে? নাকি আমি নিজেই ডাং মেশিনটি তৈরি করা এবং বেবি-বসিটিংয়ের চেয়ে সবসময় ভাল?

(আমার উল্লেখ করা উচিত যে আমার ল্যাবটি আমাদের সার্ভার রুমে বিদ্যুতের জন্য অর্থ প্রদান করে না (কমপক্ষে সরাসরি নয়), তবে এই সুবিধা দিয়ে আমাজন এখনও অত্যন্ত ব্যয়বহুল বলে মনে হচ্ছে)।

cloud-computing hpc

— টেল
সূত্র

2

একটি জিনিস আমি আপনাকে বলতে পারি যে আপনি ক্লাস্টার প্রশাসন এবং রক্ষণাবেক্ষণের জন্য কিছু শ্রমের ব্যয় মিস করছেন। একাডেমিক সেটিংয়ে, কাউকে ক্লাস্টার অ্যাডমিন হতে হবে এবং ওএস সিস্টেম আপডেট এবং আপগ্রেড, নতুন সফ্টওয়্যার ইনস্টলেশন, ক্লাস্টারটি নীচে নেমে গেলে প্রযুক্তি সমর্থন, এবং এর মতো সমস্ত গুরুতর কাজ করতে হবে। এই কাজগুলি কৃতজ্ঞ, এবং প্রশাসক দক্ষতার উপর নির্ভর করে অনেক সময় প্রয়োজন হতে পারে। একটি ইসি 2 ক্লাস্টার ক্লাস্টার রক্ষণাবেক্ষণের জন্য প্রয়োজনীয় ম্যান-আওয়ারগুলিতে কাটবে।

— জেফ অক্সবেরি

1

ভাল, আপনি স্পষ্টতই হার্ডওয়ারটি পেয়েছেন। আমি আমার পূর্ববর্তী কর্মক্ষেত্রে 192-কোর ক্লাস্টারের জন্য 3 বছরেরও বেশি সময় গণনা করেছি এবং এটি প্রতি বছর কোর প্রতি 850 ডলারের বেশি হয়ে গেছে। বিদ্যুৎ সিস্টেম এবং কুলিংয়ের সাথে আমাদের যে সমস্ত সমস্যার

— হিস্টো ইলিভ

@ জিফঅক্সবেরি আপনি শ্রমের ব্যয় সম্পর্কে একটি ভাল বক্তব্য রেখেছেন। আমার ল্যাবে আমি প্রশাসক, তাই আমি এই জাতীয় জিনিসগুলি নিয়ে ভাবি না। হতাশার মতো এটি কখনও কখনও হতে পারে, এটি একটি ভালবাসার শ্রম। আমার যদি নগদ এবং এটি রাখার জন্য অন্য কোথাও থাকত তবে আমি এই ব্লগে (স্পার্স) নির্দেশাবলী অনুসরণ করে নিজের ওয়াটসন তৈরির চেষ্টা করব।

— টেল

@ হিস্টো এলিভ আমি এমনকি এটি এতটা সস্তা বলে মনে করি না। আপনি যদি ডেল থেকে "হালকাভাবে ব্যবহৃত" ক্লাস্টার নিতে ইচ্ছুক হন তবে আপনি ব্যয়টি একটি মূল প্রতি 200 ডলারে নামিয়ে আনতে পারেন। আপনি কি আপনার পূর্ববর্তী কর্মস্থলের হার্ডওয়্যার সম্পর্কে আরও বলতে পারেন?

— টেল

1

এটি একটি কাস্টম বিল্ট সিস্টেম যার সাথে 12 টি যোজন সুপারমিকো ডুয়াল-সকেট জিওন চ্যাসিস (24 নোডস, 48 ই5420 এস) প্রতিটি নোডে 16 জিআইবি ইসিসি র‌্যাম, 2 টেসলা এম 2090s সহ একটি একক সকেট নেহালেম মেশিন, 24-পোর্ট ইনফিনিব্যান্ড সুইচ, একটি 4 ডিস্ক, দুটি 10 কেভিএ ইউপিএস, দুটি এয়ার কন্ডিশনার সহ ফাইল সার্ভার। আমরা এটি তিন বছরের প্রকল্পের সময়কালে বিভিন্ন পর্যায়ে পেয়েছি। সর্বশ্রেষ্ঠ নয় তবে এখনও মোট total 100k EUR (বুলগেরিয়ায় সেরা একাডেমিক মূল্য)।

— হিস্টো ইলিভ

15

আমার মতে, ক্লাউড-ভিত্তিক সংস্থানগুলি ব্যবহার করার মূল সুবিধাটি হ'ল নমনীয়তা, অর্থাত্ যদি আপনার যদি কোনও ওঠানামা করার ভার চাপ থাকে তবে কেবল আপনার যা প্রয়োজন তা প্রদান করুন pay

যদি আপনার অ্যাপ্লিকেশনটিতে এটি না হয়, যেমন আপনি জানেন যে আপনার একটি পরিমানযোগ্য এবং ধ্রুবক কাজের চাপ থাকবে, তবে আপনি সম্ভবত নিজের ক্লাস্টার তৈরির চেয়ে ভাল। ক্লাউডে, আপনি নমনীয়তার জন্য অর্থ প্রদান করেন এবং যদি আপনার নমনীয়তার প্রয়োজন না হয় তবে আপনার কোনও প্রয়োজন নেই এমনটির জন্য আপনাকে অর্থ প্রদান করা হবে।

যদি আপনার কাজের চাপ নমনীয় তবে কিছুটা তীব্র হয় এবং নির্দিষ্ট হার্ডওয়্যার বৈশিষ্ট্যগুলির উপর নির্ভর করে (আইসমেইলের উত্তর দেখুন), আপনি নিষ্ক্রিয় চক্রকে আরও সাধারণ করতে আপনার বিশ্ববিদ্যালয়ের অন্যান্য লোকদের সাথে একটি ক্লাস্টার ভাগ করে নেওয়ার চেষ্টা করতে পারেন। আমার পুরানো বিশ্ববিদ্যালয়টি "শেয়ারহোল্ডার মডেল" এর সাথে এমন একটি ভাগ করা ক্লাস্টার চালায় যেখানে প্রতিটি গ্রুপ হার্ডওয়্যার এবং নিষ্ক্রিয় চক্রগুলিতে তাদের বিনিয়োগের সমানুপাতিক কম্পিউটিং পাওয়ারের একটি অংশের গ্যারান্টিযুক্ত। একমাত্র অসুবিধা হ'ল গুচ্ছ প্রশাসনকে কেন্দ্রিয়করণ করা।

— পেড্রো
সূত্র

3

স্পট চালু, মূলটি হচ্ছে 'পরিমানযোগ্য এবং ধ্রুবক'। সাধারণত কাজের চাপের পরিমাণ উল্লেখযোগ্যভাবে পরিবর্তিত হয়, এবং এই ব্যয়টি cost 300 / কোরের চেয়ে অনেক বেশি করে আনাগোনার পক্ষে যথেষ্ট সম্ভব। এছাড়াও, ক্লাউড কম্পিউট সেটআপ করার ক্ষেত্রে অস্থায়ীভাবে প্রয়োজন হলে (একটি সম্মেলনের আগের সপ্তাহ?) আরও বেশি দৃষ্টান্ত পর্যন্ত স্কেল করা সহজ।

— ফিল এইচ

1

এই জন্য +1। আমার ক্লাস্টারগুলির ব্যবহার 0 থেকে পিরিয়ড কেসে "আপনি কী করলেন !?" এর ক্ষেত্রে চলে। আমার যখনই প্রয়োজন হবে তখন দ্বিতীয়টির কাছাকাছি আসার জন্য আমি বহন করতে পারি না।

— ফোমেট

7

এমডি সিমুলেশনগুলির সাথে ক্লাউড কম্পিউটিং করার সময় কিছু বিষয় চিন্তা করতে হবে। উদাহরণস্বরূপ, সার্ভার ফার্মে প্রসেসরের শারীরিক বিন্যাস সম্পর্কে আপনাকে চিন্তা করতে হবে যেখানে এই কাজগুলি চলছে। কারণটি হ'ল আপনার সিমুলেশনের আকার এবং আপনি যে ধরণের গণনা চালাচ্ছেন তার উপর নির্ভর করে (উদাহরণস্বরূপ, ইলেক্ট্রোস্ট্যাটিক্স সহ সিস্টেমগুলি), আপনি এফএফটি-র উপর নির্ভরশীল হতে পারেন এবং একটি বিশাল ক্লাস্টারে বিভিন্ন প্রসেসরের কাছাকাছি বৈদ্যুতিনগুলিকে ঠেলে দিতে পারেন মোট গণনা সময়ের একটি খুব সময়সাপেক্ষ অংশ হয়ে উঠতে পারে।

এছাড়াও, এমডি হিসাবে ডেটা-ইনটেনসিভ কিছু হিসাবে, আপনি এটি নিশ্চিত করতে চাইবেন যে আপনার কাছে সার্ভারগুলিতে দ্রুত আপলোড এবং ডাউনলোড সংযোগ রয়েছে, পাশাপাশি ডেটা স্টোরেজটিতে বুদ্ধিমান সীমা রয়েছে। অন্যথায়, ব্যয় সাশ্রয়ের অনেকটা হারিয়ে যাওয়া উত্পাদনশীলতা এবং স্টোরেজ ফিতে চুষতে পারে।

এটির মূল্যের জন্য, আমাদের ইনস্টিটিউটটি প্রতি স্থানীয় প্রতি 500 ডলারের নিচে ব্যয় করে আমাদের স্থানীয় ক্লাস্টারের জন্য প্রায় 240 ডলার কোর কিনেছিল। এই ব্যয়ের মধ্যে চার বছর ধরে আমাদের ক্যাম্পাসে হোস্টিং এবং প্রশাসন, প্লাস পরিষেবা অন্তর্ভুক্ত রয়েছে। বার্ষিক ভিত্তিতে যা হাস্যকর হিসাবে সস্তা বলে মনে হচ্ছে। আমি মনে করি এটি সম্ভবত উভয় বিশ্বের সেরা — স্থানীয় অ্যাক্সেস, তবে আমাদের নিজস্ব আইটি টিমের প্রয়োজন ছাড়াই পেশাদারভাবে বজায় রাখা হয়েছে।

— aeismail
সূত্র

5

অ্যামাজনের ইসি 2 এর মতো ক্লাউড পরিষেবাদির সাথে আমার প্রথম অভিজ্ঞতা নেই, তবে কোর প্রতি প্রকৃত ব্যয় সম্ভবত আপনি উদ্ধৃত করার চেয়ে অনেক বেশি: এটি প্রাথমিক ক্রয়, বিদ্যুত, কুলিং, কোনও বিল্ডিংয়ের স্থান, প্রতিস্থাপন হার্ডওয়্যারের ব্যয়। প্রশাসনের ব্যয়ভার ব্যয়: ওএস ও ক্লাস্টার পরিষেবা স্থাপন, ওএসকে আপ টু ডেট রাখা, সারিবদ্ধকরণের সমস্যা সমাধান ইত্যাদি initial এ সবের যোগফল প্রাথমিক ক্রয়ের চেয়ে দ্বিগুণ হলে আমি অবাক হব না। অবশ্যই আপনি নমনীয়তা অর্জন।

আমার কাছে, মডেলটি স্কেল অবধি নেমে এসেছে: আপনার যদি সত্যিকারের বৃহত ক্লাস্টার (1000 কোরের বা তার বেশি) থাকে তবে আপনি কাজের সময়, মেরামত, সিস্টেম প্রশাসনের সূচনা করতে পারবেন কারণ কোনও পেশাদারকে ব্যস্ত রাখার জন্য পর্যাপ্ত পরিমাণ রয়েছে। আপনার যদি একটি ছোট ক্লাস্টার থাকে যেখানে কোনও উত্সর্গীকৃত ব্যক্তি এটি করার পক্ষে উপযুক্ত নয়, তবে সম্ভবত আপনি এমন কাউকে করছেন যার প্রথম কাজটি বিজ্ঞান করা উচিত এবং সেক্ষেত্রে এই ব্যক্তির সময় এই ধরনের প্রশাসনিক কাজের জন্য খুব কমই ব্যয় করা উচিত। এটি যেখানে পরিষেবাগুলি অন-চাহিদা যেমন ক্লাউড সার্ভারগুলি চকমক করে।

— ওল্ফগ্যাং ব্যাঙ্গারথ
সূত্র

আমার ল্যাবটিতে আমাদের ক্লাস্টারের জন্য বিদ্যুৎ, শীতলকরণ এবং স্থানের জন্য সমস্ত মূল্য প্রদান করা হয় আমাদের বিশ্ববিদ্যালয় আমাদের সুবিধাগুলির ফি বাবদ অনুদানের বাইরে নেয়। আমরা একটি ক্লাস্টার চালাচ্ছি বা না করছি এই কাটটি একই। আপনি কি জানেন যে বেশিরভাগ বিশ্ববিদ্যালয়ে একই রকম পরিস্থিতি রয়েছে, বা বেশিরভাগ ল্যাবগুলি সরাসরি পকেটের বাইরে শীতলকরণের জন্য অর্থ প্রদানের কাজ আটকে আছে?

— টেল

1

আমি বিশ্বাস করি বেশিরভাগ ল্যাবগুলিতে আপনার মতো একই ব্যবস্থা রয়েছে তবে যাইহোক এই ব্যয়গুলি উপেক্ষা করা ভুল হবে। কাউকে তাদের কাঁধে কাঁধ দিতে হবে, এমনকি এটি ব্যক্তিগতভাবে আপনি না হলেও। আপনি যদি ক্যাম্পাসে শারীরিকভাবে না গিয়ে মেঘে কার্যত নিজের ক্লাস্টারটি তৈরি করতে সম্মত হন তবে আপনাকে পরোক্ষ খরচের একটি বড় অংশ ফেরত দেওয়ার জন্য বিভাগ / বিশ্ববিদ্যালয়কে জিজ্ঞাসা করা উচিত।

— ওল্ফগ্যাং ব্যাঙ্গারথ

4

ইতিমধ্যে দুর্দান্ত উত্তরের কয়েকটি পরিপূরক হিসাবে বিবেচনা করার জন্য আরও একটি বিষয় রয়েছে:

ব্যয় নির্বিশেষে, আপনি কীভাবে এটির জন্য অর্থ প্রদান করতে যাচ্ছেন?

আমি একটি তুচ্ছ সংখ্যক অনুদানের মুখোমুখি হয়েছি যা কোনও পরিস্থিতিতে হার্ডওয়্যার ব্যয়ের জন্য অর্থ প্রদান করবে না , তবে ইসি 2 এর মতো কিছুতে কম্পিউটারের সময় দেওয়ার জন্য অর্থ প্রদান করবে। তাই কিছু তহবিলের পরিস্থিতিতে, আপনি যখন অরক্ষিত তহবিল বা একটি ল্যাব স্টার্টআপ প্যাকেজ সহ একটি ছোট "টেস্টবেড" ক্লাস্টারকে তহবিল দিতে সক্ষম হতে পারেন, বৃহত্তর-প্রকল্পের জন্য এটি আপনার কম্পিউটারের ব্যয়কে অর্থায়িত করার একমাত্র উপায় হতে পারে।

এনআইএইচ বিবেচনা করুন:

এডিপি / কম্পিউটার পরিষেবাদি: আপনি এখানে যে পরিষেবাগুলি অন্তর্ভুক্ত করছেন সেগুলি নির্দিষ্ট কম্পিউটার পরিষেবাগুলির গবেষণা হওয়া উচিত - যেমন সুপার কম্পিউটারগুলিতে কম্পিউটিং সময় সংরক্ষণ করা বা আপনার পরিসংখ্যান চালাতে সহায়তা করার জন্য বিশেষ সফ্টওয়্যার পাওয়া। এই বিভাগে আপনার স্ট্যান্ডার্ড ডেস্কটপ অফিসের কম্পিউটার, ল্যাপটপ বা আপনার প্রতিষ্ঠানের দ্বারা সরবরাহিত মানক প্রযুক্তি সমর্থন অন্তর্ভুক্ত করা উচিত নয়। এই ধরণের চার্জগুলি F&A ব্যয়ের বাইরে আসা উচিত।

যদিও ক্লাস্টার মেশিনগুলি $ 5,000 + সরঞ্জাম শিরোনামের নিচে রাখা সম্ভব হয়েছে এবং আপনি এটির জন্য একটি ভাল যুক্তি বানাতে পারেন, আমি উভয় পর্যালোচককে খুঁজে পেয়েছি যারা এ সম্পর্কে ত্রুটিযুক্ত এবং এমন বিশ্ববিদ্যালয়গুলি বজায় রাখার চলমান ব্যয় সম্পর্কে দ্বিধায় রয়েছে পদ্ধতি.

কিছু অনুদান আরও কঠোর হয়। আমি বর্তমানে একটি অনুদান নিম্নরূপ পড়েছি:

তহবিলগুলি কম্পিউটার হার্ডওয়্যারের জন্যও ব্যবহার করা যাবে না

এটির ইসি-ভিত্তিক বা আসলে হার্ডওয়্যার কেনার চেয়ে এর অনেকগুলি এনালগগুলির মধ্যে একটি যদি সরাসরি ব্যয়ের জন্য একটি ক্লাস্টারের অর্থ প্রদান করা সহজ হয় তবে বিশেষত যদি আপনার প্রতিষ্ঠানটি পরোক্ষ ব্যয় নিয়ে আঁতাত থাকে। এটি আপনার ক্ষেত্রে নাও হতে পারে, তবে এটি কারও কারও পক্ষে।

— Fomite
সূত্র

আমি মনে করি এটি একটি ভাল যুক্তি না। আমি কেবল মার্কিন যুক্তরাষ্ট্রে তহবিল ব্যবস্থার সাথেই পরিচিত তবে সেখানে যদি আপনি "সরঞ্জাম" বিভাগে নির্দিষ্ট পরিমাণ অর্থ রাখেন তবে আপনি এটি একটি ক্লাস্টার কিনতে ব্যবহার করতে পারেন। অবশ্যই, যদি সেই বিভাগটি খালি হয়, তবে আপনি ডলারের ভুল সেটটির জন্য অনুরোধ করেছেন। সরঞ্জামগুলির আসলে এতে খুব ভাল সুবিধা রয়েছে যদি এটি একক টুকরো সরঞ্জাম যা $ 5k ক্রয়ের মূল্যের উপরে থাকে তবে আপনি এটির উপরে ওভারহেড প্রদান করবেন না (অন্তত আমাদের বিশ্ববিদ্যালয়ে)।

— ওল্ফগ্যাং ব্যাঙ্গারথ

@ ওল্ফগ্যাংবাংগার্থ বিশদগুলির জন্য আমার সম্পাদনা দেখুন - এটিকে "সরঞ্জাম" বিভাগের অধীনে রাখাই অনুমোদিত নয়।

— ফোমেট

হ্যাঁ, যদি এই শর্তগুলি থাকে তবে আপনার করার মতো কিছুই নেই। তবে আমি খুঁজে পেয়েছি যে অনুদানের জন্য আপনি যদি সরঞ্জামের জন্য অর্থ চান কেন আপনার যদি ভাল মামলা হয় তবে পর্যালোচকরা সাধারণত এটির সাথে যান - এটি সাধারণত সামগ্রিক অঙ্কের বড় অংশ নয়। অবশ্যই, যদি অর্থটি শুরু করার জন্য বাজেট করা না হয়, তবে সত্যের পরে আপনি কিছুই করতে পারবেন না।

— ওল্ফগ্যাং ব্যাঙ্গারথ

0

ইতিমধ্যে অনেক godশ্বরের উত্তর রয়েছে। আমি কেবল দুটি ছোট পয়েন্ট যুক্ত করতে চাই।

1.) আমি জানি যে আইবিএম অনুরূপ কিছু অফার করছে। সুতরাং আপনার অ্যাপ্লিকেশন উপর নির্ভর করে এটি বিভিন্ন অফার তুলনা করা মূল্যবান হতে পারে। কেবল ব্যয়ের সাথে নয় সরঞ্জামগুলিও।

২) অবশ্যই বেশিরভাগ ল্যাবগুলি নিজের ক্লাস্টারে বিনিয়োগ করতে সক্ষম হবেন না small সুতরাং প্রশ্নটি হ'ল একসাথে বেশ কয়েকটি ল্যাব সংগ্রহ করা এবং বিভিন্ন ল্যাবগুলির মধ্যে ভাগ করা একটি ক্লাস্টারে বিনিয়োগ করা সম্ভব নয় কিনা। এটি সুস্পষ্ট ব্যয় ভাগ করে নেওয়ার প্রভাব ছাড়াও আরও লোড বিতরণের সুবিধাও দেয়।

— Azrael3000
সূত্র