হোম ক্লাস্টার তৈরি করা - হার্ডওয়্যার এবং ব্যয়ের বিশ্লেষণ [বন্ধ]

Question

কেউ কি কিছু লিঙ্ক / বই / কিছু ভাবতে পারেন যা আপনি একটু বাড়ির গুচ্ছ তৈরি করার প্রক্রিয়া বর্ণনা করে (যখন আমি বাড়ি বলি , এটি বাড়িতে রাখার জন্য প্রয়োজনীয় নয় - এর অর্থ এটি তুলনামূলক সস্তা এবং ছোট) পরীক্ষামূলক উদ্দেশ্যে, আজ কোন হার্ডওয়্যারটি পর্যাপ্ত পরিমাণে হবে এবং একরকম ব্যয় বিশ্লেষণের উপর বিশেষ জোর দিয়ে?

যদিও, এখানে যদি কেউ এটি সম্পন্ন করে থাকে তবে আপনি ভাগ করে নিতে পারেন এমন সমস্ত অভিজ্ঞতা আমি উপলব্ধি করব।

Comments

কি ধরণের গুচ্ছ? এসকিউএল ক্লাস্টার? ওয়েব ফার্ম? রেন্ডার ফার্ম? হার্ডওয়্যার নির্দিষ্ট করার সময় এগুলি গুরুত্বপূর্ণ বিশদ।

— tsilb

সংখ্যা গণনা; সিএফডি (বেশি বিশদে যাওয়ার দরকার নেই) - সমান্তরাল ফোর্ট্রান কোড।

— রুক

Answer 1

হেলমার মনে আসে। :)

Comments

ঠিক আছে, এটি সত্যিই ঝরঝরে পৃষ্ঠা এবং আমার দরিদ্র প্রস্থান করা ডিসিলারন 4 নোড ক্লাস্টারটিকে তুচ্ছ মনে হয়।

— বিল বি

দুর্দান্ত পাতা! আই কেইএ মন্ত্রিপরিষদকে ভালোবাসুন :) (সম্ভবত সেরা সমাধান নয়, তবে তবুও সুন্দর)

— রুক

ব্যাখ্যা করতে, এটি একটি সিপিইউ ভিত্তিক রেন্ডার ফার্ম। এটি আইকেইএ (পণ্যের নাম হেলমার) থেকে ফাইলিং মন্ত্রিসভায় রাখা 6 টি ইন্টেল কোয়াড কোর মেশিন রয়েছে into স্পষ্টতই মন্ত্রিসভাটির পিছনে গর্ত রয়েছে (আইকেইএ দ্বারা নয়) যা 6 টি স্পটে পিএসইউ এবং ফ্যান স্থাপনের অনুমতি দেয়।

— dlamblin

Answer 2

হ্যাক এ ডেতে বৈশিষ্ট্যযুক্ত কয়েকটি আইকিয়া ক্লাস্টার রয়েছে:

• 24 কোর
• Helmer

Answer 3

টমাস স্টার্লিং (লিনাক্সের জন্য একটি এবং উইন্ডোজের জন্য একটি) দ্বারা বেওল্ফ ক্লাস্টার কম্পিউটিং বইগুলি দেখুন। একে অপরের সাথে কথা বলার জন্য আপনার নোডগুলি পেতে এমপিআই ব্যবহার করার বিষয়ে আপনার যা জানা দরকার তা তারা আপনাকে জানায়।

একটি বন্ধু এবং আমি 8 টি বক্সের একটি ক্লাস্টার তৈরি করেছি যা কিছু সত্যই কৃপণ হার্ডওয়্যার ব্যবহার করে তাদের উপর উইন্ডোজ এক্সপি চালিয়েছিল। এগুলি পেন্টিয়াম আই -৯০ মেগাহার্টজ বাক্সের মতো ছিল। উইন্ডোজের জন্য প্রয়োজনীয় চশমার নীচে, তবে এটি দুর্দান্ত ছিল। আমরা তাদের উপর এসকিউএল সার্ভার 2000 চালিয়েছি (প্রস্তাবিত চশমাগুলির নীচেও) এবং তাদের উপর স্টক বিকল্প মূল্য নির্ধারণের কিছু কালো-স্কোলস মডেলিং করেছি।

আপনি আপনার ক্লাস্টারটি দিয়ে কী করতে চান তা না জেনে কোন ধরণের হার্ডওয়্যার পর্যাপ্ত হবে তা সুপারিশ করা কঠিন। তবে নীচের লাইনটি হ'ল আপনি বেশিরভাগ কিছুর একটি ক্লাস্টার তৈরি করতে পারেন।

Comments

আপনি কি বিশ্বাস করবেন না, আমি গতকাল ঠিক সেই শিরোনামের আদেশ দিয়েছি! এখন এটি আসার অপেক্ষায় :) পেন্টিয়াম 90 - বাহ, এটি পুরানো। এটি কীভাবে চলল, মসৃণ বা গ্লিটস নিয়ে? আপনি কিছু আধুনিক সমতুল্য সঙ্গে একটি তুলনা দিতে পারেন? সেই বিটিডব্লিউ আসলে আমি যা করার চেষ্টা করছি তার জন্য বেশ ভাল ধারণা, যেহেতু আজকাল সেই ধরণের হার্ডওয়্যারটি ব্যবহারিকভাবে মুক্ত হতে পারে (যে কোনও উপায়ে সস্তা)। আমি কিছু কোডকে সমান্তরাল করার উদ্দেশ্যে এটি তৈরির চেষ্টা করছি, তাই আমি কোড এবং হার্ডওয়্যার অংশটি নিয়ে একই সময়ে পরীক্ষা করছি। এটি কীভাবে চলবে তা দেখার জন্য এটি একটি শেখার পরীক্ষা।

— রক

এই জাতীয় পুরানো হার্ডওয়্যার চালনার ব্যয় শক্তি / কাজের দিক থেকে খাড়া; একাধিক 90MHz মেশিন আরও দক্ষ একক-মেশিনের কাজের সমতুল্য উত্পাদন করতে প্রচুর বৈদ্যুতিন ব্যবহার করবে। আমি আপনার প্রকল্পে আগ্রহী, কিন্তু ... সচেতন থাকুন যে এটি আকর্ষণীয় উপায়ে ব্যয়বহুল হতে পারে ... =]

— ডেভিড বলেছেন মনিকা

পারফরম্যান্স ভাল ছিল। এটি স্কুলের জন্য একটি প্রকল্প ছিল, এবং আমাদের হার্ডওয়্যারটি স্কুলের চারপাশে যা ছিল তা ছিল। আমরা বিদ্যুৎ সংক্রান্ত সমস্যার বিষয়েও কোনও উদ্বেগ জানাইনি, তবে ভাতবোল একেবারে সঠিক। তারা ছিল জোরে দানব।

— নাথান ডিউইট

@ রাইসোবোল - এই মুহুর্তে, এটি কোনও সমস্যা নয়। 90Mhz হ'ল একটি ভাল ধারণা যেহেতু আমরা এগুলি চারপাশে রেখেছিলাম, সুতরাং কোনও দাম নেই। শর্তাবলীবুঝতে। এটিও কোনও সমস্যা নয়, যেহেতু সংস্থাটি এটি প্রদান করে, কম্পিউটার দ্বারা ব্যবহৃত শক্তি সেখানে অবহেলাযোগ্য। এই মুহুর্তে আমি মৌলিক বিষয়গুলি শিখছি, নতুন হার্ডওয়ারটি সর্বদা প্রয়োজনে অর্জন করা যায়।

— রুক

@ নাথান ডিউইট - উচ্চতাও কোনও সমস্যা নয়। আমি শব্দটি আপত্তি করি না (সর্বদা আমার কাছে স্নিগ্ধ মনে হয়েছিল) এবং যেভাবেই কেউ তাদের আশেপাশে নেই।

— রুক

Answer 4

অনেক শারীরিক ক্লাস্টার নোড থাকার বিকল্প হ'ল ভার্চুয়াল মেশিন তৈরি করা। আপনার কাছে কেবল এক বা দুটি প্রকৃত শারীরিক মেশিন থাকবে তবে আরও অনেক নোড থাকার অনুকরণ করতে পারে। এটি কম সংস্থান তৈরি করতে, শিখতে এবং ব্যবহার করার জন্য দুর্দান্ত কাজ করবে (স্থান, শক্তি,।)।

এটি আপনাকে কোনও ব্যয়ের বিশ্লেষণের খুব বেশি অংশ দেয় না, তবে এটি আপনাকে শুরু করবে। ক্লাস্টার সেটআপের ধরণটি আপনি যে ধরণের কাজের জন্য তৈরি করতে চান তার উপর নির্ভর করবে। আপনি অনেকগুলি ছোট নোড বা কয়েকটি শক্তিশালী নোড রাখতে পারেন। ভাগ করে নেওয়ার জন্য এবং ভাগ না করার জন্য মেমরির পরিবেশ রয়েছে। আপনি কোন ধরণের সমান্তরাল প্রোগ্রাম তৈরি করতে চান? আপনার যত শারীরিক নোড রয়েছে তত বেশি স্থান, শক্তি, কুলিং এবং নেটওয়ার্ক আন্তঃসংযোগ আপনাকে বিবেচনা করতে হবে। কখনও কখনও, কেবলমাত্র একটি বৃহত বৃহত কম্পিউটার হ'ল উপায় (এবং ভাগ করা মেমরি পরিবেশগুলি IMHO এর জন্য প্রোগ্রাম করা আরও সহজ)।

আমি সম্প্রতি কয়েকটা এলোমেলো পি 4 বাক্স, উবুন্টু এবং ল্যাম-এমপিআই তৈরির ক্লাস্টারের সাথে খেলতে শুরু করেছি। এটি অবশ্যই একটি শেখার অভিজ্ঞতা হয়েছে।

এটি আসলে একটি গ্যারেজে কেবল দু'টি পি 4 ল্যাপটপ এবং টাওয়ারগুলি একসাথে পাইল করা হয়েছিল। এটা ঘেটো ছিল, তবে আমি কেবল শিখতে চেয়েছিলাম। আমি মাত্র একটি 100 এমবিপিএস ইথারনেট নেটওয়ার্ক ব্যবহার করেছি। আমি উবুন্টু বেছে নিয়েছি, কারণ আমি বাক্সগুলিতে খুব বেশি হার্ডওয়্যার কনফিগারেশন নিয়ে কাজ করতে চাইনি। উবুন্টুর আমার প্রচুর ড্রাইভার ছিল। আমার জন্য একটি লিনাক্স পরিবেশ প্রয়োজন কারণ এটির জন্য আমি যে অ্যাপ্লিকেশনগুলি লিখেছি সেগুলি ছিল এমপিআই ইন্টারফেস সহ সি ভিত্তিক অ্যাপস। আমি আগে যা ব্যবহার করেছি তার প্রতিলিপি দেওয়ার চেষ্টা করেছি। এটা সব ভুল ছিল। হার্ডওয়্যার, কিছুই স্ট্যান্ডার্ড। বেশিরভাগ ক্লাস্টারে সঠিক হার্ডওয়্যার থাকে তাই আপনি স্ন্যাপগুলিতে নোড যুক্ত করতে এবং মুছে ফেলতে পারেন।

Comments

ভাল, আমি আমার নিষ্পত্তি অনেক পুরানো ওয়ার্কস্টেশন পেয়েছি। প্রাথমিক পেন্টিয়ামগুলি থেকে শুরু করে 266 মেগাহার্টজ পর্যন্ত। ঘর এবং শক্তি আমি প্রচুর পেয়েছি। শোরগোলও সমস্যা নয়, এটি মানুষের কাছাকাছি নয় (হ্যাঁ, আপনি যদি ভাবছেন তবে আমি নিজেকে মানব জাতির সদস্য মনে করি না :) প্রয়োজনে নতুন হার্ডওয়্যার সর্বদা পরে পাওয়া যায়, তবে আপাতত আমি আমি এগুলি দিয়ে খেলে অযাচিত খরচ এড়াতে চেষ্টা করছি। আমি কয়েকটি (পুরানো নয়) ফোর্টরান কোড (সিএফডি, এফভিএম) সমান্তরাল করার চেষ্টা করছি। এই মুহুর্তে আমি বেশিরভাগই হার্ডওয়্যার সমাবেশে, ওএস চলমান নীতিগুলি এবং বিষয়গুলিতে একটি সাধারণ ধরনা পেতে

— ছেদ করি

ভার্চুয়ালাইজেশন অল্প ব্যবহার হয় যদি এগুলি সব সিপিইউ-সংক্রান্ত সংখ্যাসঙ্গিক গণনা সম্পর্কিত হয়।

— টাদিউস এ। কাদুউবস্কি

আমি যদি খুব বেশি জিজ্ঞাসা না করে থাকি তবে আপনি কীভাবে তাদের একসাথে সংযুক্ত করলেন (কেবল অভ্যন্তরীণ নয়, তবে আপনি তাদের কোথায় রেখেছিলেন (বড় মিনার? শীতলকরণের সমস্যা?))? উবুন্টু কেন?

— রুক

@ আইডিগাস আমার উত্তরে একটি অনুচ্ছেদ যুক্ত করেছে।

— ট্র্যাজি

Answer 5

আপনি যা করার চেষ্টা করছেন তার উপর নির্ভর করে ভার্চুয়াল মেশিনগুলির একটি ক্লাস্টারে আপনার সিস্টেমটি বিকাশের বিষয়ে বিবেচনা করুন। ওপেনজেড বা প্যারালালের ভার্চুওজো এবং সোলারিস কনটেইনারগুলির মতো কোনও ওএস ভার্চুয়ালাইজেশন সমাধান ব্যবহার করা আপনাকে সম্পূর্ণ সিস্টেমের ভার্চুয়ালাইজেশনের সাথে তুলনা করে (যেমন ভার্চুয়ালবক্স / ভার্চুয়ালপিসি / জেন / ভিএমওয়্যার) তুলনায় প্রচুর ঘনত্ব বাড়িয়ে দেয়। তারপরে যখন আপনাকে কিছু পারফরম্যান্সের জন্য সিস্টেমটি স্থাপন করতে হবে তখন এটি অ্যামাজনের EC2 বা অনুরূপ "মেঘের মধ্যে" চালান।

Comments

আমি কিছু পুরানো হার্ডওয়্যার পুনঃব্যবহার করার প্রত্যাশা করছিলাম যা আমি এই মুহূর্তে রেখেছিলাম, সুতরাং ভার্চুয়ালাইজেশনটি আমার কাছে তেমন আকর্ষণীয় নয়।

— রুক

Answer 6

আমি লিটলএফই ( http://littlefe.net/ ) বা বুটেবল ক্লাস্টার সিডি ( http://bccd.net/ ) প্রকল্পগুলি ব্যক্তিগতভাবে দেখে শুরু করব। উবুন্টু ক্লাউড প্রকল্পটিও দেখুন ( http://www.ubuntu.com / ক্লাউড )।

কম-বেশি যে কোনও হার্ডওয়্যার কাজ করা উচিত । আমি ক্লোজ-আউট ডিলের কিছু ফর্ম বা মেশিনগুলি কিছু সস্তা হার্ডওয়্যার বাছাইয়ের জন্য ইজারা বন্ধ করে দেওয়ার দিকে ঝুঁকতে চাই।

Answer 7

কটাক্ষপাত আছে শিলা যা ক্লাস্টার বন্টন যা সত্যিই সহজ ক্লাস্টার নির্মাণের করে তোলে। এটি কমপক্ষে কয়েকটি আঘাতযুক্ত নোড পর্যন্ত স্কেল করে।