রিসোর্স তীব্র কম্পিউটিংয়ের জন্য কে মাল্টিকোর, SNOW বা CUDA প্যাকেজ সহ আর ব্যবহার করে?

16

এই ফোরামে আপনার মধ্যে কে "> আর মাল্টিকোর , স্নো প্যাকেজ, বা সিইউডিএ ব্যবহার করে , তাই ওয়ার্কস্টেশন সিপিইউর চেয়ে আরও বেশি শক্তির প্রয়োজনের জন্য উন্নত গণনার জন্য? আপনি কোন হার্ডওয়্যারে এই স্ক্রিপ্টগুলি গণনা করবেন? বাড়িতে / কর্মস্থলে বা আপনার কাছে কি আছে? কোথাও ডাটা সেন্টার অ্যাক্সেস?

এই প্রশ্নের পটভূমি নিম্নলিখিত: আমি বর্তমানে আমার এম.এস.সি. আর এবং উচ্চ পারফরম্যান্স কম্পিউটিং সম্পর্কে থিসিস এবং কে কে আসলে আর ব্যবহার করে সে সম্পর্কে দৃ strong় জ্ঞানের প্রয়োজন আমি পড়েছি যে ২০০৮ সালে আর এর 1 মিলিয়ন ব্যবহারকারী ছিল, তবে এই বিষয়টিতে আমি কেবলমাত্র ব্যবহারকারীর পরিসংখ্যান খুঁজে পেতে পারি - তাই আমি আপনার জন্য আশা করি উত্তর!

আন্তরিকভাবে হেইনিরিচ

r mathematical-statistics computing parallel-computing

— হেনরিচ
সূত্র

সম্পর্কিত একটি সম্ভাব্য প্রশ্ন, stats.stackexchange.com/questions/825/… ।

— chl

স্টেট.এইচজি.ইচ

— জোশুয়া উলরিচ ১

6

আমি একজন জীববিজ্ঞানী যিনি বেশ কয়েকটি পরিযায়ী প্রজাতির জনসংখ্যার গতিবেগের আন্ত-বার্ষিক জলবায়ু পরিবর্তনের প্রভাবের মডেল। আমার ডেটাসেটগুলি খুব বড় (স্থানিকভাবে নিবিড় ডেটা) তাই আমি multicoreঅ্যামাজন ইসি 2 সার্ভার ব্যবহার করে আমার আর কোড চালনা করি । যদি আমার কাজটি বিশেষত সম্পদ নিবিড় হয় তবে আমি একটি উচ্চ মেমোরি চতুর্থাংশ অতিরিক্ত বৃহত উদাহরণটি বেছে নেব যা 26 সিপিইউ ইউনিট, 8 টি কোর এবং 68 জি র‍্যাম সহ আসে। এই ক্ষেত্রে আমি সাধারণত এক সাথে 4-6 স্ক্রিপ্টগুলি চালিত করি, যার মধ্যে প্রতিটি মোটামুটি বড় ডেটা সেটের মাধ্যমে কাজ করে। ছোট কাজগুলির জন্য, আমি 4-6 কোর এবং প্রায় 20 জিগ র‌্যাম সহ সার্ভারগুলি চয়ন করি।

আমি এই দৃষ্টান্তগুলি চালু করি (সাধারণত দাগের দৃষ্টান্তগুলি এগুলি সস্তা কারণ তবে যে কোনও সময় বর্তমান হার আমার দেওয়া পছন্দের চেয়ে বেশি হয়ে যায় তা শেষ করতে পারে), কয়েক ঘন্টার জন্য স্ক্রিপ্টটি চালান, এবং তারপরে আমার স্ক্রিপ্ট শেষ হয়ে গেলে দৃষ্টান্তটি বন্ধ করে দিতে পারি। মেশিন ইমেজ হিসাবে (অ্যামাজন মেশিন ইমেজ), আমি কাউকে এলবেন্টু ইনস্টল করেছি, আপডেট করেছে আর আপডেট করেছি, আমার প্যাকেজ ইনস্টল করেছি এবং আমার এস 3 স্টোরেজ স্পেসে আমার ব্যক্তিগত এএমআই হিসাবে সংরক্ষণ করেছি।

আমার ব্যক্তিগত মেশিনটি দ্বৈতদ্বার ম্যাকবুক প্রো এবং এটি মাল্টিকোর কলগুলি শক্ত করে তুলতে খুব কঠিন সময় নিয়েছে। আপনার অন্য প্রশ্ন থাকলে নির্দ্বিধায় ইমেল করুন।

— Maiasaura
সূত্র

আপনি কি আপনার ডেটা সেটের আকারের আকার বলতে পারবেন?

— সানকুলসু

অবশ্যই। আমি বর্তমানে যে ডেটাসেটগুলির সাথে কাজ করছি তা

— হ'ল

4

আপনি যেহেতু জিজ্ঞাসা করছেন, আমি মাল্টিকোর ব্যাকএন্ডের সাথে ফোরচ প্যাকেজটি ব্যবহার করছি । আমি প্রচুর র‌্যাম সহ একক নেহালেম বক্সে একাধিক কোর জুড়ে একটি বিব্রতকরভাবে সমান্তরাল কাজের চাপ বিভক্ত করতে এটি ব্যবহার করি । এটি হাতের কাজটির জন্য বেশ ভাল কাজ করে।

— NPE
সূত্র

আপনার উত্তরের জন্য ধন্যবাদ! আপনি কি নিজের কাজ / একাডেমিক গবেষণা বা নিজস্ব পিসিতে নিজস্ব প্রকল্পের জন্য গণনা করেন?

— হেইনিরিচ

এটি বাণিজ্যিক সেটিংয়ে করা হয়। এই কাজের জন্য, আমি 32 জিবি র‌্যাম এবং রেডড ডিস্ক সহ একটি একক ইনটেল বাক্স ব্যবহার করছি (মূল সমস্যাটি প্রচুর পরিমাণে ডেটা, প্রসেসিংটি নিজে খুব কম গণনামূলকভাবে দাবি করে না))

— এনপিই

ঠিক আছে @ অ্যাক্স, আপনি কতবার এই গণনাগুলি সম্পাদন করেন। আপনি কি সারাদিন বাক্স চালাচ্ছেন বা আরও অলস?

— হেইনিরিচ

@ এনপিএর কাছে দ্রুত প্রশ্ন: আপনি কোন সিস্টেমে ডেটা সংরক্ষণ করবেন? আপনি কি একটি ডাটাবেস ব্যাক-এন্ড ব্যবহার করেন?

— nassimhddd

3

আমি একাডেমিতে কাজ করি এবং আমি মেশিন লার্নিং অ্যালগরিদমগুলির কয়েকটি ভারী মানদণ্ডের জন্য মাল্টিকোর ব্যবহার করছি, বেশিরভাগই আমাদের ওপ্টরন ভিত্তিক সূর্যের নক্ষত্রমণ্ডল এবং কিছু ছোট ক্লাস্টারে; এগুলি বরং বিব্রতকরভাবে সমান্তরাল সমস্যা তাই মাল্টিকোরের প্রধান ভূমিকা মেমরির ব্যবহারের গুণন ছাড়াই নোডের মধ্যে গণনা ছড়িয়ে দেওয়া।

— user88
সূত্র

হামবুর্গে আমাদের এখানে সর্বদা একটি সমস্যা রয়েছে যে একাডেমিক ডেটা কেন্দ্রগুলির জন্য অপেক্ষা করার সময়টি সত্যিই দীর্ঘ। এটা কি তোমার জন্য একই?

— হেইনিরিচ

@ হেনরিচ আমি এক ধরণের একাডেমিক ডেটা সেন্টারের জন্য কাজ করি, সুতরাং আমার এ জাতীয় সমস্যা নেই (-; গুরুতরভাবে, ওয়ার্সায় বৈজ্ঞানিক সিপিইউ সময় সরবরাহ চাহিদার চেয়ে বেশি, সুতরাং আমি বিশ্বাস করি যে অনুদান পাওয়া বেশ সহজ And আমার মনে হয় আপনি ডি-গ্রিড বা EGEE চেষ্টা করা উচিত, আমার অভিজ্ঞতা সাধারণভাবে যে গ্রিডের খুব underused হয়।

উহু. সেটা মজাদার. আপনি কি জানেন যে এই ধরণের সম্প্রসারণে আর কী ধরণের ব্যবসায় ব্যবহৃত হয়?

— হেনরিখ

2

আমি জরিমানা সমান্তরাল প্রক্রিয়াকরণের জন্য এইচপিসি ক্লাস্টারগুলিতে এবং সিইউডিএ সমান্তরালকরণের জন্য তুষার এবং তুষারপাত ব্যবহার করি। আমি এপিডেমিওলজিতে রয়েছি রোগ সংক্রমণ মডেলিং করছি। সুতরাং আমি উভয় ব্যবহার।

— অ্যান্ড্রু রেড
সূত্র

আপনার তথ্যের জন্য ধন্যবাদ। কোর্সের সমান্তরালতা বলতে কী বোঝ?

— হেইনিরিচ

কোর্সের সমান্তরালতা এমসিসিএম পরিবর্তনের স্বতন্ত্র রানগুলির মতো কিছু হতে পারে very সূক্ষ্ম শস্যের উদাহরণ হ'ল সম্ভাবনা গণনা করা যেখানে ডেটা পয়েন্টগুলিতে স্বাধীনভাবে গণনা করা যায়।

— অ্যান্ড্রু রেড