আর কোড একাধিক প্রসেসর ব্যবহার করার জন্য কোনও পরামর্শ?


28

বিভিন্ন ফাইল থেকে প্রচুর পরিমাণে সিএসভি ডেটা পড়ার জন্য আমার কাছে আর-স্ক্রিপ্ট রয়েছে এবং তারপরে শ্রেণিবিন্যাসের জন্য এসএমএমের মতো মেশিন লার্নিং কার্য সম্পাদন করুন।
আর এর জন্য সার্ভারে একাধিক কোর ব্যবহারের জন্য কোনও গ্রন্থাগার রয়েছে কি না
বা
এটি অর্জনের সবচেয়ে উপযুক্ত উপায় কোনটি?


আমি কেবল দেখছি না যে কীভাবে ডেটা আমদানি করা এবং এসভিএম চালানো এই প্রশ্নের সাথে কোনও প্রাসঙ্গিকতা রয়েছে। সে কারণেই আমি মনে করি এটি আরও এসও প্রশ্ন। তবে আমি এক্সরেফসকে দেখতে পেলাম যে এটি দীর্ঘকালীন সমাধান হিসাবে ভাল কারণ এটি আর ...
শেন

3
এই ধরণের প্রশ্নোত্তর নিয়ে এখানে আমার কোনও সমস্যা নেই। আর এ জাতীয় মূলধারার ভাষা নয় (পাইথন বা জাভা এর মতো) যে পরিমাণে স্বাভাবিকভাবেই বলা যেতে পারে, "ওহ এটি একটি সাধারণ প্রোগ্রামিং প্রশ্ন তাই আমার স্ট্যাকওভারফ্লো বা অনুরূপে যেতে হবে এবং এটি জিজ্ঞাসা করা উচিত বা সমাধানের জন্য সেখানে সন্ধান করা উচিত"। আসলে এটি আর মেলিং তালিকা বা গ্রুপ সাইটের জন্য আরও প্রশ্ন। যেসব উদীয়মান বিশ্লেষক আর শিখতে চান তাদের পরিবেশন করতে আমাদের এখানেও উত্তর পেয়ে আনন্দিত হওয়া উচিত।
পল

2
উন্মুক্ত রাখতে ভোট দিন; পরিসংখ্যানবিদদের কাছে খুব প্রাসঙ্গিক কারণ যেভাবে আমাদের সমস্যাগুলি সমান্তরাল স্ট্রিমগুলিতে ভেঙে ফেলা যায় বা না করা যায় তা প্রশ্ন করা প্রশ্নটির সাথে প্রাসঙ্গিক।
রাসেলপিয়েরস

@ সিএইচএল: এড়িয়ে যাওয়ার জন্য ধন্যবাদ প্রকৃতপক্ষে, আমি এই থ্রেডটি উপস্থিত হওয়ার অল্প সময়ের মধ্যেই সমস্ত অ-বাণিজ্যিক উল্লেখগুলি যাচাই করেছিলাম তবে উইন 7 x64 এ কাজ করে এমন কোনও কিছুই খুঁজে পেলাম না।
whuber

1
হুঁশি, আমি যে সমাধানটি উপস্থাপন করি তা জয় 7 নিয়ে কাজ করে এবং এটি অ বানিজ্যিক (বিস্তারিত হিসাবে আমি লিঙ্কযুক্ত পোস্টটি পড়ুন)। এটি বাণিজ্যিক পরিবেশে বান্ডিল হয়েছে তবে এটি এ থেকে পৃথক হতে পারে (যেমন আমার পোস্টটি দেখায় কীভাবে)। এবং কোডটি নিজেই জিপিএল ...
তাল গ্যালিলি

উত্তর:


16

যদি এটি লিনাক্সে থাকে তবে সর্বাধিক সোজা-ফরোয়ার্ড হ'ল মাল্টিকোর । এর বাইরে, আমি এমপিআই (বিশেষত তুষার প্যাকেজ সহ) একবার দেখার পরামর্শ দিই ।

আরও সাধারণভাবে, একবার দেখুন:

  1. CRAN- এ উচ্চ-পারফরম্যান্স কম্পিউটিং ভিউ view
  2. "আর্টের সাথে সমান্তরাল কম্পিউটিংয়ের মধ্যে স্টেট অফ দ্য আর্ট"

শেষ অবধি, আমি আপনার কোডের সমান্তরাল ব্যাকএন্ড বিমূর্ত করার জন্য ফোরচ প্যাকেজটি ব্যবহার করার পরামর্শ দিচ্ছি । এটি দীর্ঘমেয়াদে আরও দরকারী করে তুলবে।


আমি মূলত মাল্টিকোর ব্যবহার করি, তবুও আমি ত্রুটি সহনশীলতা এবং পরিষ্কার ইন্টারফেসের জন্য তুষার এবং রাম্পির চেয়ে তুষারপাত বেশি পছন্দ করি।

তুষারপাতের জন্য @ এমবিকিউ +1- আরও তুষার বিমূর্ত করে এবং আর এর সাথে সমান্তরাল কম্পিউটিং তৈরি করে তোলে।
শার্পি

6

আপনি যদি জিএনইউ / লিনাক্স ব্যবহার করছেন তবে শেন এবং ডির্কের পূর্ববর্তী উত্তরগুলি দুর্দান্ত।

আপনার যদি উইন্ডোগুলির জন্য কোনও সমাধানের প্রয়োজন হয় তবে এই পোস্টে একটি রয়েছে:

আর এর সাথে সমান্তরাল মাল্টিকোর প্রসেসিং (উইন্ডোজে)

যদিও প্যাকেজটি এখনও CRAN এ নেই on এটি সেই লিঙ্ক থেকে ডাউনলোড করা যায়।


5

শেন ঠিক আছে। মাল্টিকোর এবং রাম্পি দুজনেই বিজয়ী।

বিষয়টির সামান্য বিস্তৃত কভারেজ হাই পারফরম্যান্স কম্পিউটিংয়ের CRAN টাস্ক ভিউতে রয়েছে । এটি জেএসএস থেকে আর এর সাথে সমান্তরাল কম্পিউটিং সম্পর্কে মোটামুটি সাম্প্রতিক জরিপ নিবন্ধের লিঙ্ক করেছে ।

অবশেষে, কয়েকটি টিউটোরিয়াল উদাহরণ এবং টিপস আমি একবারে দিয়েছি এমন টি টিউটোরিয়াল সহ এইচপিসির ইন্ট্রোতে রয়েছে - ইউজারে গত সপ্তাহের সাম্প্রতিক কপির জন্য আমার উপস্থাপনা পৃষ্ঠাটি দেখুন ।


ভাল, mutexes প্রয়োজন। আপনার উত্তরে আমি যেমন মন্তব্য করেছি, আমি কেবল প্রথম (কাঁচা) সংস্করণ দেখেছি এবং ভালভাবে অনুভূত করেছি, আমি এমসি এবং আরএমপি-তে প্রসারিত হতে পারি। এবং তারপরে আপনি করেছেন এবং আমি একটি অনুলিপি মত দেখতে। এটাই জীবন.
ডিস্ক এডেলবুয়েটেল

অন্যদিকে, আমার উত্তর অতীতে আপনার কাগজ / উপস্থাপনা পড়া থেকে প্রাপ্ত। সুতরাং আমি অনুমান করি যে আমি আপনাকেও অনুলিপি করছি।
শেন

5

আমি লক্ষ্য করেছি যে পূর্ববর্তী উত্তরের কিছু সাধারণ এইচপিসি বিবেচনার অভাব রয়েছে।
প্রথমত, এই প্যাকেজগুলির মধ্যে কোনওটিই আপনাকে সমান্তরালে একটি এসভিএম চালাতে সক্ষম করবে না । সুতরাং আপনি যা গতি বাড়িয়ে তুলতে পারেন তা হ'ল প্যারামিটার অপ্টিমাইজেশন বা ক্রস-বৈধকরণ, তবুও আপনাকে অবশ্যই এটির জন্য আপনার নিজের ফাংশন লিখতে হবে। অথবা অবশ্যই আপনি কাজ করতে পারেন সমান্তরালভাবে বিভিন্ন ডেটাসেটের জন্য, যদি এটি ক্ষেত্রে হয়।
দ্বিতীয় সংখ্যাটি স্মৃতি; আপনি যদি কয়েকটি শারীরিক কম্পিউটারে গণনা ছড়িয়ে দিতে চান তবে কোনও নিখরচায় মধ্যাহ্নভোজ নেই এবং আপনাকে অবশ্যই ডেটা অনুলিপি করতে হবে - এখানে আপনাকে অবশ্যই বিবেচনা করতে হবে কিছু যোগাযোগ সংরক্ষণের জন্য কম্পিউটারে ডেটার একটি অনুলিপি বন্টন করা যদি বোধগম্য হয়। অন্যদিকে, আপনি যদি একটি কম্পিউটারে একাধিক কোর ব্যবহার করতে চান তবে মাল্টিকোরের চেয়ে বিশেষভাবে উপযুক্ত কারণ এটি সমস্ত সন্তানের প্রক্রিয়াগুলি পিতামাতার প্রক্রিয়ার স্মৃতিতে অ্যাক্সেস করতে সক্ষম করে, তাই আপনি কিছু সময় এবং প্রচুর স্মৃতির স্থান বাঁচাতে পারেন।


1
+1 ক্রস-বৈধতা বিভক্ত করার সাথে এটি কীভাবে মোকাবেলা করে না সে সম্পর্কে দুর্দান্ত বিষয়।
শেন

ঘটনাক্রমে, ডিসিএসই দ্বারা পৃথক এসভিএমগুলির জন্য এইচপিসি সক্ষম করার ক্ষেত্রে সাম্প্রতিক কিছু কাজ হয়েছে (২০১৩) ( হেক্টর.এক.উক / সিসি / ডিস্ট্রিবিউটেডসিএস / রেকর্ডস / স্প্রিন্ট 03/ )। sprintএকটি ফাংশন সহ আর এর জন্য একটি প্যাকেজ রয়েছে psvm, তবে তারা আর 3.0 এর পরিবর্তনগুলি এবং নতুন সিআরএএন জমা দেওয়ার দিকনির্দেশগুলি মেনে চলার পিছনে কিছুটা পিছিয়ে রয়েছে, সুতরাং বর্তমান ডাউনলোডটি সিআরএন-তে উপলব্ধ নয় বা আর 3.0 এর সাথে সম্পূর্ণ সুসংগত নয়। আপনার মাইলেজ পরিবর্তিত হতে পারে.
উজ্জ্বল-তারা

3

শেন এবং ডার্ক উভয়ের প্রতিক্রিয়া সন্ধানে।

তবুও, আপনি আর এর বাণিজ্যিক সংস্করণটি দেখতে চান, বিপ্লব আর যা বড় ডেটাসেটগুলি মোকাবেলা করতে এবং একাধিক কোর চালানোর জন্য নির্মিত। এই সফ্টওয়্যারটি শিক্ষাবিদদের জন্য বিনামূল্যে (যা আপনার ক্ষেত্রে হতে পারে, আমি জানি না)


5
আমি কিছুটা দ্বিমত পোষণ করি। বিপ্লব মনস্তাদ অর্জনে দুর্দান্ত বিক্রয় কাজ করে (আপনার পোস্টের দ্বারা প্রমাণিত) তবে এই মুহুর্তে পণ্যটি খুব কম রয়েছে যা আপনি ইতিমধ্যে সাধারণ আর (কমপক্ষে লিনাক্সে) পাবেন না। ইন্টেল এমকেএল, নিশ্চিত, তবে আপনি গোটো ব্লেস পেতে পারেন। উইন্ডোজে, তারা doSMP অফার করে যা মাল্টিকোর সেখানে নির্মিত যেতে পারে না বলে সহায়তা করে।
ডিস্ক এডেলবুয়েটেল

2
তবে, অবশ্যই, ডিএসএমপি হ'ল ওপি যদি উইন্ডোজ পরিবেশে কাজ করে তবে তা ঠিক সেটাই খুঁজছিল।
রাসেলপিয়েরস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.