প্রশ্ন ট্যাগ «shared-memory»

ধরা যাক আমার কাছে মেমরি ন্যাম্পি অ্যারে বড় রয়েছে, আমার একটি ফাংশন রয়েছে funcযা এই জায়ান্ট অ্যারেটিকে ইনপুট হিসাবে গ্রহণ করে (কিছু অন্যান্য প্যারামিটারের সাথে একসাথে)। funcবিভিন্ন পরামিতি সমান্তরালে চালানো যেতে পারে। উদাহরণ স্বরূপ: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

আমার একটি প্রকল্প নিয়ে আমার কিছুটা সমস্যা আছে। আমি ভাগ করে নেওয়া মেমরি ব্যবহার করে একটি ভাল ডকুমেন্টেড উদাহরণ খুঁজে পেতে চেষ্টা করেছি fork()তবে সফল হয়নি। মূলত দৃশ্যটি হ'ল ব্যবহারকারী যখন প্রোগ্রামটি শুরু করেন তখন আমার দুটি শেয়ার করা দরকার শেয়ার্ড মেমোরিতে: কারেন্ট_পথ যা একটি চর * এবং একটি ফাইলের …

117 c  linux  fork  shared-memory 

আমার কাছে একটি 60 গিগাবাইট সাইপাই অ্যারে (ম্যাট্রিক্স) আছে আমাকে অবশ্যই 5+ multiprocessing Processঅবজেক্টের মধ্যে ভাগ করতে হবে । আমি ন্যুপি-শেয়ার্ডমেম দেখেছি এবং এই আলোচনাটি সায়পাই তালিকায় পড়েছি । দুটি পন্থা বলে মনে হচ্ছে - numpy-sharedmemএবং একটি multiprocessing.RawArray()এবং NumPy dtypeগুলিকে ম্যাপিং ব্যবহার করে ctype। এখন, numpy-sharedmemযাওয়ার উপায় মনে হচ্ছে, তবে …

90 python  numpy  multiprocessing  shared-memory 

আমার প্রায়শই খুব বড় DataFrame(মিশ্রিত ডেটা ধরণের) গোষ্ঠীতে একটি ফাংশন প্রয়োগ করা প্রয়োজন এবং একাধিক কোরের সুবিধা নিতে চাই। আমি গ্রুপগুলি থেকে একটি ইেটরেটর তৈরি করতে এবং মাল্টিপ্রসেসিং মডিউলটি ব্যবহার করতে পারি, তবে এটি দক্ষ নয় কারণ প্রতিটি গ্রুপ এবং ফাংশনের ফলাফলগুলি প্রক্রিয়াগুলির মধ্যে বার্তাপ্রেরণের জন্য অবশ্যই মিশ্রিত করতে হবে। …

89 python  pandas  multiprocessing  shared-memory