প্রশ্ন ট্যাগ «multiprocessing»

এমন একটি প্রোগ্রাম যা বেশ কয়েকটি প্রক্রিয়া তৈরি করে যা একটি যোগদানের যোগ্য ক্যুতে কাজ করে Qএবং পরিণতিতে Dফলাফল সংরক্ষণের জন্য একটি বিশ্বব্যাপী অভিধানে কারসাজি করতে পারে । (সুতরাং প্রতিটি শিশু প্রক্রিয়া Dতার ফলাফল সংরক্ষণ করতে ব্যবহার করতে পারে এবং অন্যান্য শিশু প্রক্রিয়াগুলি কী ফলাফল উত্পন্ন করছে তাও দেখতে পারে) …

113 python  multiprocessing 

মাল্টিপ্রসেসিং মডিউলটি ব্যবহারের জন্য আমি ভাগ করে নেওয়া মেমরিতে একটি নমপি অ্যারে ব্যবহার করতে চাই। অসুবিধা এটিকে একটি ছদ্মবেশ অ্যারের মতো ব্যবহার করছে, কেবল সাইকাইপ অ্যারে হিসাবে নয়। from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create the array N = …

111 python  numpy  multiprocessing  shared 

পাইথন মাল্টিপ্রসেসিং (একটি পিএমওটডাব্লু নিবন্ধ থেকে ) সম্পর্কে শিখছি এবং join()পদ্ধতিটি ঠিক কী করছে তা সম্পর্কে কিছু ব্যাখ্যা পছন্দ করবে । ২০০৮ সালের পুরানো টিউটোরিয়ালে এটি বর্ণিত হয়েছে যে p.join()নীচের কোডটিতে কল ছাড়াই "শিশু প্রক্রিয়াটি অলস বসে থাকবে এবং শেষ হবে না, একটি জম্বি হয়ে উঠবে আপনাকে অবশ্যই ম্যানুয়ালি হত্যা …

110 python  multiprocessing 

চাইল্ড প্রসেস মাধ্যমে উত্পন্ন হওয়া না মাল্টিপ্রসেসিং ভাগ প্রোগ্রামে পূর্বে নির্মিত বস্তু? আমার নিম্নলিখিত সেটআপ আছে: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) আমি স্মৃতিতে কিছু বড় বস্তু লোড করছি, তারপরে কর্মীদের …

107 python  multiprocessing 

আমার কোডটিকে আরও "পাইথোনিক" এবং দ্রুততর করার জন্য, আমি "মাল্টিপ্রসেসিং" এবং একটি মানচিত্র ফাংশন এটি প্রেরণের জন্য ব্যবহার করি) ক) ফাংশন এবং খ) পুনরাবৃত্তির পরিসর। ইমপ্লান্টেড সলিউশন (অর্থাত্ tqdm কল করুন tqdm.tqdm রেঞ্জের উপর সরাসরি (পরিসীমা (0, 30%)) মাল্টিপ্রসেসিং (নীচের কোড অনুসারে) দ্বারা কাজ করে না। অগ্রগতি বারটি 0 থেকে …

103 python  multiprocessing  progress-bar  tqdm 

অ-ডেমনিক নয় এমন একটি অজগর পুল তৈরি করা কি সম্ভব হবে? আমি চাই যে একটি পুল একটি ফাংশন কল করতে সক্ষম হবে যার ভিতরে আরও একটি পুল রয়েছে। আমি এটি চাই কারণ ডিমন প্রক্রিয়াগুলি প্রক্রিয়া তৈরি করতে পারে না। বিশেষত, এটি ত্রুটির কারণ ঘটবে: AssertionError: daemonic processes are not allowed …

102 python  multiprocessing  pool 

আমার কাছে একটি স্ক্রিপ্ট রয়েছে যা imap_unordered()কল সহ সফলভাবে একটি মাল্টিপ্রসেসিং পুলের কাজগুলির সেট করে : p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion যাইহোক, আমার num_tasksপ্রায় 250,000, এবং তাই join()10 সেকেন্ড বা তার বেশি সময়ের জন্য মূল থ্রেডটি লক হয়ে …

100 python  multiprocessing 

multiprocessingমডিউলটির ডকুমেন্টেশন দেখায় যে কীভাবে কোনও প্রক্রিয়ায় একটি সারি পাস করতে হবে multiprocessing.Process। তবে আমি কীভাবে অ্যাসিক্রোনাস কর্মী প্রক্রিয়া শুরু করার সাথে একটি সারি ভাগ করতে পারি apply_async? আমার গতিশীল যোগদান বা অন্য কিছু দরকার নেই, কেবল শ্রমিকদের পক্ষে (বারবার) তাদের ফলাফলগুলি বেসে ফেরত দেওয়ার একমাত্র উপায়। import multiprocessing def …

96 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

পাইথনটিতে মাল্টিপ্রসেসিং সারি কীভাবে কাজ করে এবং কীভাবে এটি প্রয়োগ করা যায় তা বোঝার চেষ্টা করতে আমার অনেক সমস্যা হচ্ছে। আসুন বলুন যে আমার কাছে দুটি পাইথন মডিউল রয়েছে যা একটি ভাগ করা ফাইল থেকে ডেটা অ্যাক্সেস করে, আসুন এই দুটি মডিউলকে একজন লেখক এবং পাঠক হিসাবে কল করুন। আমার …

94 python  multithreading  multiprocessing 

আমি ডকুমেন্টেশনটি http://docs.python.org/dev/library/m মাল্টিপ্রসেসিং html এ পড়ার চেষ্টা করেছি তবে আমি এখনও মাল্টিপ্রসেসিং ক্যু, পুল এবং লকিং নিয়ে লড়াই করছি। এবং আপাতত আমি নীচের উদাহরণটি তৈরি করতে সক্ষম হয়েছি। ক্যু এবং পুল সম্পর্কে, আমি ধারণাটি সঠিকভাবে বুঝতে পেরেছি কিনা তা আমি নিশ্চিত নই, তাই আমি ভুল হলে আমাকে সংশোধন করুন। …

92 python  python-2.7  multiprocessing 

আমার কাছে একটি 60 গিগাবাইট সাইপাই অ্যারে (ম্যাট্রিক্স) আছে আমাকে অবশ্যই 5+ multiprocessing Processঅবজেক্টের মধ্যে ভাগ করতে হবে । আমি ন্যুপি-শেয়ার্ডমেম দেখেছি এবং এই আলোচনাটি সায়পাই তালিকায় পড়েছি । দুটি পন্থা বলে মনে হচ্ছে - numpy-sharedmemএবং একটি multiprocessing.RawArray()এবং NumPy dtypeগুলিকে ম্যাপিং ব্যবহার করে ctype। এখন, numpy-sharedmemযাওয়ার উপায় মনে হচ্ছে, তবে …

90 python  numpy  multiprocessing  shared-memory 

আমার প্রায়শই খুব বড় DataFrame(মিশ্রিত ডেটা ধরণের) গোষ্ঠীতে একটি ফাংশন প্রয়োগ করা প্রয়োজন এবং একাধিক কোরের সুবিধা নিতে চাই। আমি গ্রুপগুলি থেকে একটি ইেটরেটর তৈরি করতে এবং মাল্টিপ্রসেসিং মডিউলটি ব্যবহার করতে পারি, তবে এটি দক্ষ নয় কারণ প্রতিটি গ্রুপ এবং ফাংশনের ফলাফলগুলি প্রক্রিয়াগুলির মধ্যে বার্তাপ্রেরণের জন্য অবশ্যই মিশ্রিত করতে হবে। …

89 python  pandas  multiprocessing  shared-memory 

পাইথন ৩.২.২ এ একাধিক কোর এ চালানোর জন্য আমি কিছু সিএসভি-পঠন কোডটি পুনরায় লেখার চেষ্টা করেছি। আমি Poolমাল্টিপ্রসেসিংয়ের অবজেক্টটি ব্যবহার করার চেষ্টা করেছি , যা আমি কাজের উদাহরণগুলি থেকে অভিযোজিত করেছি (এবং ইতিমধ্যে আমার প্রকল্পের অন্য অংশের জন্য আমার জন্য কাজ করেছেন)। আমি একটি ত্রুটি বার্তায় ছুটে এসেছি যে আমি …

87 python  python-3.x  multiprocessing  pool