আমি নিম্নলিখিত হিসাবে 'মাল্টিপ্রসেস.পুল.আইম্যাপ_উনর্ডার্ড' ব্যবহার করছি
from multiprocessing import Pool
pool = Pool()
for mapped_result in pool.imap_unordered(mapping_func, args_iter):
do some additional processing on mapped_result
আমি ফোন করতে হবে pool.closeবা pool.joinলুপ জন্য পরে?
উত্তর:
না, আপনি না, তবে আপনি যদি পুলটি আর ব্যবহার না করে থাকেন তবে এটি সম্ভবত একটি ভাল ধারণা।
কল করার কারণগুলি pool.closeবা এই এসও পোস্টেpool.join টিম পিটার্স ভাল বলেছেন :
পুলক্লোজ () হিসাবে, আপনাকে কল করা উচিত যে কখন - এবং কেবল তখনই - আপনি কখন পুলের দৃষ্টান্তে আরও কাজ জমা দিতে যাবেন না। সুতরাং আপনার মূল প্রোগ্রামের সমান্তরাল অংশ শেষ হয়ে গেলে সাধারণত পুলক্লোজ () বলা হয়। তারপরে ইতিমধ্যে নির্ধারিত সমস্ত কাজ শেষ হয়ে গেলে শ্রমিক প্রক্রিয়াগুলি সমাপ্ত হবে।
কর্মী প্রক্রিয়াগুলি শেষ হওয়ার জন্য অপেক্ষা করতে পুল.জাইন () কে কল করাও দুর্দান্ত অনুশীলন। অন্যান্য কারণগুলির মধ্যে প্রায়শই সমান্তরাল কোডগুলিতে ব্যতিক্রমগুলির প্রতিবেদন করার কোনও ভাল উপায় নেই (ব্যতিক্রমগুলি কেবলমাত্র আপনার মূল প্রোগ্রামটি যা করছে তা স্পষ্টতই সম্পর্কিত প্রসঙ্গে দেখা যায়) এবং পুল.জোঁইন () এমন একটি সিঙ্ক্রোনাইজেশন পয়েন্ট সরবরাহ করে যা ঘটেছিল কিছু ব্যতিক্রমগুলির প্রতিবেদন করতে পারে কর্মী প্রক্রিয়াগুলিতে যা আপনি অন্যথায় কখনও দেখতে চান না।
pool.close()প্রথম এবং pool.join()দ্বিতীয় কল করতে পছন্দ করে । এটি আপনাকে এর মধ্যে কাজ যোগ করার অনুমতি দেয় pool.close()এবং এর pool.join()জন্য পুলটি সম্পাদন শেষ করার অপেক্ষা করতে হবে না।
আমি যখন মেমরি ব্যবহার করি না তখন পাইথনের মাল্টিপ্রসেসিং.পুলের সাথে মেমরির ব্যবহার বাড়তে থাকেpool.close() এবং লেভেনস্টেইনের দূরত্ব গণনা pool.join()করে pool.map()এমন কোনও ফাংশন ব্যবহার করার সময় আমার একই মেমরির সমস্যা ছিল । ফাংশনটি দুর্দান্তভাবে কাজ করেছিল, তবে একটি উইন 64৪ মেশিনে সঠিকভাবে আবর্জনা সংগ্রহ করা হয়নি, এবং পুরো অপারেটিং সিস্টেমটি নামিয়ে না ফেলা পর্যন্ত ফাংশনটি ডাকা যাওয়ার সময় মেমরির ব্যবহার নিয়ন্ত্রণের বাইরে চলে যায়। এখানে কোডটি ফাঁস স্থির করেছে:
stringList = []
for possible_string in stringArray:
stringList.append((searchString,possible_string))
pool = Pool(5)
results = pool.map(myLevenshteinFunction, stringList)
pool.close()
pool.join()
পুলটি বন্ধ করে যোগদানের পরে স্মৃতি ফুটোটি চলে গেল।
ERROR: Terminated with signal 15ক্লিনআপ কোড যুক্ত করার আগে পেয়ে pool.close();pool.join();যাচ্ছিলাম তবে সেই ক্লিনআপ কোড যুক্ত করার পরে আমি কনসোল বার্তা পাই না। সুতরাং আমি কমপক্ষে আমার সংস্করণে সন্দেহ করি, সি 7 থেকে অজগর ২.,, যে পুলটি সম্ভবত কোনওরকমভাবে পরিষ্কার করছে না।
pool.join()পরে সাধারণত কলpool.close()করি তবে আমিpool.imap_unordered()পুনরাবৃত্ত হিসাবে ব্যবহার করার চেষ্টা করিনি ।