এই কোডটির সমান্তরাল করার সহজতম উপায় কী?
আমি concurrent.futuresএটির জন্য সত্যই পছন্দ করি , এটি পাইথন 3 এ সংস্করণ 3.2 থেকে পাওয়া যায় - এবং পিপিআইতে ব্যাকপোর্টের মাধ্যমে 2.6 এবং 2.7 এ যায় ।
আপনি থ্রেড বা প্রক্রিয়া ব্যবহার করতে পারেন এবং ঠিক একই ইন্টারফেস ব্যবহার করতে পারেন।
মাল্টিপ্রসেসিং
এটিকে একটি ফাইলে রাখুন - ਭਵਿੱਖেস্টেস্ট.পি:
import concurrent.futures
import time, random # add some random sleep time
offset = 2 # you don't supply these so
def calc_stuff(parameter=None): # these are examples.
sleep_time = random.choice([0, 1, 2, 3, 4, 5])
time.sleep(sleep_time)
return parameter / 2, sleep_time, parameter * parameter
def procedure(j): # just factoring out the
parameter = j * offset # procedure
# call the calculation
return calc_stuff(parameter=parameter)
def main():
output1 = list()
output2 = list()
output3 = list()
start = time.time() # let's see how long this takes
# we can swap out ProcessPoolExecutor for ThreadPoolExecutor
with concurrent.futures.ProcessPoolExecutor() as executor:
for out1, out2, out3 in executor.map(procedure, range(0, 10)):
# put results into correct output list
output1.append(out1)
output2.append(out2)
output3.append(out3)
finish = time.time()
# these kinds of format strings are only available on Python 3.6:
# time to upgrade!
print(f'original inputs: {repr(output1)}')
print(f'total time to execute {sum(output2)} = sum({repr(output2)})')
print(f'time saved by parallelizing: {sum(output2) - (finish-start)}')
print(f'returned in order given: {repr(output3)}')
if __name__ == '__main__':
main()
এবং আউটপুট এখানে:
$ python3 -m futuretest
original inputs: [0.0, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0]
total time to execute 33 = sum([0, 3, 3, 4, 3, 5, 1, 5, 5, 4])
time saved by parallellizing: 27.68999981880188
returned in order given: [0, 4, 16, 36, 64, 100, 144, 196, 256, 324]
Multithreading
এখন পরিবর্তন ProcessPoolExecutorকরুন ThreadPoolExecutorএবং আবার মডিউল চালান:
$ python3 -m futuretest
original inputs: [0.0, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0]
total time to execute 19 = sum([0, 2, 3, 5, 2, 0, 0, 3, 3, 1])
time saved by parallellizing: 13.992000102996826
returned in order given: [0, 4, 16, 36, 64, 100, 144, 196, 256, 324]
এখন আপনি মাল্টিথ্রেডিং এবং মাল্টিপ্রসেসিং উভয়ই করেছেন!
পারফরম্যান্স এবং উভয় একসাথে ব্যবহার নেভিগেশন নোট।
ফলাফলের তুলনা করার জন্য স্যাম্পলিং অনেক ছোট।
তবে আমি সন্দেহ করি যে মাল্টিথ্রেডিং সাধারণত মাল্টিপ্রসেসিংয়ের চেয়ে দ্রুততর হবে, বিশেষত উইন্ডোজে, যেহেতু উইন্ডোজ কাঁটাচামচ সমর্থন করে না তাই প্রতিটি নতুন প্রক্রিয়া চালু হওয়ার জন্য সময় নিতে হবে। লিনাক্স বা ম্যাক এ তারা সম্ভবত আরও কাছাকাছি থাকবে।
আপনি একাধিক প্রক্রিয়ার অভ্যন্তরে একাধিক থ্রেড বাসাতে পারেন তবে একাধিক প্রক্রিয়া বন্ধ করতে একাধিক থ্রেড ব্যবহার না করার পরামর্শ দেওয়া হচ্ছে recommended
calc_stuff?