আমি যখন এই সমস্যাটি নিজেই মোকাবিলা করতে হয়েছিলাম তখন একটি সাধারণ উদাহরণ এবং আমি যে ব্যাখ্যাগুলি কার্যকর পেয়েছি তার সাথে অবদান রাখতে চাই।
এই উত্তরে আপনি পাইথনের জিআইএল সম্পর্কে কিছু তথ্য পাবেন (গ্লোবাল ইন্টারপ্রেটার লক) এবং মাল্টিপ্রসেসিং.ডমি এবং আরও কিছু সাধারণ মাপদণ্ড ব্যবহার করে লিখিত একটি সাধারণ দিনের উদাহরণস্বরূপ কিছু তথ্য পাবেন।
গ্লোবাল ইন্টারপ্রেটার লক (জিআইএল)
পাইথন শব্দের সত্যিকার অর্থে মাল্টি-থ্রেডিংয়ের অনুমতি দেয় না। এটিতে একটি মাল্টি-থ্রেডিং প্যাকেজ রয়েছে, তবে আপনি যদি নিজের কোডটি গতি বাড়ানোর জন্য মাল্টি-থ্রেড করতে চান তবে সাধারণত এটি ব্যবহার করা ভাল ধারণা নয়।
পাইথনের গ্লোবাল ইন্টারপ্রেটার লক (জিআইএল) নামে একটি নির্মাণ রয়েছে। জিআইএল নিশ্চিত করে যে আপনার 'থ্রেডগুলির মধ্যে একটি' যে কোনও সময়ে কার্যকর করতে পারে। একটি থ্রেড জিআইএল অর্জন করে, সামান্য কাজ করে, তারপরে জিআইএলকে পরবর্তী থ্রেডে প্রেরণ করে।
এটি খুব দ্রুত ঘটে তাই এটি মানুষের চোখের কাছে মনে হয় আপনার থ্রেডগুলি সমান্তরালভাবে সঞ্চালিত হচ্ছে, তবে তারা সত্যিকার অর্থে একই সিপিইউ কোর ব্যবহার করে পালাচ্ছে।
এই সমস্ত জিআইএল পাসিং এক্সিকিউশনে ওভারহেড যুক্ত করে। এর অর্থ হল আপনি যদি আপনার কোডটি দ্রুত চালাতে চান তবে থ্রেডিং প্যাকেজটি প্রায়শই ব্যবহার করা ভাল ধারণা নয়।
পাইথনের থ্রেডিং প্যাকেজটি ব্যবহার করার কারণ রয়েছে। আপনি যদি কিছু জিনিস এক সাথে চালাতে চান, এবং দক্ষতা কোনও উদ্বেগ নয়, তবে এটি সম্পূর্ণ সূক্ষ্ম এবং সুবিধাজনক। অথবা আপনি যদি এমন কোড চালিয়ে যাচ্ছেন যে কোনও কিছুর জন্য অপেক্ষা করতে হবে (কিছু আই / ও এর মতো) তবে এটি প্রচুর পরিমাণে অর্থ বোধ করতে পারে। তবে থ্রেডিং লাইব্রেরি আপনাকে অতিরিক্ত সিপিইউ কোর ব্যবহার করতে দেবে না।
মাল্টি-থ্রেডিং অপারেটিং সিস্টেমে (মাল্টি-প্রসেসিং করে) আউটসোর্স করা যেতে পারে এবং কিছু বাহ্যিক অ্যাপ্লিকেশন যা আপনার পাইথন কোডকে কল করে (উদাহরণস্বরূপ, স্পার্ক বা হ্যাডোপ) ), বা এমন কিছু কোড যা আপনার পাইথন কোড কল করে (উদাহরণস্বরূপ: আপনি পারে আপনার পাইথন কোডটিতে একটি সি ফাংশন কল করুন যা ব্যয়বহুল মাল্টি-থ্রেডযুক্ত জিনিসগুলি করে)।
কেন এই বিষয়গুলি
কারণ জিআইএল কী তা শিখার আগে প্রচুর লোকেরা তাদের অভিনব পাইথন মাল্টি-থ্রেড কোডে বাধা খুঁজে পেতে প্রচুর সময় ব্যয় করে।
এই তথ্যটি পরিষ্কার হয়ে গেলে, আমার কোডটি এখানে:
#!/bin/python
from multiprocessing.dummy import Pool
from subprocess import PIPE,Popen
import time
import os
# In the variable pool_size we define the "parallelness".
# For CPU-bound tasks, it doesn't make sense to create more Pool processes
# than you have cores to run them on.
#
# On the other hand, if you are using I/O-bound tasks, it may make sense
# to create a quite a few more Pool processes than cores, since the processes
# will probably spend most their time blocked (waiting for I/O to complete).
pool_size = 8
def do_ping(ip):
if os.name == 'nt':
print ("Using Windows Ping to " + ip)
proc = Popen(['ping', ip], stdout=PIPE)
return proc.communicate()[0]
else:
print ("Using Linux / Unix Ping to " + ip)
proc = Popen(['ping', ip, '-c', '4'], stdout=PIPE)
return proc.communicate()[0]
os.system('cls' if os.name=='nt' else 'clear')
print ("Running using threads\n")
start_time = time.time()
pool = Pool(pool_size)
website_names = ["www.google.com","www.facebook.com","www.pinterest.com","www.microsoft.com"]
result = {}
for website_name in website_names:
result[website_name] = pool.apply_async(do_ping, args=(website_name,))
pool.close()
pool.join()
print ("\n--- Execution took {} seconds ---".format((time.time() - start_time)))
# Now we do the same without threading, just to compare time
print ("\nRunning NOT using threads\n")
start_time = time.time()
for website_name in website_names:
do_ping(website_name)
print ("\n--- Execution took {} seconds ---".format((time.time() - start_time)))
# Here's one way to print the final output from the threads
output = {}
for key, value in result.items():
output[key] = value.get()
print ("\nOutput aggregated in a Dictionary:")
print (output)
print ("\n")
print ("\nPretty printed output: ")
for key, value in output.items():
print (key + "\n")
print (value)
