সাবপ্রসেস থেকে রিয়েলটাইমে স্ট্যাডআউট ধরা

Question 1

আমি subprocess.Popen()উইন্ডোজে rsync.exe করতে চাই এবং পাইথনের স্টাডাউট প্রিন্ট করতে চাই।

আমার কোডটি কাজ করে, তবে কোনও ফাইল স্থানান্তর সম্পন্ন না হওয়া পর্যন্ত এটি অগ্রগতি অর্জন করে না! আমি প্রতিটি ফাইলের জন্য বাস্তব সময়ে প্রিন্ট করতে চাই।

পাইথন ৩.১ ব্যবহার করার পরে যেহেতু আমি শুনেছি এটি আইও পরিচালনা করার ক্ষেত্রে আরও ভাল হওয়া উচিত।

import subprocess, time, os, sys

cmd = "rsync.exe -vaz -P source/ dest/"
p, line = True, 'start'


p = subprocess.Popen(cmd,
                     shell=True,
                     bufsize=64,
                     stdin=subprocess.PIPE,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE)

for line in p.stdout:
    print(">>> " + str(line.rstrip()))
    p.stdout.flush()

Question 2

এর জন্য থাম্বের কিছু নিয়ম subprocess।

কখনও ব্যবহার করবেন না shell=True। এটি অযথা আপনার প্রোগ্রামকে কল করার জন্য একটি অতিরিক্ত শেল প্রক্রিয়া শুরু করে।
প্রক্রিয়া কল করার সময়, আর্গুমেন্টগুলি তালিকা হিসাবে পাস করা হয়। sys.argvপাইথন ইন একটি তালিকা, এবং argvসি তে হয়। সুতরাং আপনি একটি স্ট্রিং নয়, subprocesses কল করতে একটি তালিকা পাস Popen।
পুনর্নির্দেশ না stderrএকটি থেকে PIPEযখন আপনি এটি পড়া করছি না।
আপনি stdinযখন এটি লিখছেন না তখন পুনর্নির্দেশ করবেন না ।

উদাহরণ:

import subprocess, time, os, sys
cmd = ["rsync.exe", "-vaz", "-P", "source/" ,"dest/"]

p = subprocess.Popen(cmd,
                     stdout=subprocess.PIPE,
                     stderr=subprocess.STDOUT)

for line in iter(p.stdout.readline, b''):
    print(">>> " + line.rstrip())

এটি বলেছিল যে, এটি সম্ভবত টার্মিনালের পরিবর্তে পাইপের সাথে সংযুক্ত আছে কিনা তা সনাক্ত করে যখন আরএসসিএনসি তার আউটপুটটিকে বাফার করে। এটি ডিফল্ট আচরণ - যখন পাইপের সাথে সংযুক্ত থাকে, প্রোগ্রামগুলি অবশ্যই রিয়েলটাইমের ফলাফলের জন্য স্পষ্টভাবে স্ট্ডআউটকে ফ্লাশ করতে হবে, অন্যথায় স্ট্যান্ডার্ড সি লাইব্রেরিটি বাফার করবে।

এর জন্য পরীক্ষা করতে, পরিবর্তে এটি চালানোর চেষ্টা করুন:

cmd = [sys.executable, 'test_out.py']

এবং test_out.pyবিষয়বস্তু সহ একটি ফাইল তৈরি করুন:

import sys
import time
print ("Hello")
sys.stdout.flush()
time.sleep(10)
print ("World")

এই সাব-প্রসেসটি কার্যকর করা আপনাকে "হ্যালো" দেবে এবং "ওয়ার্ল্ড" দেওয়ার আগে 10 সেকেন্ড অপেক্ষা করবে। যদি উপরের অজগর কোডের সাথে এটি ঘটে এবং এর সাথে না হয় rsync, তার অর্থ হ'ল rsyncনিজেই আউটপুট বাফার করছে, সুতরাং আপনার ভাগ্য নেই।

একটি সমাধান হ'ল সরাসরি এর সাথে সংযোগ স্থাপন করা pty, এরকম কিছু ব্যবহার করে pexpect।

Question 3

আমি জানি এটি একটি পুরানো বিষয়, তবে এখন একটি সমাধান রয়েছে। বিকল্পটি --outbuf = এল সহ আরএসসিএনকে কল করুন। উদাহরণ:

cmd=['rsync', '-arzv','--backup','--outbuf=L','source/','dest']
p = subprocess.Popen(cmd,
                     stdout=subprocess.PIPE)
for line in iter(p.stdout.readline, b''):
    print '>>> {}'.format(line.rstrip())

Question 4

লিনাক্সে, আমার বাফারিং থেকে মুক্তি পাওয়ার একই সমস্যা ছিল। পিআইপিই বাফারিং থেকে মুক্তি পেতে অবশেষে আমি "stdbuf -o0" (বা প্রত্যাশা থেকে উদ্বিগ্ন) ব্যবহার করেছি।

proc = Popen(['stdbuf', '-o0'] + cmd, stdout=PIPE, stderr=PIPE)
stdout = proc.stdout

আমি তখন stdout এ সিলেক্ট সিলেক্ট করতে পারি।

এছাড়াও দেখুন /unix/25372/

Question 5

ব্যবহারের ক্ষেত্রে উপর নির্ভর করে আপনি সাব-প্রসেসে নিজেই বাফারিংটি অক্ষম করতে চাইতে পারেন।

যদি সাবপ্রসেসটি পাইথন প্রক্রিয়া হয়, আপনি কল করার আগে এটি করতে পারেন:

os.environ["PYTHONUNBUFFERED"] = "1"

অথবা বিকল্পভাবে envযুক্তিতে এটি পাস করুন Popen।

অন্যথায়, আপনি যদি লিনাক্স / ইউনিক্সে থাকেন তবে আপনি stdbufসরঞ্জামটি ব্যবহার করতে পারেন । যেমন:

cmd = ["stdbuf", "-oL"] + cmd

আরও দেখুন এখানে সম্পর্কে stdbufবা অন্যান্য অপশন।

Question 6

for line in p.stdout:
  ...

সর্বদা পরবর্তী লাইন-ফিড পর্যন্ত অবরুদ্ধ করে।

"রিয়েল-টাইম" আচরণের জন্য আপনাকে এই জাতীয় কিছু করতে হবে:

while True:
  inchar = p.stdout.read(1)
  if inchar: #neither empty string nor None
    print(str(inchar), end='') #or end=None to flush immediately
  else:
    print('') #flush for implicit line-buffering
    break

যখন শিশু প্রক্রিয়াটি তার স্টাডআউটটি বন্ধ করে দেয় বা প্রস্থান হয় তখন লুপটি বাকি থাকে। read()/read(-1)শিশু প্রক্রিয়াটি তার স্টাডআউট বন্ধ বা প্রস্থান না হওয়া অবধি অবরুদ্ধ হবে।

Question 7

আপনার সমস্যাটি হ'ল:

for line in p.stdout:
    print(">>> " + str(line.rstrip()))
    p.stdout.flush()

পুনরুক্তিকারী নিজেই অতিরিক্ত বাফারিং আছে।

এটি করার চেষ্টা করুন:

while True:
  line = p.stdout.readline()
  if not line:
     break
  print line

Question 8

আপনি পাইপে আনফারড মুদ্রণের জন্য স্টাডাউট পেতে পারবেন না (যদি আপনি প্রোগ্রামটি নতুন করে লিখতে না পারেন তবে স্টাডাউট প্রিন্ট করে), তাই আমার সমাধানটি এখানে:

স্টার্ডআউটকে স্টেরারে পুনর্নির্দেশ করুন, যা বাফার হয় না। '<cmd> 1>&2'এটা করা উচিত। প্রক্রিয়াটি নিম্নরূপে খুলুন: myproc = subprocess.Popen('<cmd> 1>&2', stderr=subprocess.PIPE)
আপনি স্টডআউট বা স্ট্ডার থেকে আলাদা করতে পারবেন না, তবে আপনি সমস্ত আউটপুট সঙ্গে সঙ্গেই পাবেন get

আশা করি যে কেউ এই সমস্যা মোকাবেলায় সহায়তা করবে।

Question 9

স্ট্রেডআউটটি আরএসসিএনসি প্রক্রিয়া থেকে আনফার করাতে পরিবর্তন করুন।

p = subprocess.Popen(cmd,
                     shell=True,
                     bufsize=0,  # 0=unbuffered, 1=line-buffered, else buffer-size
                     stdin=subprocess.PIPE,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE)

Question 10

আউটপুট ক্যাচিং এড়ানোর জন্য আপনি সম্ভবত এক্সপেক্টটি চেষ্টা করতে চান,

child = pexpect.spawn(launchcmd,args,timeout=None)
while True:
    try:
        child.expect('\n')
        print(child.before)
    except pexpect.EOF:
        break

পিএস : আমি জানি এই প্রশ্নটি বেশ পুরানো, এখনও আমার জন্য কার্যকর সমাধানটি সরবরাহ করে।

পিপিএস : অন্য একটি প্রশ্ন থেকে এই উত্তর পেয়েছে

Question 11

    p = subprocess.Popen(command,
                                bufsize=0,
                                universal_newlines=True)

আমি পাইথনে আরএসএনসি-র জন্য একটি জিইউআই লিখছি, এবং একই প্রবাদ রয়েছে। পাইডকটিতে এটি না পাওয়া পর্যন্ত এই সমস্যাটি বেশ কয়েক দিন ধরে আমাকে সমস্যায় ফেলেছে।

ইউনিভার্সাল_নিউলাইনস যদি সত্য হয় তবে সর্বজনীন নিউলাইনস মোডে টেক্সট ফাইল হিসাবে স্ট্যান্ডআউট এবং স্টডার ফাইল অবজেক্টগুলি খোলা হবে। উইন্ডোজ কনভেনশন, লাইনগুলি ইউনিক্সের শেষ-অব-লাইন কনভেনশন, '\ r', পুরানো ম্যাকিনটোস কনভেনশন বা '\ r \ n' দ্বারা শেষ হতে পারে। এই সমস্ত বাহ্যিক উপস্থাপনা পাইথন প্রোগ্রাম দ্বারা '\ n' হিসাবে দেখা হয়।

দেখে মনে হচ্ছে যে অনুবাদ চলছে যখন আরএসআইএনসি '\ r' আউটপুট দেবে।

Question 12

আমি লক্ষ করেছি যে অস্থায়ী ফাইলটি মধ্যবর্তী হিসাবে ব্যবহারের কোনও উল্লেখ নেই। নীচে অস্থায়ী ফাইলে আউটপুট করে বাফারিংয়ের সমস্যাগুলি পাওয়া যায় এবং আপনাকে পিটিআইয়ের সাথে সংযুক্ত না করে আরএসসিএনসি থেকে আসা ডেটা পার্স করার অনুমতি দেয়। আমি নিম্নলিখিতটি একটি লিনাক্স বাক্সে পরীক্ষা করেছি এবং আরএসসিএনসি-র আউটপুট প্ল্যাটফর্মগুলিতে পৃথক হতে পারে, তাই আউটপুট পার্স করার নিয়মিত প্রকাশগুলি বিভিন্ন রকম হতে পারে:

import subprocess, time, tempfile, re

pipe_output, file_name = tempfile.TemporaryFile()
cmd = ["rsync", "-vaz", "-P", "/src/" ,"/dest"]

p = subprocess.Popen(cmd, stdout=pipe_output, 
                     stderr=subprocess.STDOUT)
while p.poll() is None:
    # p.poll() returns None while the program is still running
    # sleep for 1 second
    time.sleep(1)
    last_line =  open(file_name).readlines()
    # it's possible that it hasn't output yet, so continue
    if len(last_line) == 0: continue
    last_line = last_line[-1]
    # Matching to "[bytes downloaded]  number%  [speed] number:number:number"
    match_it = re.match(".* ([0-9]*)%.* ([0-9]*:[0-9]*:[0-9]*).*", last_line)
    if not match_it: continue
    # in this case, the percentage is stored in match_it.group(1), 
    # time in match_it.group(2).  We could do something with it here...

Question 13

আপনি যদি থ্রেডে এই জাতীয় কিছু চালান এবং কোনও পদ্ধতির কোনও সম্পত্তিতে ffmpeg_time সম্পত্তি সংরক্ষণ করেন তবে আপনি এটি অ্যাক্সেস করতে পারেন এটি খুব সুন্দর কাজ করবে আমি এই জাতীয় ফলাফলগুলি পাই: আপনি যদি টিন্টারে থ্রেডিং ব্যবহার করেন তবে আউটপুট এমন হবে

input = 'path/input_file.mp4'
output = 'path/input_file.mp4'
command = "ffmpeg -y -v quiet -stats -i \"" + str(input) + "\" -metadata title=\"@alaa_sanatisharif\" -preset ultrafast -vcodec copy -r 50 -vsync 1 -async 1 \"" + output + "\""
process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True, shell=True)
for line in self.process.stdout:
    reg = re.search('\d\d:\d\d:\d\d', line)
    ffmpeg_time = reg.group(0) if reg else ''
    print(ffmpeg_time)

Question 14

পাইথন 3-তে, এখানে একটি সমাধান রয়েছে, যা কমান্ড লাইন থেকে একটি কমান্ড নেয় এবং রিয়েল-টাইমটি সুন্দরভাবে ডিকোডেড স্ট্রিংগুলি সরবরাহ করার সাথে সাথে প্রদান করে।

রিসিভার ( receiver.py):

import subprocess
import sys

cmd = sys.argv[1:]
p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
for line in p.stdout:
    print("received: {}".format(line.rstrip().decode("utf-8")))

রিয়েল-টাইম আউটপুট উত্পন্ন করতে পারে এমন সহজ প্রোগ্রামের উদাহরণ ( dummy_out.py):

import time
import sys

for i in range(5):
    print("hello {}".format(i))
    sys.stdout.flush()  
    time.sleep(1)

আউটপুট:

$python receiver.py python dummy_out.py
received: hello 0
received: hello 1
received: hello 2
received: hello 3
received: hello 4