python subprocess 自动运行实验室程序

浏览数：21 / 时间：2015年06月08日

import threading, os, subprocess, time

exec_path = "/home/xhz/gems/ruby/amd...../bin/tester.exec"

out_data_path = "/home/xhz/...generated/"

max_process = 5

processes = set()

exec_commands = []

for id in xrange(1,45,2):
    stat_filename = out_data_path + ‘stat_‘ + str(id) + ‘.txt‘
    config_filename = out_data_path + ‘config_‘ + str(id) + ‘.txt‘
    command = "/home/xhz/gems/ruby.../tester.exec -l 1000000 -i " + str(id*0.001) +" -f 1 -d 2 -x 4 -j 0 --stat_output_file " + stat_filename + " --config_output_file " + config_filename
    exec_commands.append(command)

for command in exec_commands:
    print command
    processes.add(subprocess.Popen(command, shell=True))
    while len(processes) >= max_process):
        time.sleep(60)
        new_process = set()
        for p in processes:
            print p
            if(p.poll() is not None): #terminated
                new_processes.add(p)      #collect all threads that terminate
        
        processes.difference_update(new_process) #remove elements found in new_process

参考材料：

来自：http://zhou123.blog.51cto.com/4355617/1312791

这里介绍一下python执行shell命令的四种方法：

1、os模块中的os.system()这个函数来执行shell命令

>>> os.system(‘ls‘)
anaconda-ks.cfg  install.log  install.log.syslog  send_sms_service.py  sms.py
0

注，这个方法得不到shell命令的输出。

2、popen()#这个方法能得到命令执行后的结果是一个字符串，要自行处理才能得到想要的信息。

>>> import os
>>> str = os.popen("ls").read()
>>> a = str.split("\n")
>>> for b in a:
        print b

这样得到的结果与第一个方法是一样的。

3、commands模块#可以很方便的取得命令的输出（包括标准和错误输出）和执行状态位

import commands
a,b = commands.getstatusoutput(‘ls‘)
a是退出状态
b是输出的结果。
>>> import commands
>>> a,b = commands.getstatusoutput(‘ls‘)
>>> print a
0
>>> print b
anaconda-ks.cfg
install.log
install.log.syslog