我有script.py,它的目标是处理多达3个轨迹文件(.gro),用户可以选择在脚本的一次执行中分析多少个。我还有多达5个函数(分析类型),用户可以选择在终端上输入多少:
python script.py -f traj1.gro,traj2.gro,traj3.gro -a analysis1,analysis2,analysis3 -o results
每个分析类型都有自己的函数,用户输入的所有traj文件都存储在一个列表中:analysistypes
。一个接一个地处理每个traj文件,但所有分析类型都需要同时进行,所以我在代码的某个地方使用了Process
files = [] #['traj1.gro','traj2.gro','traj3.gro']
analysistypes = [] #['analysis1','analysis2','analysis3']
results = '' (everything from the terminal stored using sys.argv)
def analysis1(ffile):
outfile1 = '%s_outfile1_%s.xvg'%(results, ffile[:-4])
with open('%s'%outfile1, 'w') as out:
out.write('@ TITLE "analysis1"')
out.write('\n')
with open(ffile, 'rb') as fi:
...do something
with open('%s'%outfile1, 'a') as out: #outfile1 is output file for analysis 1
for something...
...do something
out.write('\n')
out.write(info)
def analysis2(ffile):
(similar to above, produces output file with info)
... and so on for the other analyses
def runAll(fns,i):
proc = []
for fnName in fns:
fn = globals()[fnName]
p = Process(target=fn, args=(i,))
p.start()
proc.append(p)
for p in proc:
p.join()
for ffile in files:
runAll(analysistypes,ffile)
... rest of the code
对于每个分析类型,对于每个traj文件,我都需要一个输出文件。在本例中,每个traj文件需要3个输出文件(我有3个),因此总共有9个输出文件。这个很好用
问题是如果我开始尝试4种分析类型。一个输出文件总是空的。它在那里,它至少有一个标题,但数据根本不在那里。我百分之百肯定这不是函数的问题,因为我已经分别尝试了100万次,只有当我尝试同时运行4时才会出错。它甚至出现了一个错误消息,上面说:
.... got 5 columns instead of 5
但这不是重点。终端“责怪”的功能不一致,每次都会改变。另外,当我同时尝试5时,一个输出文件将是空白的,一个将是半完整的,而其他的将是完全正确的
(我还试着只放置1个traj文件和5个分析类型,得到了相同的结果。)
我还在网上查找解决方案,并尝试了另一种方法:
我将for循环中的runAll替换为:
if __name__ == '__main__':
procs = []
for ana in analysistypes:
anaa = globals()[ana]
procs.append(Process(target=anaa, args=(ffile,)))
map(lambda x: x.start(), procs)
map(lambda x: x.join(), procs)
但还是不行,我也得到了同样的结果。我怀疑每个轨迹文件的文件大小是12gb。我用的是Mac,操作系统是Ubuntu,硬盘空间是120GB,我已经用了55%。这里的文件大小是不是有问题
目前没有回答
相关问题 更多 >
编程相关推荐