我正在读取数百个HDF文件,并分别处理每个HDF的数据。但是,这需要非常多的时间,因为它一次只能处理一个HDF文件。我刚刚偶然发现了http://docs.python.org/library/multiprocessing.html,现在想知道如何使用多处理来加快速度。在
到目前为止,我想到了这个:
import numpy as np
from multiprocessing import Pool
def myhdf(date):
ii = dates.index(date)
year = date[0:4]
month = date[4:6]
day = date[6:8]
rootdir = 'data/mydata/'
filename = 'no2track'+year+month+day
records = read_my_hdf(rootdir,filename)
if records.size:
results[ii] = np.mean(records)
dates = ['20080105','20080106','20080107','20080108','20080109']
results = np.zeros(len(dates))
pool = Pool(len(dates))
pool.map(myhdf,dates)
然而,这显然是不正确的。你能跟着我的思路做我想做的事吗?我需要改变什么?在
请尝试joblib以获得更友好的
multiprocessing
包装:Pool classesmap函数类似于标准的python库
map
函数,您可以保证按照放入结果的顺序返回结果。知道了这一点,唯一的另一个诀窍就是你需要以一致的方式返回结果,然后过滤它们。在如果您真的想在结果可用时立即使用imap_unordered
相关问题 更多 >
编程相关推荐