能否两个Python程序同时写入和读取同一个HDF5文件？

Question

我有2个python程序：

1)data reciever: It's a TCP SERVER writen in tornado,about 3,000 rows of data will be sent to it every second. here is the hander:

def _on_data_rev(data_list):
    tickstore_file=r"d:\data\2016_01_11.h5"
    tempdf=pd.DataFrame(data_list)
    hdf_output = pd.HDFStore(tickstore_file, complib='blosc')
    hdf_output['_'+str(int(time.time()))]=tempdf
    hdf_output.flush()

数据来得很快，所以这个程序只做保存工作，而不做其他工作。在

2)data analysis:program 2 will analysis the lastest data on the same file every second

我可以同时读取HDF5文件吗？这会破坏HDF5文件吗？在

Answer 1

您需要的是HDF5的单写多读（SWMR）功能。在

SWMR在1.10版本中被列为new，其中有相当一部分是{a3}。在

它也在版本2.5.0的h5py中。在

至于对熊猫的支持，我不太确定，因为我不使用它。在