在Matlab中使用巨大的HDF5文件，并在Python中导入

Question

我在Matlab中创建了一个hdf5文件，其矩阵大小为（1 x 19000000）。文件大小为150兆字节。你知道吗

1. 我的问题是如何找到理想的块大小和收缩率？ 在玩了一番之后，我发现deflate设置为7的1x1000000块大小可以获得100兆字节的文件。

2. 我的第二个问题是无法用Python导入此文件

Matlab软件

h5create('Xn.h5','/rawdata',size (data),'ChunkSize',[1 1000000],'Deflate',7 )

Python

import h5py
filename = 'Xn.h5'
f = h5py.File(filename, 'r')

print("Keys: %s" % f.keys())

我期望Python能像matlab一样平滑地处理数据，但这从未发生过

Answer 1

好吧，这个问题似乎与“如何在python中访问hdf5容器中的数据”更相关。你知道吗

你会发现一个非常好的快速入门指南here。你知道吗

访问数据的过程如下：

import h5py
f = h5py.File(filename, 'r') 
key = list(f.keys())[0]
dataset = f[key]

# To retrieve e.g. the first 10 elements of a 1D dataset execute
data = dataset[0:9]