np.save用于for循环中的大数据

Question

据我所知np.save在循环外一次性写入数组。是否可以将np.save放入循环中，并将附加到单个文件的每一行保存起来。我拥有的数据非常大，如果我声明一个大小为(200k X 20k)的数组，python就会崩溃。我知道阵列的形状

示例代码

for doPr in range(original_file.shape[0]):
    each_row = original_file[doPr, :]
    each_row = each_row + add_something
    np.save(path+"original_mod_file.npy", each_row)

original_file我每行从硬盘驱动器读取一行数据original_mod_file.npy是我希望每行写入的内容，它的大小为(200k X 20k)

Answer 1

正在从https://numpy.org/doc/stable/reference/generated/numpy.save.html复制

with open('test.npy', 'wb') as f:
    np.save(f, np.array([1, 2]))
    np.save(f, np.array([1, 3]))

打开要保存到的文件，并将模式（'rb'）编辑为'ab+'。如果文件不存在，这将创建一个文件，让您附加到它。然后，您可以将数据添加到循环中