擅长:python、mysql、java
<p><strong>使用文件!</strong></p>
<p>不,真的,使用文件——它们是高效的(操作系统将缓存内容),并允许您处理更大的问题(数据集不必放入RAM)。在</p>
<p>使用<a href="https://docs.scipy.org/doc/numpy-1.15.0/reference/routines.io.html" rel="noreferrer">https://docs.scipy.org/doc/numpy-1.15.0/reference/routines.io.html</a>中的任意一个将numpy数组转储/加载到文件/从文件加载numpy数组,并且只在进程之间传递文件名。在</p>
<p>p.S.基准串行化方法,根据中间数组的大小,最快的可能是“原始”(无转换开销)或“压缩”(如果文件最终写入磁盘)或其他方法。IIRC加载“原始”文件可能需要事先知道数据格式(尺寸、大小)。在</p>