高效访问任意尺寸的ND数组批次在mxn中

2024-09-22 16:26:14 发布

您现在位置：Python中文网/ 问答频道 /正文
1538 3

安装诸如Resnet和VGG这样的convnet得益于ImageRecordIter python类，它允许从RecordIO.rec文件中存储的大量RGB图像集合中高效地加载批处理

是否有人知道用于大型任意输入2D或3D矩阵的等效设备（对于2D，行=项，列=特征，+3D通道）

NDArrayIter需要将整个数据集加载到内存中，在我的例子中，这是要避免的（>；40Gb数据文件）。CSVIter不允许直接的洗牌，只适用于2D矩阵


Tags： 文件数据内存图像矩阵rgb特征例子
1条回答
网友
1楼 · 发布于 2024-09-22 16:26:14

您可以将每个数据样本保持为一个单独的文件，并在参考代码ImageFolderDataset之后实现一个非常简单的定制DataSet类

相关问题 更多 >

    编程相关推荐