Pytorch的数据加载程序什么时候洗牌？

Question

我已经多次使用pytorch dataloader的shuffle选项。但我想知道这种洗牌是什么时候发生的，以及它是否在迭代过程中动态执行。以以下代码为例：

namesDataset = NamesDataset()
namesTrainLoader = DataLoader(namesDataset, batch_size=16, shuffle=True)
for batch_data in namesTrainLoader:
    print(batch_data)

当我们定义“namesTrainLoader”时，这是否意味着洗牌已经完成，接下来的迭代将基于固定的数据顺序？在定义namesTrainLoader之后，for循环中是否存在任何随机性

我试图用一些特殊值替换“批次数据”的一半：

for batch_data in namesTrainLoader:
    batch_data[：8] = special_val
    pre = model(batch_data)

让我们假设将有无限多的epoche，“model”最终会看到“namesTrainLoader”中的所有数据吗？或者“namesTrainLoader”的一半数据实际上丢失到了“model”中

Answer 1

您可以检查PyTorch的torch.utils.data.DataLoaderhere实现

如果指定shuffle=True，将使用^{}（SequentialSampler否则）

当创建DataLoader的实例时，不会对任何内容进行洗牌，它只是实例化对象和其他类似设置的必要私有成员

当您在迭代过程中发出特殊的__iter__方法时，会返回一个名为_SingleProcessDataLoader(self)的特殊对象，它是一个数据生成器（可能是批处理、洗牌等，假设您不使用多处理）

要找到所有私有方法和帮助器相关的方法，有点像兔子洞，但它基本上是使用底层的sampler来获取用于从torch.utils.data.Dataset获取样本的索引

取样器一直运行到耗尽，过程重复（通常是一个历元）

Will there be any randomness in the for loop after namesTrainLoader was defined?

在每个周期开始时/epochRandomSampler洗牌索引，因此是的，它将在每个epoch之前随机化（当调用__iter__并返回新的_SingleProcessDataLoader(self)），这可以无限期地进行

[...] will "model" eventually see all the data in "namesTrainLoader"?

是的，它很可能最终会看到所有的数据点