为什么PyTorch模型在模型内部采用多个图像大小？

Question

我在Pytork中使用一个简单的对象检测模型，并使用Pytoch模型进行推断

当我对代码使用简单的迭代器时

for k, image_path in enumerate(image_list):
    image = imgproc.loadImage(image_path)
    print(image.shape)
    with torch.no_grad():
        y, feature = net(x)        
    result = image.cuda()

它可以打印各种大小的图像，如

torch.Size([1, 3, 384, 320])

torch.Size([1, 3, 704, 1024])

torch.Size([1, 3, 1280, 1280])

因此，当我使用数据加载器应用相同的转换进行批处理推断时，代码没有运行。 但是，当我将所有图像的大小调整为600.600时，批处理将成功运行

我有两个疑问

首先，为什么Pytork能够在深度学习模型中输入动态大小的输入，以及为什么动态大小的输入在批处理中失败

Answer 1

网络可以处理不同大小图像的原因有两个：

1. 最简单的原因是，在网络的输入中有一个插值层，它将输入的大小调整为网络期望的大小
2. 当您具有完全卷积网络时，可以向模型插入动态大小的输入，这意味着网络中的所有操作都不依赖于输入空间大小。例如，如果所有层都是卷积Relu和池，则网络可以处理您将插入的任何大小。因此，您可以插入一个大小为[N，3384320]或[N，37041024]的批，网络将同时运行这两个批

你认为不能用不同的大小进行推理的原因是因为你不能用多个不同大小的张量。图像的张量必须是一个固定的大小，（N，C，H，W），不能有大小为（H'，W'）的张量和另一个大小为（H，W）的张量，因为它们必须是具有特定大小的相同张量

但您可以针对每批产品使用不同的大小进行训练/推断。例如，第一批图像可以是（N，C，H，W），下一批图像可以是（N，C，H'，W'）