使用预训练CNN（inceptionv3）训练3D医学图像

Question

我正在尝试通过重新训练医学图像上的接收器v3来进行转移学习——灰度3D脑部PET扫描

我有两个挑战：将我的数据从灰度转换为RGB图像，以及为inception架构格式化我的3D输入数据

我解决了第一个挑战，将它们堆叠成3个通道（将相同的图像传送到网络的所有3个通道）

第二个挑战仍然是一个问题：网络接受2D图像。当前的图像尺寸为79 x 95 x 79 x 3，网络很乐意接受79 x 95 x 3维图像

解决这个问题的一个好方法是，是否可以将3D图像提供给网络，或者必须将其转换为2D。如何将图像转换为二维

在一项研究中，使用网格方法从每个3D图像中提取8个2d图像，并显示为网格图像进行分类。这是从3D转换到2D的唯一方法，还是有其他方法

Answer 1

有两种方法可以解决第二个问题

快速接近：

找到一种方法将79的维数减少为1

对此有不同的方法。正如你所指出的，一种方法是形成一个网格。另一种方法是在多幅图像上进行最大强度投影（MIP）（示例3或10）。这将取决于你在这个维度上的分辨率。我觉得您描述的图像是CT扫描，在这种情况下，最好不要使用完整的堆栈，而只使用属于您感兴趣的分类部分的专用图像

您可以使用相同的全局类描述符将堆栈的一部分作为MIPs提供。这可能对迁移学习有用

长期且更困难的方法：

从零开始寻找或重新设计一个接受3D图像作为输入的架构。我不知道目前关于这个主题的文献，但一个很好的开始例子可能是：https://ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1