训练时操纵特征图

Question

总之，与更快的RCNN和Mask RCNN论文类似，它们在特征图上执行ROI池，我想对VGG19的最后一个卷积层的特征图应用一些更改。首先，我想把特征图分成4个相等的部分，然后把它们放在一起。然后，将其送入完全连接的层

我拥有的： 我在https://github.com/sugi-chan/fgo-multi-task-keras/blob/master/fgo_multiclass.ipynb使用这个例子

基于https://keras.io/getting-started/faq/#how-can-i-obtain-the-output-of-an-intermediate-layer，我需要首先构建模型：

intermediate_layer_model = Model(inputs=model_input, outputs=x)
intermediate_layer_model.compile(loss=loss_list, optimizer=SGD(lr=0.01, momentum=0.9), metrics=test_metrics)

这个建议的问题：我想提取特征映射并对其进行一些处理，同时在主模型上继续训练阶段（在我上面引用的代码中称为multi_model()）。然而，这个建议构建了一个以特征作为输出的模型

另一件事是，我在https://github.com/matterport/Mask_RCNN/blob/master/mrcnn/model.py看到了池层代码，但我很难在mnist dataset这样简单的示例中使用它。我很感激你的评论，代码，教程链接等

Answer 1

只要编写的过程是可微的，就可以在层内执行任何操作

您可以创建一个custom layer，并在该层中使用tensorflow API执行任何您想要的操作。你只需要使用张量流函数来做每一个操作。这有时很难做到，因为你只处理张量运算。 在使用张量运算之前，确保它是可微的。例如tf.multiply是可微的，tf.histogram_fixed_width不是

在您的例子中，这个新层将是密集层的输入