最大池层的反向传播:多个最大值

2024-09-30 05:27:07 发布

您现在位置:Python中文网/ 问答频道 /正文

我目前正在执行一个纯numpy的CNN,有一个关于max pool层反向传播的特殊情况的简短问题:

虽然很明显相对于非最大值的梯度消失了,但我不确定一个切片的多个条目等于最大值的情况。严格地说,函数在这个“点”不应该是可微的。然而,我假设可以从相应的次微分中选择一个次梯度(类似于在x=0时为Relu函数选择子梯度“0”)。在

因此,我想知道是否足够简单地形成一个关于最大值的梯度,并将剩余的最大值视为非最大值。在

如果是这样,是否建议随机选择最大值以避免偏差,还是总是选择第一个最大值?在


Tags: 函数numpy情况切片条目cnn建议max

热门问题