有没有理由不总是使用漏泄的

2024-10-06 12:07:43 发布

您现在位置:Python中文网/ 问答频道 /正文

在我看来,Relu激活通常非常有效。而漏水的relu解决了它的主要缺点(染色单元)

所以除了需要tanh、soft max或sigmoid的输出层之外。有没有什么理由我不想使用leaky relu?(我知道relu的计算速度比泄漏的relu快,但更好的模型值得花更多的时间)


Tags: 模型时间max单元softrelu缺点理由
1条回答
网友
1楼 · 发布于 2024-10-06 12:07:43

对于大多数应用程序来说,leaky_relu已经足够好了,但也有有效的替代方案。请记住,即使是泄漏的_relu也有其自身的缺点,比如需要调整新的参数alpha

This article解释了标准ReLU的各种替代方案,并给出了每种方案的优缺点:

相关问题 更多 >