2024-10-06 12:07:43 发布
网友
在我看来,Relu激活通常非常有效。而漏水的relu解决了它的主要缺点(染色单元)
所以除了需要tanh、soft max或sigmoid的输出层之外。有没有什么理由我不想使用leaky relu?(我知道relu的计算速度比泄漏的relu快,但更好的模型值得花更多的时间)
对于大多数应用程序来说,leaky_relu已经足够好了,但也有有效的替代方案。请记住,即使是泄漏的_relu也有其自身的缺点,比如需要调整新的参数alpha
This article解释了标准ReLU的各种替代方案,并给出了每种方案的优缺点:
对于大多数应用程序来说,leaky_relu已经足够好了,但也有有效的替代方案。请记住,即使是泄漏的_relu也有其自身的缺点,比如需要调整新的参数alpha
This article解释了标准ReLU的各种替代方案,并给出了每种方案的优缺点:
相关问题 更多 >
编程相关推荐