我以前对ML模型进行过手动超参数优化,并始终默认使用tanh或relu作为隐藏层激活函数。最近,我开始试用Keras Tuner来优化我的架构,并意外地将softmax作为隐藏层激活的选择
我只见过在输出层的分类模型中使用softmax,从未作为隐藏层激活,尤其是在回归中。这个模型在预测温度方面有很好的性能,但我很难证明使用这个模型是正确的
我看到过像this one这样的帖子,它们讨论了为什么它应该只用于输出,但是在我的例子中有什么理由吗?我在下面展示整体架构,以供参考
model = Sequential()
model.add(Dense(648, activation='relu',input_shape=(train_x.shape[1],)))
model.add(Dropout(0.3))
model.add(LayerNormalization())
model.add(Dense(152,activation='relu'))
model.add(Dropout(0.15))
model.add(LayerNormalization())
model.add(Dense(924,activation='softsign'))
model.add(Dropout(0.37))
model.add(LayerNormalization())
model.add(Dense(248,activation='softmax'))
model.add(Dropout(0.12))
model.add(LayerNormalization())
model.add(Dense(1,activation='linear'))
model.compile(loss='mse',optimizer='Adam')
我可能是错的,无论是分类还是回归都应该是一样的。从数学角度考虑
一般来说,在隐藏层中有
softmax
是不可取的,因为我们希望每个神经元彼此独立。如果应用softmax
,则它们将线性相关,因为激活将强制它们的总和等于1。这并不意味着它从未被使用过,您可以引用this paper假设使用一些高级激活,例如
LeakyReLU
,通过使用它,神经元将受到控制,因为α速率可以调节。但是softmax
这是不可能的现在回到问题上来,我认为这取决于数据集。模型能够用
softmax
概括这个数据集。然而,我不认为它会一直这样工作。如上所述,您正在使它们彼此线性相关。所以,如果一个神经元学习到错误的东西,就会影响整个网络的泛化,因为其他值也会受到影响编辑:我测试了两个模型。对于某些数据
softmax
的效果与relu
一样好。但事实是所有的神经元都是相互依赖的。让它们相互依赖并不是一个应该承担的风险,特别是在大型网络中数据:
使用Softmax
结果:模型无法学习此数据。它发散并停留在与发散相同的区域。似乎一个神经元想要学习,但另一个不让另一个学习
使用relu:
结果:带有
relu
的模型能够学习这两个数据相关问题 更多 >
编程相关推荐