梯度下降损失和精度不随迭代而变化

Question

我用keras来实现一个基本的CNN情感检测。这是我的模型架构

def HappyModel(input_shape):
    X_Input = Input(input_shape)

    X = ZeroPadding2D((3,3))(X_Input)
    X = Conv2D(32, (7,7), strides=(1,1), name='conv0')(X)
    X = BatchNormalization(axis = 3, name='bn0')(X)
    X = Activation('relu')(X)

    X = MaxPooling2D((2,2), name='mp0')(X)

    X = Flatten()(X)
    X = Dense(1, activation='sigmoid', name='fc0')(X)
    model = Model(inputs = X_Input, outputs = X, name='hmodel')

    return model


happyModel = HappyModel(X_train.shape[1:])
happyModel.compile(Adam(lr=0.1) ,loss= 'binary_crossentropy', metrics=['accuracy'])
happyModel.fit(X_train, Y_train, epochs = 50, batch_size=16, validation_data=(X_test, Y_test))

在每一个历元步中，模型的损失和精度似乎都没有变化。感觉梯度下降停留在局部极小值上，如下所示： https://i.imgur.com/9As8v0c.png

已经尝试使用Adam和SGD优化器，学习率都为.1和.5，仍然没有运气。你知道吗

结果表明，如果我更改编译方法命令参数，模型将很好地收敛于训练时间 happyModel.compile(optimizer = 'adam' ,loss= 'binary_crossentropy', metrics=['accuracy'])

Keras文档说，如果我们这样写参数，它将使用adam的默认参数（https://keras.io/optimizers/） keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)

但是，如果我将模型编译方法更改为默认参数 happyModel.compile(Adam(lr=0.001, beta_1=0.9, beta_2=0.999, decay=0.0),loss= 'binary_crossentropy', metrics=['accuracy'])

准确度和损失仍然存在。 Keras上Adam优化器的两个不同实现之间有什么区别？你知道吗

Answer 1

您可以在官方的keras团队页面上查看已解决的问题： https://github.com/keras-team/keras/issues/5564

您可能有语法问题，因为这两种方法并不完全相同。你知道吗