使用特斯拉斯张力流优化

Question

我试着用特斯拉斯新的AdamW优化器在tensorflow和am中遇到问题。代码的玩具版本如下：

from tensorflow.contrib.opt import AdamWOptimizer
from tensorflow.python.keras.optimizers import TFOptimizer

model = Sequential()
model.add(Dense(2, activation="tanh", input_shape=(3,)))

tfopt = AdamWOptimizer(weight_decay=0.1, learning_rate=.004)
optimizer = TFOptimizer(tfopt)

model.compile(optimizer=optimizer, loss='mean_squared_error')
model.fit(np.random.random((5, 3)),
          np.random.random((5, 2)),
          epochs=5, batch_size=5)

误差如下：

^{pr2}$

Answer 1

对我来说，这是运行，并收敛非常快，以高精度为大多数我的分类目标，但有一个问题：利润非常小，所有分数都接近0.5。另外，一个分类器不收敛。有了亚当，结果会更好。在

Answer 2

结果表明，TFOptimizer在Python3.6中不起作用，但在2.7中却可以。在

但是，实际上并不需要使用TFOptimizer。将tensorflow优化器AdamWOptimizer直接插入fit的优化器参数中运行得很好。在