radam在keras&tensorflow中的实现
keras-rectified-adam的Python项目详细描述
凯拉斯雷达
在keras和tensorflow中非正式实现RAdam。
安装
pip install keras-rectified-adam
用法
importkerasimportnumpyasnpfromkeras_radamimportRAdam# Build toy model with RAdam optimizermodel=keras.models.Sequential()model.add(keras.layers.Dense(input_shape=(17,),units=3))model.compile(RAdam(),loss='mse')# Generate toy datax=np.random.standard_normal((4096*30,17))w=np.random.standard_normal((17,3))y=np.dot(x,w)# Fitmodel.fit(x,y,epochs=5)
无路缘石的Tensorflow
fromkeras_radam.trainingimportRAdamOptimizerRAdamOptimizer(learning_rate=1e-3)
使用预热
fromkeras_radamimportRAdamRAdam(total_steps=10000,warmup_proportion=0.1,min_lr=1e-5)
问答
关于正确性
经过500步后，优化器产生与官方优化器相似的损失和权重。
使用tf.keras或tf-2.0
将TF_KERAS=1添加到环境变量中以使用tensorflow.python.keras。
使用theano后端
将KERAS_BACKEND=theano添加到环境变量以启用theano后端。
欢迎加入QQ群-->： 979659372
