从<tensorflow.python.keras.optimizer\u v2.Learning\u Rate\u schedule.cosindecay>对象获取学习率

Question

如何获得每次on_train_batch_begin更新的学习率值

lr_decayed_fn = tf.keras.experimental.CosineDecay(initial_lr, decay_steps)
model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=lr_decayed_fn))

我试过这样做

def on_train_batch_begin (self, batch, logs = None):
    lr = K.get_value(self.model.optimizer.lr)

但是我得到了<tensorflow.python.keras.optimizer_v2.learning_rate_schedule.CosineDecay object at 0x7f ...>

Answer 1

将函数设置为学习速率或对象子类化LearningRateScheduler时，需要使用当前训练步骤调用该函数（或可调用函数），以获得学习速率。您可以使用优化器的^{}属性获得当前的培训步骤

class CustomCallback(tf.keras.callbacks.Callback):
    def __init__(self) -> None:
        super().__init__()

    def on_train_batch_begin(self, batch, logs=None):
        lr = tf.keras.backend.get_value(
            self.model.optimizer.lr(self.model.optimizer.iterations)
        )