没有项目描述
pytorch-lamb的Python项目详细描述
实现大批量、大学习率的https://arxiv.org/abs/1904.00962训练。
这篇论文并没有为_指定钳制值，所以我使用10。
奖励：Tensorboardx日志记录（下面的示例）。
尝试样本
git clone git@github.com:cybertronai/pytorch-lamb.git
cd pytorch-lamb
pip install -e .
python test_lamb.py
tensorboard --logdir=runs
样本结果
在--lr=.02处，ADAM优化器无法训练。
红色：python test_lamb.py --batch-size=512 --lr=.02 --wd=.01 --log-interval=30 --optimizer=adam
蓝色：python test_lamb.py --batch-size=512 --lr=.02 --wd=.01 --log-interval=30 --optimizer=lamb
欢迎加入QQ群-->： 979659372
