将模型参数的平方和加到损失函数中

Question

模型加权平方和是一种防止深度学习模型过拟合的正则化方法。 目前，我在pytorch中实现了我的模型的损失函数：

lossfunc = nn.NLLLoss(ignore_index=0)

然后我计算训练中的损失如下：

 ... 
loss = lossfunc(out_perm, dec_pp[:,1:])

我想成为这样的人：

loss = lossfunc(out_perm, dec_pp[:,1:])+sum_square_wights(enc)+sum_square_wights(dec)

但不知道如何实现sum_square_wights函数。任何帮助都将不胜感激。你知道吗

Answer 1

我相信你指的是L2正则化。如果确实如此，L2正则化已经添加到torch（SGD、Adam等）中的optimizer，您可以使用优化器参数中weight_decay的非零值来控制它。你知道吗

就L1正则化而言，类似这样的方法应该可以完成这项工作：

l1_criterion = nn.L1Loss(size_average=False)
l1_reg_loss = 0
for param in model.parameters():
    l1_reg_loss += l1_criterion (param)

lambda = 0.0005
loss += lambda * l1_reg_loss