如何替换infs避免PyTorch中的nan梯度

Question

我需要计算log(1 + exp(x))，然后对其使用自动微分。但是对于过大的x，它会输出inf，这是因为求幂：

>>> x = torch.tensor([0., 1., 100.], requires_grad=True)
>>> x.exp().log1p()
tensor([0.6931, 1.3133,    inf], grad_fn=<Log1PBackward>)

由于log(1 + exp(x)) ≈ x对于大的x，我想我可以用torch.where将{}替换为{}。但是当这样做的时候，我仍然得到nan，因为梯度值太大了。你知道为什么会发生这种情况吗？有没有其他方法可以让它起作用？在

^{pr2}$

Answer 1

如果x>；=20，则函数输出约为x。 使用Pythorch方法torch.softplus公司. 这有助于解决问题。在