如何在Pytorch中查看内存中计算图的大小？

Question

如何跟踪由前向传递cpu创建的autograd图的内存分配？例如，尝试在cpu上使用tracemalloc：

rnn=nn.RNNCell(100,100).to('cuda')
x=torch.ones((1000,100),device='cuda')
tracemalloc.start(25)
while True:
   print(tracemalloc.get_traced_memory())
   x=rnn(x)

打印内存应随着每个循环步骤中图形的增加而不断增加，但打印内存

tracemalloc.get_traced_memory()

在第三次循环后保持不变。发生了什么事