训练网络跨不同文件时，计算时间随每次循环增加。

Question

我有一个包含100个数据集的文件夹，我在Python中循环遍历这些数据集；为每个数据集调用一个函数定义，其中包含我对sklearn GradientDescent、trains、fits、predicts、prints results等的调用

我希望当定义返回，循环迭代到下一个文件时，所有的train/test分割、training等都会丢失，但是在后台似乎发生了一些奇怪的事情，因为每个连续调用在计算时间上似乎都是复合的

第一个文件可能需要1秒的时间来训练，而第100个文件几乎需要15分钟；当它在性质相似的文件中循环时，时间会严格增加

有没有办法在进入函数定义时完全重置Sklearn？似乎正在进行某种垃圾清理……

Answer 1

您可以尝试将sklearn.base.clone()包含到循环中并测试性能变化。 https://scikit-learn.org/stable/modules/generated/sklearn.base.clone.html