如何避免多层python超参数网格搜索中的冗余计算?

2024-09-30 18:33:56 发布

您现在位置:Python中文网/ 问答频道 /正文

我需要缓存结果以减少计算时间

在我的代码中,我使用foo为不同的参数集x计算y = foo(x)。除了不同的参数x,我还经常修改foo

例如,我在Git branchbranch-1中有一个版本的foo,在Git branchbranch-2中有另一个版本的foo

在一个工作日里,我会在这些树枝之间来回跳很多次。如果使用不同的参数调用了foo,或者foobranch-2的源代码在branch-1branch-2之间不同,我需要一个分别缓存branch-1branch-2结果的记忆库

换句话说,我需要一个具有以下功能的库:

  1. 计算结果保存到缓存中
  2. 如果计算在缓存中,则不会重新计算
  3. 如果计算不在缓存中或生成计算的代码已更新,则会重新计算计算
  4. 缓存结果会写入磁盘,以便在我的程序的不同运行之间保存
  5. 过时代码的缓存结果将被保留,以防我使用git还原代码

Tags: 记忆代码git功能版本branch参数源代码