一个允许在运行之间缓存函数输出的包
picklecacher-myfatemi04的Python项目详细描述
泡菜
此程序允许您在中间停止程序,并从pickle
模块中恢复。在
文件
类picklecache.Picache
:
- directory:存储缓存文件的目录。在
用法:
- 创建:
mycache = picklecache.Picache("./path/to/my/files")
- {cd4>缓存函数:^
- 这将装饰任何功能。默认情况下,它使用
args
和kwargs
作为键。在 - 当函数被修饰时,您可以传递
picache_key=...
来添加您自己的缓存键 - 如果您在机器学习模型中有类似epoch的内容,并且不能将其作为输出的密钥传入网络,那么这将非常有用
什么是子群?
- 子组被添加为键的前缀。它们只是为了让你可以使用同一个缓存文件夹 对于没有键冲突的多个函数。在
- 密钥存储为一个元组(subgroup,picache_key),因此对于某个函数,键只需要是不同的。在
mycache = picklecache.Picache("./path/to/my/files")
@mycache("MyFunction1")
def costly_function():
time.sleep(1000)
return 100
costly_function() # takes a long time
重新加载程序。在
^{pr2}$这一次,跑步是即时的。密钥存储为(“MyFunction1”,((),())
如果需要,还可以指定自定义picache_键。在
作者:Michael Fatemi
- 项目
标签: