2024-09-26 22:54:27 发布
网友
是否有一种方法可以缓存管道中实体的输出,如果我运行相同的管道,但配置略有不同(请考虑“超参数调优”),管道中不受配置更改影响的某些初始步骤将不会执行多次
Raw data -> CPU expensive preprocessing (A) -> model fitting (B) -> model
我希望能够运行一次A,但运行B的多个变体
在Dagster有没有优雅的方法
我不知道这个功能是否存在
当存储设置为文件系统时,Dagster可以重新运行solid,但在缓存方面没有看到您所描述的内容。如果这里没有太多吸引力,可以提交一份issue to Dagster,然后再报告
我不知道这个功能是否存在
当存储设置为文件系统时,Dagster可以重新运行solid,但在缓存方面没有看到您所描述的内容。如果这里没有太多吸引力,可以提交一份issue to Dagster,然后再报告
一些可能的解决办法
相关问题 更多 >
编程相关推荐