一起使用Snakemake和Dask有意义吗？

Question

我有一个蛇形工作流，我一直在使用它来训练DL TensorFlow模型。在高层次上，有一些长期运行的作业（模型培训）可以并行运行。我想在云上运行这些dask-cloudprovider似乎是一个很有希望的选择，因为我可以leverage GPU's easily on ECS。但是，要做到这一点，我是否必须使用Dask函数重写我的工作流（可能是dask delayed）？还是有什么办法让蛇怪使用Dask

Answer 1

我以前从来没有听说过达斯克，我不使用云，所以我可能会完全离开这里

我不明白为什么snakemake和dask不能很好地配合。你不能：

rule one:
    input: ...
    output: 'out.txt',
    run:
        from dask_cloudprovider import FargateCluster
        # Do stuff

rule two:
    input:
        'out.txt',
    output:
        ...
    run:
        # Do stuff with out.txt

Answer 2

如果你在网上搜索“dask snakemake”，你会发现2017年的Github问题，你可能想通读一下。这当然是可能的，但需要有人编写集成

您可能还想尝试Dask与Airflow的集成，或者可能更现代一点的Perfict library