soopervisor 0.2.2

吹灰器

Soopervisor引入了Ploomber project的概念，这是一个标准 运行Ploomber管道的方式。在

用例

1. 在本地运行管道
2. 在持续集成服务中运行管道
3. 使用cron（或Github操作）调度管道
4. 通过Argo工作流在Kubernetes中运行
5. 在阿帕奇气流中跑步

工作原理

运行管道时，Soopervisor需要以下文件布局：

1. environment.yml：Conda environment specification
2. pipeline.yaml：Ploomber管道规范

所有这些文件的父文件夹被定义为项目的根文件夹。 该文件夹的名称被设计为项目的名称。在

例如，如果您的pipeline.yaml位于 /path/to/projects/some-project/pipeline.yaml，项目的根文件夹 是/path/to/projects/some-project，而您的项目名称是 some-project。在

如果您的项目遵循这两个约定，那么您将能够使用Soopervisor 要在本地运行项目，请使用continuous integration service或Apache Airflow。在

项目验证

在生成/导出项目之前，Soopervisor首先检查 项目有正确的结构，如果它发现任何问题，它会报告给你 可以在尝试运行管道之前修复它们。在

如果所有检查都通过，它将生成一个bash脚本来安装conda环境 然后运行管道。在

如何使用脚本实际执行管道取决于 配置设置，最简单的情况是只在本地运行它，但是 也可以告诉Soopervisor在Docker容器中运行管道，或者 将项目导出到Kubernetes（使用Argo）或Airflow中运行。在

安装

pip install soopervisor

变更日志