Dagster运行具有多个项目的管道

2024-09-26 22:55:09 发布

您现在位置:Python中文网/ 问答频道 /正文

我需要在AWS中使用dagster项目进行部署的一些帮助,不幸的是在官方文档中找不到

因此,使用repo.py的简单实体和管道的一些上下文非常适合该文件。但是当我改变anew directory project中固体和管道的结构时,问题开始出现在aws中。因此,我们的目标不是使用repo.py作为管道的触发器(这里是example,这表明我也在裁判)。docker-compose.yaml文件的第65行使用此命令

dagster api grpc -h 0.0.0.0 -p 4000 -f repo.py

同样的命令也会发送到我们的AWS基础设施,以触发管道。相反,我所寻找的是利用workspace.yaml文件(我可以在其中添加多个python包)

那么有人认为可以这样使用命令吗?(目前没有dagster api的现有'-w'参数)

dagster api grpc -h 0.0.0.0 -p 4000 -w workspace.yaml

如果不是,那么另一个想法是使用Module而不是主目录中的“repo.py”。Dagit与模块配合得非常好

dagit -m project-01

但这能用dagster做到吗?因此该命令将变成这样dagster api grpc -h 0.0.0.0 -p 4000 -m project-01(目前它抛出一个错误,即project-01不存在)


Tags: 文件项目py命令projectawsapiyaml

热门问题