使用python3.7将文件添加到云存储时,如何使用cloud函数触发cloudcomposer DAG

2024-05-03 04:23:10 发布

您现在位置:Python中文网/ 问答频道 /正文

每次将文档放入某个存储桶时,我都希望启动一个DAG工作流来分析此文档。 我需要使用云函数触发DAG工作流,使用云存储触发器和事件类型完成并创建


Tags: 函数文档类型事件dag触发器
1条回答
网友
1楼 · 发布于 2024-05-03 04:23:10

更新-截至2019年9月,the docs中有一个Python示例,文档中的代码片段可以在GitHub上找到。在


看一下this doc,它向您展示了如何使用Google云函数和您在Finalize/Create事件上选择的bucket来触发DAG

[编辑以添加特定于Python的详细信息]

因为您需要Python,而这个doc是针对NodeJS的,所以现在您必须自己进行调整。在Composer中对flow的API的调用通过标识感知代理(参见this diagram,下面也显示了这一点),因此触发DAG的post请求也必须通过标识感知代理。在

enter image description here

幸运的是,python docs samples示例repo中有一个great Python example用于向IAP发出post请求。如果您将该脚本复制到repo中,并使用与NodeJS(this script)相同的步骤获取客户机ID,那么它应该像NodeJS一样触发DAG。在

相关问题 更多 >