是否可以更新/覆盖气流['dag_run'].conf?

2024-10-01 07:38:40 发布

您现在位置:Python中文网/ 问答频道 /正文

我们通常使用trigger_dagCLI命令启动气流DAGs。例如:

airflow trigger_dag my_dag --conf '{"field1": 1, "field2": 2}'

我们在操作符中使用context[‘dag_run’].conf访问这个conf

有时,当DAG在某个任务上中断时,我们希望“更新”conf并用这个新的conf重新启动中断的任务(以及下游依赖关系)。例如:

新配置-->{"field1": 3, "field2": 4}

有没有可能用这样一个新的json字符串“更新”dagüu run conf?在

会有兴趣听取关于这个问题的想法,其他解决方案,或者从一开始就可能避免这种情况的方法。在

使用Apache Airflow v1.10.3

事先非常感谢。在


Tags: run命令关系myconfcontextairflowdag
1条回答
网友
1楼 · 发布于 2024-10-01 07:38:40

这似乎是气流^{}s的一个很好的用例。如果您要read your configs from Variables,您可以很容易地看到并修改气流UI本身的配置输入。在


您甚至可以在通过另一个Airflow任务本身重新运行任务/DAG之前,创造性地自动更新配置(现在存储在一个变量中)。见With code, how do you update and airflow variable

相关问题 更多 >