我们通常使用trigger_dag
CLI命令启动气流DAGs。例如:
airflow trigger_dag my_dag --conf '{"field1": 1, "field2": 2}'
我们在操作符中使用context[‘dag_run’].conf
访问这个conf
有时,当DAG在某个任务上中断时,我们希望“更新”conf并用这个新的conf重新启动中断的任务(以及下游依赖关系)。例如:
新配置-->{"field1": 3, "field2": 4}
有没有可能用这样一个新的json字符串“更新”dagüu run conf?在
会有兴趣听取关于这个问题的想法,其他解决方案,或者从一开始就可能避免这种情况的方法。在
使用Apache Airflow v1.10.3
事先非常感谢。在
这似乎是气流^{}s 的一个很好的用例。如果您要read your configs from Variables,您可以很容易地看到并修改气流UI本身的配置输入。在
您甚至可以在通过另一个Airflow任务本身重新运行任务/DAG之前,创造性地自动更新配置(现在存储在一个变量中)。见With code, how do you update and airflow variable
相关问题 更多 >
编程相关推荐