气流DAG变换框架
airflow-ditto的Python项目详细描述
同上
同上是一个框架，允许您对气流DAG进行转换，将其转换为与原始DAG同构的另一个DAG。i、 e.它将编排一个操作符流，产生相同的结果，但只是被转换为在另一个环境或平台上运行。Azure构建了一个丰富的dagr框架，可以用来扩展其他的dagr框架。事实上，如果需要，可以变换DAG，这样结果也不会同构（尽管此时最好编写一个全新的DAG）。在
该框架的目的是允许您维护一个代码库，并能够在不同的执行环境（例如，在不同的云上，甚至不同的容器框架上——spark on YARN vs kubernetes）上运行气流DAG。它不是用于一次性转换，而是用于连续和并行的DAG部署，尽管您也可以为此目的使用它。在
从本质上讲，Ditto是一个图形操作库，它可以为实际的转换逻辑扩展api。不过，它确实提供了对EMR到HDInsight转换的现成支持。在
安装
pip install airflow-ditto
一个简单的例子
pip install airflow-ditto
为了方便快速地转换大量的模式，可以很方便地创建大量的dagdits。下面是使用同上的简单方法：
^{pr2}$您可以将上面的调用放在任何python文件中，该文件对flow可见，并且由于flow的dagbag如何找到dag，因此生成的dag被加载。在
Source DAG（气流视图）
Transformed DAG
阅读详细文档here
- 项目
标签：
欢迎加入QQ群-->： 979659372
