Python中文
首页
教程
问答
标签
搜索
登录
注册
有向无环图动态作业调度
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我需要管理ETL任务的大型工作流,它的执行取决于时间、数据可用性或外部事件。某些作业在工作流执行期间可能会失败,系统应能够重新启动失败的工作流分支,而无需等待整个工作流完成执行。</p> <p>python中有什么框架可以处理这个问题吗?</p> <p>我看到了几个核心功能:</p> <ul> <li>达格大厦</li> <li>执行节点(使用wait、logging等运行shell cmd)</li> <li>执行期间在父DAG中重建子图的能力</li> <li>在父图运行时手动执行节点或子图的能力</li> <li>等待外部事件时暂停图形执行</li> <li>列出作业队列和作业详细信息</li> </ul> <p>类似于<a href="http://oozie.apache.org" rel="noreferrer">Oozie</a>,但在python中更通用。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>你看过<a href="http://www.ruffus.org.uk/index.html" rel="nofollow">Ruffus</a>了吗?</p> <p>我没有这方面的经验,但它似乎做了你名单上的一些项目。它看起来也很容易被破解,所以您可以自己实现其他需求。</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何将Python中的列表复制到给定的目标中?
10 回答
如何将python中的列表插入SQL表
3 回答
如何将python中的列表转换为numpy数组以放入十位
4 回答
如何将python中的列表输入javascript?
4 回答
如何将python中的列表返回给dag?
10 回答
如何将Python中的列表项重新排列成成对的元组/列表?
1 回答
如何将Python中的初始化对象序列化为XML?
2 回答
如何将python中的十进制字符串转换为数字?
4 回答
如何将Python中的原始输入文本转换为Tkinter中的标签?
7 回答
如何将python中的反斜杠命令转换为在Linux上运行
10 回答
如何将python中的命令行参数转换为字典?
3 回答
如何将python中的图像值传递到kivy中的kv文件?
1 回答
如何将Python中的图像数组(枕头对象)上传到Google云
2 回答
如何将Python中的图像编码为Base64?
5 回答
如何将python中的图像调整为灰度低分辨率,如MNIST时尚数据?
2 回答
如何将python中的多个html输出保存到单个文件(或多个)中?
5 回答
如何将Python中的多个ifelse语句重构为一个函数?
7 回答
如何将Python中的多处理与Django结合使用,从xml文件创建数千个模型实例?
3 回答
如何将python中的多级API响应转换为dataframe
9 回答
如何将python中的多线程编程模型转换为异步/等待模型?
4 回答