iPython中LoadBalancedView中的非DAG任务依赖项

Question

我想用ipython和LoadBalancedView并行训练很多模型。你知道吗

但是，我想要一个约束条件，即在每个任务完成后，特定节点必须与另一个节点（我们称之为任务安排器）进行“检查”，以确保它们应该继续，如果是，则应该执行哪个任务。你知道吗

这不是一个真正的DAG，这只是客户端与另一个任务安排器节点通信，以控制任务完成的时间和顺序。你知道吗

我还需要能够确保退出的节点在失败时会被其他节点接收任务。你知道吗

我怎么能在iPython并行模式下做到这一点？你知道吗

编辑：澄清一下，我喜欢iPython parallel处理任务、报告结果、套接字通信等的能力，但我基本上需要这样的能力：在我从主进程和进程中选择的时间将单个任务分配给各个机器，并在任务完成或分配时添加任务。你知道吗

编辑#2：啊，也许我可以锁定表，然后手动更改任务的顺序in this table（？）。锁实现了阻止客户端获取更多任务（它们必须等待），并且我可以根据任务本身将顺序更改为我喜欢的任何顺序。你知道吗