擅长:python、mysql、java
<p>基本上,您需要获取一个任务的输出,并将其作为输入应用于另一个任务。芹菜用起来不方便。在</p>
<p>以celery的方式,您可以有一个周期性的任务调度器,它以异步的方式执行作业(映射部分),如果任务引用是单台计算机,或者将引用发布到DB backend(redis/mongo/etc)。您可能需要调度程序来收集此结果并应用于reduce函数。在</p>
<p>我想说的是,您在所有集群上运行自己的python进程来执行map和reduce,并确保将结果存储在类似redis的内存db中,并使用celery来执行map和reduce上的任务。你的主要过程将收集并合并结果。在</p>