我创建了一个非常简单的MapReduce管道,但是我有一个神秘的:
PipelineSetupError: Error starting production.cron.pipelines.ItemsInfoPipeline(*(), **{})#a741186284ed4fb8a4cd06e38921beff:
当我试着开始的时候。这是管道代码:
class ItemsInfoPipeline(base_handler.PipelineBase):
"""
"""
def run(self):
output = yield mapreduce_pipeline.MapreducePipeline(
job_name="items_job",
mapper_spec="production.cron.mappers.items_info_mapper",
input_reader_spec="mapreduce.input_readers.DatastoreInputReader",
mapper_params={
"input_reader": {
"entity_kind": "production.models.Transaction"
}
}
)
yield ItemsInfoStorePipeline(output)
class ItemsInfoStorePipeline(base_handler.PipelineBase):
"""
"""
def run(self, statistics):
print statistics
return "OK"
当然,我已经再次检查了mapper路径是否正确,并考虑到ItemsInfoStorePipeline没有做任何事情,因为我关注的是启动管道,而这并没有发生。在
它全部由烧瓶视图触发,如下所示:
^{pr2}$我正在使用GoogleAppEngineMapReduce==1.9.22.0
谢谢你的帮助。在
更新
上面的代码在部署之后就可以工作了。在
更新2
显然有更多的人在处理这个问题:
https://github.com/GoogleCloudPlatform/appengine-mapreduce/issues/103
我正在更新这个。我有一个使用管道的代码库,在OSX中运行良好。我有另一个开发人员在使用OSX,但我做的任何事情似乎都无法让它正常工作,他得到了这样的结论:
我试着交换版本,使我们的电脑完美匹配,而且这种情况还在继续发生。我终于崩溃了,在docker中建立了一个Ubuntu映像。我也在尽我所能完美地匹配我们的AppEngine版本和库。在
它也拒绝以同样的信息开头。我开始在库中工作,取消了对包含错误的部分的注释,但这是一个很长的兔子洞,因为上面的很多东西似乎也在吞噬正在发生的任何事情。在
相关问题 更多 >
编程相关推荐