Python AppEngine MapRedu公司

2024-09-29 22:34:16 发布

您现在位置:Python中文网/ 问答频道 /正文

我创建了一个非常简单的MapReduce管道,但是我有一个神秘的:

PipelineSetupError: Error starting production.cron.pipelines.ItemsInfoPipeline(*(), **{})#a741186284ed4fb8a4cd06e38921beff:

当我试着开始的时候。这是管道代码:

class ItemsInfoPipeline(base_handler.PipelineBase):
"""
"""

    def run(self):
        output = yield mapreduce_pipeline.MapreducePipeline(
            job_name="items_job",
            mapper_spec="production.cron.mappers.items_info_mapper",
            input_reader_spec="mapreduce.input_readers.DatastoreInputReader",
            mapper_params={
                "input_reader": {
                    "entity_kind": "production.models.Transaction"
                }
            }
        )

        yield ItemsInfoStorePipeline(output)


class ItemsInfoStorePipeline(base_handler.PipelineBase):
"""
"""

    def run(self, statistics):
        print statistics
        return "OK"

当然,我已经再次检查了mapper路径是否正确,并考虑到ItemsInfoStorePipeline没有做任何事情,因为我关注的是启动管道,而这并没有发生。在

它全部由烧瓶视图触发,如下所示:

^{pr2}$

我正在使用GoogleAppEngineMapReduce==1.9.22.0

谢谢你的帮助。在

更新

上面的代码在部署之后就可以工作了。在

更新2

显然有更多的人在处理这个问题:

https://github.com/GoogleCloudPlatform/appengine-mapreduce/issues/103


Tags: run代码inputbase管道defcronclass
1条回答
网友
1楼 · 发布于 2024-09-29 22:34:16

我正在更新这个。我有一个使用管道的代码库,在OSX中运行良好。我有另一个开发人员在使用OSX,但我做的任何事情似乎都无法让它正常工作,他得到了这样的结论:

Encountered unexpected error from ProtoRPC method implementation: PipelineSetupError

我试着交换版本,使我们的电脑完美匹配,而且这种情况还在继续发生。我终于崩溃了,在docker中建立了一个Ubuntu映像。我也在尽我所能完美地匹配我们的AppEngine版本和库。在

它也拒绝以同样的信息开头。我开始在库中工作,取消了对包含错误的部分的注释,但这是一个很长的兔子洞,因为上面的很多东西似乎也在吞噬正在发生的任何事情。在

相关问题 更多 >

    热门问题