Appengine mapreduce完成\u调用

2024-06-01 22:52:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我在googleappengine中有一个mapreduce的工作来处理csv文件。 我需要在任务完成后运行一个方法。你知道吗

我使用以下python代码启动作业:

 MapreducePipeline.run(
            job_name="rates_transform",
            mapper_spec="BaseTransformer.transform_one_row",
            reducer_spec="BaseTransformer.reduce_by_prefix",
            input_reader_spec="mapreduce.input_readers.BlobstoreLineInputReader",
            output_writer_spec="mapreduce.output_readers.BlobstoreRecordsOutputWriter",
            mapper_params={"blob_key": blobkey},
            reducer_params={"mime_type": "text/csv"},
            shards=None
        )

我可以传递一个done_callback作业或一个url来制作webhook吗?你知道吗


Tags: 文件csv方法inputoutput作业transformparams