apachebeam中Python对SparkRunner的支持

2024-09-30 20:17:53 发布

您现在位置:Python中文网/ 问答频道 /正文

是否支持使用apachebeam和SparkRunner运行python程序?在

文档中似乎没有它:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner

当我看到API参考时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html我在里面找不到任何关于斯巴克伦的记载。在

我相信有人提到并支持Java,但是我想知道python是否支持它?在


Tags: 文档httpsorg程序apigetexampleapache
2条回答

目前还不支持在apachespark上运行使用apachebeam的pythonsdk构建的管道。然而,这项工作正在进行中,具体体现在apachebeam可移植性框架中。在

敬请期待,这是一个应该很快就可以得到的东西!在

增加了对运行apachebeam Python管道的支持,并提供了一些关于如何开始here的说明。在

相关问题 更多 >