apachebeam Python单词计数示例对于使用bemioe的Flink Runner失败

Question

我尝试在Apache的Flink上运行apachebeam Python单词计数示例，使用PortableRunner，通过Docker使用SDK-harness/Job服务器。在

1. 使用./gradlew -p sdks/python/container docker生成了SDK线束容器。但是在对创建的图像进行docker pull时，会出现以下错误：

   Using default tag: latest Error response from daemon: Get https://$userId-docker- apache.bintray.io/v2/: x509: certificate is valid for *.bintray.io, bintray.io, not $userId-docker- apache.bintray.io

2. 使用./gradlew beam-runners-flink_2.11-job-server:runShadow成功启动Flink portable Jobservice终结点。

但是当尝试使用下面的命令和PortableRunner一起运行wordcount示例时

python -m apache_beam.examples.wordcount --input=local_input_file --output=local_output_file --job_endpoint=localhost:8099 --experiments beam_fn_api --runner=PortableRunner

它给出以下错误：

IOError as “RuntimeError: IOError: [Errno 2] No such file or directory: '/beam-temp-output-b6d55cb671ef11e9be2f025000000001/3ce015aa-78ee-4bfa-be17-120de259e690.output' [while running 'write/Write/WriteImpl/FinalizeWrite’]”

用DirectRunner而不是PortableRunner运行可以让它工作得很好！ 任何关于我如何通过Docker让wordcount与PortableRunner一起工作的提示，我们将不胜感激。在

Answer 1

我也遇到了同样的问题。试试这个：

./gradlew docker

相关文件here

Answer 2

您是否尝试指定存储库名称并从中提取？（通过使用-Pdocker repository root）

像这样：

“/gradlew-Pdocker存储库根目录”=gcr.io/此处有姓名-p SDK/go/集装箱码头工人”