Python Beam Flin

Question

我一直在尝试让apachebeam可移植性框架与Python和apacheflink一起工作，但似乎找不到一套完整的指令集来让环境正常工作。有没有参考资料提供了完整的先决条件和步骤列表，以使一个简单的python管道正常工作？在

Answer 1

总的来说，对于本地便携式运行器（ULR），see the wiki，引用如下：

运行Python SDK管道：

1. 将容器编译为本地生成：./gradlew :beam-sdks-python-container:docker
2. 启动ULR作业服务器，例如：./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning。有关详细信息，请参阅上面链接中的Java部分。 3正确设置python环境。更多详细信息can be found here。在
3. 使用以下命令运行管道（在sdk/python文件夹下）

示例：

python -m apache_beam.examples.wordcount\
   input=gs://dataflow-samples/shakespeare/kinglear.txt \
   output=/tmp/output \
   runner=PortableRunner \
   job_endpoint=localhost:8099 \
   experiments beam_fn_api

对于Flink，您需要使用不同的作业服务器：./gradlew beam-runners-flink_2.11-job-server:runShadow。这个主机：端口为localhost:8099

相关电子邮件讨论：one，two。在

可能值得看一些代码：one，two。在