apachebeam数据流作业在本地做什么？

Question

我对apachebeampythonsdk定义的数据流有一些问题。如果我仔细检查代码，它会到达管道.运行（）步骤，我认为这意味着成功定义了执行图。但是，作业从未在数据流监视工具上注册，这使得我认为它永远不会到达管道验证步骤。在

我想知道这两个步骤之间发生了什么，以帮助调试问题。{{cd2}在安装之前，{I}我的服务器似乎被发送到了

我不是在这里寻找解决问题的方法，只是想更好地理解过程。在

Answer 1

在图形构造期间，数据流检查管道中的错误和任何非法操作。一旦检查成功，执行图被转换成JSON并传输到Dataflow服务。在Dataflow服务中，JSON图被验证并成为一个作业。 但是，如果在本地执行管道，则不会将图形转换为JSON或传输到Dataflow服务。因此，图形不会在监视工具中显示为作业，它将在本地计算机上运行[1]。您可以按照文档配置本地计算机[2]。在

[1]https://cloud.google.com/dataflow/service/dataflow-service-desc#pipeline-lifecycle-from-pipeline-code-to-dataflow-job

[2]https://cloud.google.com/dataflow/pipelines/specifying-exec-params#configuring-pipelineoptions-for-local-execution