Dataflow Flex模板验证失败，未给出原因
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我一直在编写一个数据流管道，并且正在使用flex模板</p>
<p>我的代码从avro读取并处理它没有问题。但是当涉及到WriteToAvro或WriteToText时，数据流作业失败，并且看起来在模板验证时失败了。我完全没有理由这样做</p>
<p>我试过很多东西。删除输出文件的参数并对其进行硬编码。将WriteToAvro切换为WriteToText，但同样失败</p>
<pre><code> with beam.Pipeline(options=options) as p:
read_from_avro = p \
| 'ReadFromAvro' >> ReadFromAvro(input_file)
redact_data = read_from_avro | "RedactData" >> IdentifyRedactData(project, redact_fields)
redact_data | 'WriteToAvro' >> WriteToAvro(
file_path_prefix=output_file,
schema=s,
codec='deflate',
file_name_suffix='.avro')
</code></pre>
<p><code>join_pcollections</code>的输出是一个pcollection，每个元素都是一个dictionary</p>
<p>数据流日志提供以下信息：</p>
<pre><code>2021-06-27 09:04:46.728 BST Workflow failed.
2021-06-27 09:04:46.763 BST Cleaning up.
2021-06-27 09:04:46.817 BST Worker pool stopped.
</code></pre>
<p>有人知道发生了什么吗。仅供参考当我删除最后一个步骤并运行“ProcessData”步骤时，一切都会顺利运行。这是刚刚中断的最后一个写入步骤</p>
<p>编辑以添加需求文件</p>
<pre><code>apache-beam==2.29.0
google-cloud==0.34.0
google-cloud-dlp==3.1.0
google-cloud-storage==1.35.0
google-cloud-core==1.4.1
google-cloud-datastore==1.15.0
</code></pre>
<p>如果我尝试使用apachebeam[gcp]==2.29.0，构建就会失败，因此我想知道这是否与此有关</p>
<pre><code>apache-beam[gcp] 2.29.0 depends on google-cloud-dlp<2 and >=0.12.0; extra == "gcp"
</code></pre>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 无法使用Django/mongoengine连接到MongoDB（身份验证失败） 10 回答
- 无法使用Django\u mssql\u后端迁移到外部hos 10 回答
- 无法使用Django&Python3.4连接到MySql 1 回答
- 无法使用Django+nginx上载媒体文件 1 回答
- 无法使用Django1.6导入名称模式 6 回答
- 无法使用Django1.7和mongodb登录管理站点 10 回答
- 无法使用Djangoadmin创建项目，进程使用了错误的路径，因为我事先安装了错误的Python 3 回答
- 无法使用Djangockedi验证CBV中的字段 6 回答
- 无法使用Djangocketditor上载图像（错误400） 5 回答
- 无法使用Djangocron进行函数调用 5 回答
- 无法使用Djangofiler djang上载文件 4 回答
- 无法使用Djangokronos 5 回答
- 无法使用Djangomssql provid 6 回答
- 无法使用Djangomssql连接到带有Django 1.11的MS SQL Server 2016 3 回答
- 无法使用Djangomssq迁移Django数据库 2 回答
- 无法使用Djangonox创建用户 7 回答
- 无法使用Djangopyodb从Django查询SQL Server 4 回答
- 无法使用Djangopython3ldap连接到ldap 4 回答
- 无法使用Djangoredis连接到redis 3 回答
- 无法使用Django中的FK创建新表 2 回答
