Google数据流模板| Python SDK |限制

Question

请社区总结一下Python SDK在Google数据流模板上的局限性：

1. pythonsdk对源代码有限制：对于BigQuery、BigTable和Pubsub源代码，我们没有可以获取运行时参数的连接器
2. 我们支持运行时参数，但只支持简单的参数替换
3. 不支持NestedValueProvider（它允许我们从另一个ValueProvider对象计算值）

如果我错了，请纠正我。如果我遗漏了什么，请告诉我

Answer 1

根据Apache Beam Python SDK documentation，BigQuery读取连接器支持ValueProvider对象，因此应该可以在BigQuery源上使用运行时参数

BigTable connector尚未提供读取/源代码支持，目前，只能使用BigTable作为写入输出；但是，ValueProvider参数还不受支持

Pub/Sub connector仅在流式管道中支持源和汇。与BigTable连接器相同，ValueProvider参数尚不受支持

关于NestedValueProvider，是的，如Dataflow templates documentation中所述，用于Python的Apache Beam SDK不支持NestedValueProvider

您可以随时检查Apache Beam release notes以保持最新功能的更新，或者跟进Jira上的相关功能请求，例如，已经有一个open request for DynamicDestinations implementation for BigtableIO，尽管它是针对Java SDK的