大查询数据流加载到空分区

2024-10-16 17:22:43 发布

您现在位置:Python中文网/ 问答频道 /正文

使用apachebeampythonsdk,我已经设置了一个数据流,它在大查询的日期分区表中写入各个分区。根据this documentation,每个日期分区表都有特殊的NULL和{}分区。根据这些文档,我可以通过设置过去或将来的日期来写入UNPARTITIONED分区,但如何才能写入NULL分区?在

我试图根据数据中的值将数据加载到分区中,有时该字段为空。我宁愿写到NULL分区,也不愿编一个日期用于空值。在

为了便于参考,我编写了todate分区,方法如下:

beam.io.Write(beam.io.BigQuerySink(table_id+'$20180925',
    project=project_id, dataset=dataset_id, schema=schema))

我需要用什么来替换$20180925来写入NULL?在


Tags: 数据文档ioprojectidschemadocumentationthis
1条回答
网友
1楼 · 发布于 2024-10-16 17:22:43

NULL分区仅在按数据中的列分区的表中可用,而在摄取时分区的表中不可用。如果您正在写入一个列分区表,那么您可以简单地不填充特定行中该列的值,而使用table_id(不带任何分区后缀)来写入NULL分区。在

相关问题 更多 >