使用apachebeampythonsdk,我已经设置了一个数据流,它在大查询的日期分区表中写入各个分区。根据this documentation,每个日期分区表都有特殊的NULL
和{UNPARTITIONED
分区,但如何才能写入NULL
分区?在
我试图根据数据中的值将数据加载到分区中,有时该字段为空。我宁愿写到NULL
分区,也不愿编一个日期用于空值。在
为了便于参考,我编写了todate分区,方法如下:
beam.io.Write(beam.io.BigQuerySink(table_id+'$20180925',
project=project_id, dataset=dataset_id, schema=schema))
我需要用什么来替换$20180925
来写入NULL
?在
NULL分区仅在按数据中的列分区的表中可用,而在摄取时分区的表中不可用。如果您正在写入一个列分区表,那么您可以简单地不填充特定行中该列的值,而使用table_id(不带任何分区后缀)来写入NULL分区。在
相关问题 更多 >
编程相关推荐