触发\u频率只能与写入BigQuery的文件\u加载方法一起使用

Question

无法为数据流作业设置触发频率。你知道吗

transformed | 'Write' >> beam.io.WriteToBigQuery(
          known_args.target_table,
          schema=schema,
          create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
          write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND,
          method=bigquery.WriteToBigQuery.Method.FILE_LOADS,
          triggering_frequency=5
          )

Error: triggering_frequency can only be used with FILE_LOADS method of writing to BigQuery

Answer 1

这是个虫子。WriteToBigQuery转换有两个实现—支持流中文件加载的实现是相当新的，因此它被隐藏在一个实验后面。你知道吗

所以：要激活这个，请传递use_beam_bq_sink作为一个实验，比如： experiments use_beam_bq_sink。你知道吗