我根据一个输入数据元素(日期)标记输入元素。在
class TagElementsWithDate(beam.DoFn):
def process(self, element):
dt = element['date'].replace('-', '')[:6]
yield pvalue.TaggedOutput(dt, element)
input_data = p | 'Read Input' >> beam.io.Read(beam.io.BigQuerySource(query='select id, date from `project.dataset.tablename`', use_standard_sql=True))
tagged_data = input_data | 'tag data' >> beam.ParDo(TagElementsWithDate()).with_outputs()
标记的数据是dooutputsulle。我希望迭代这个,并将每个标记的数据写入一个单独的文件。在
目前没有回答
相关问题 更多 >
编程相关推荐