apachebeam将每个标记的输出写入单独的fi

2024-10-05 10:51:29 发布

您现在位置:Python中文网/ 问答频道 /正文

我根据一个输入数据元素(日期)标记输入元素。在

class TagElementsWithDate(beam.DoFn):
    def process(self, element):
        dt = element['date'].replace('-', '')[:6]
        yield pvalue.TaggedOutput(dt, element)

input_data = p | 'Read Input' >>  beam.io.Read(beam.io.BigQuerySource(query='select id, date from `project.dataset.tablename`', use_standard_sql=True))

tagged_data = input_data | 'tag data' >> beam.ParDo(TagElementsWithDate()).with_outputs()

标记的数据是dooutputsulle。我希望迭代这个,并将每个标记的数据写入一个单独的文件。在


Tags: 数据标记io元素readinputdatadate

热门问题