Python Apache Beam将dict列表转换为多个PCollection元素

Question

作为数据流的一部分，我有一个CombineFn，它返回dict列表。我想将每个dict打印到avro文件中作为记录。但是，当我将beam.io.WriteToAvro应用到CombineFn输出时，它失败了。在

似乎完整的dicts列表被视为一个元素。有什么方法可以让它像一个元素列表一样对待它吗？在

Answer 1

希望有更好的方法来实现这一点，但我通过应用以下DoFn来分解列表：

class BreakList(beam.DoFn):
    def process(self, element):
        for e in element:
            yield e