Python生成器在后台计算和存储

Question

我有一个python生成器，它遍历文件列表并逐个处理其中的数据顺序很重要，因为我需要上一个文件的结果来计算下一个文件，所以这不是一个令人尴尬的并行任务。当处理每个文件时，我将数据从生成器中吐出，开始主计算。我想知道是否有可能让生成器在后台运行并“缓存”结果，尽管我对这个主题没有太多经验

我的代码看起来像这样-

for processedData in myGenerator():
    bigCalculation(processedData)

我在找这样的东西-

for processedData in cleverParallelFunction(myGenerator()):
    bigCalculation(processedData)

值得注意的是，processedData的大小合理（几GB），处理时间与从文件读取时间相同。我很好奇多重处理在这里是否有用，因为它通过管道发送数据可能也需要相当长的时间，但我不确定

这里的任何帮助都将不胜感激