tf.data，tf.distributed不带GPU

Question

我的机器上没有GPU，因为tensorflow上的大多数性能建议只提到GPU，有人能确认吗

tf.data.prefetch
tf.distribute.mirroredstrategy
tf.distribute.multiworkerstrategy

是否仅适用于多GPU？ 我在我的电脑上试过，大多数功能都会减慢进程，而不是增加进程。因此，多CPU在这里没有好处

Answer 1

如果你还没有解决你的问题，你可以使用谷歌Colab（https://colab.research.google.com）来获得一个GPU——在那里你可以将运行时更改为GPU或TPU

Answer 2

我不完全理解你的要求，但让我给你一个10000英尺的解释。它可能会帮助你理解什么时候应该使用它

1. tf.data.prefetch：假设在训练模型时有两个步骤。a） 读取数据，b）处理数据。在处理数据时，您可以读取更多数据，以确保在使用当前批次数据完成“培训”后数据可用。试想一个生产者/消费者模型。您不希望消费者在生成更多数据时处于空闲状态

2. tf.distribute.mirroredstrategy：如果您有一台具有多个GPU的机器，则此选项会有所帮助。它允许在同一台机器上“并行”训练模型

3. tf.distribute.multiworkerstrategy：假设现在有一个包含5台机器的集群。您可以使用所有这些工具以分布式方式训练您的模型

这只是你在这里提到的3个项目的简单解释