“tf.distribute.MirroredStrategy”对培训结果有影响吗?

2024-10-03 02:41:35 发布

您现在位置:Python中文网/ 问答频道 /正文

我不明白MirroredStrategy是否对培训结果有任何影响

我的意思是:在单个设备上训练的模型与在多个设备上训练的模型相同吗

我认为应该是同一个模型,因为它只是梯度的分布式计算,不是吗


Tags: 模型梯度分布式计算mirroredstrategy
1条回答
网友
1楼 · 发布于 2024-10-03 02:41:35

是的,在单个GPU和多个GPU(在一台机器上)上训练的模型是相同的。也就是说,根据文档,模型中的变量在所有GPU上都是replicated and in sync

相关问题 更多 >