2024-10-03 02:43:34 发布
网友
我正在使用MirroredStrategy执行多gpu训练,它似乎没有正确地分割数据。如何手动进行数据分片
MirroredStrategy
我知道我可以对tf.data数据集使用shard方法,但为此我需要访问worker ID,我不知道如何获得它。如何访问工作人员ID
tf.data
shard
MirroredStrategy在单个工作进程上运行(对于多个工作进程,有MultiWorkerMirroredStrategy)。因为它只在一个worker上运行,MirroredStrategy运行单个Dataset管道,而不进行任何数据分片。在每个步骤中,MirroredStrategy为每个工作者请求一个数据集元素
Dataset
MirroredStrategy
在单个工作进程上运行(对于多个工作进程,有MultiWorkerMirroredStrategy)。因为它只在一个worker上运行,MirroredStrategy
运行单个Dataset
管道,而不进行任何数据分片。在每个步骤中,MirroredStrategy
为每个工作者请求一个数据集元素相关问题 更多 >
编程相关推荐