Tensorflow:如何手动分割数据集

2024-10-03 02:43:34 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用MirroredStrategy执行多gpu训练,它似乎没有正确地分割数据。如何手动进行数据分片

我知道我可以对tf.data数据集使用shard方法,但为此我需要访问worker ID,我不知道如何获得它。如何访问工作人员ID


Tags: 数据方法iddatagputf手动worker
1条回答
网友
1楼 · 发布于 2024-10-03 02:43:34

MirroredStrategy在单个工作进程上运行(对于多个工作进程,有MultiWorkerMirroredStrategy)。因为它只在一个worker上运行,MirroredStrategy运行单个Dataset管道,而不进行任何数据分片。在每个步骤中,MirroredStrategy为每个工作者请求一个数据集元素

相关问题 更多 >