将tensorflow数据集对象保存到磁盘

2024-04-27 13:22:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我的目标是将tensorflow数据集对象保存到磁盘,然后在不同的机器上读取它们

以下是获取数据集的源代码:

import tensorflow_datasets as tfds

datasets, info = tfds.load("imdb_reviews", as_supervised=True, with_info=True)

现在,如何将datasetsinfo保存到诸如“/”之类的位置?此外,这将保存在Linux机器上,并在Windows机器上读取。所以,我希望格式与平台无关

我自己也尝试过使用链接https://github.com/tensorflow/tensorflow/issues/38483

def save(dataset, location='data/tf-records/'):
    dataset = dataset.map(tf.io.serialize_tensor)
    writer = tf.data.experimental.TFRecordWriter(location)
    writer.write(dataset)
    return location


def load(tf_record='data/tf-records/'):
    dataset = tf.data.TFRecordDataset(tf_record)
    dataset = dataset.map(lambda x: tf.io.parse_tensor(x, tf.int64))
    return dataset

但是,当我运行此代码时,会出现以下错误:

AttributeError: 'dict' object has no attribute 'map'

我开始研究tensorflow已经有几天了。因此,我不太确定如何修复这些问题。我是初学者

谢谢你的帮助


我在Python 3.7.9上有tensorflow 2.3


Tags: info机器truemapdatatftensorflowdef