可以将TFX Trainer组件与两个数据集一起使用吗?

2024-05-19 10:07:56 发布

您现在位置:Python中文网/ 问答频道 /正文

首先,如果我的问题描述不清楚,我想道歉,因为我是一名学生,而且我是计算机科学界的新手

因此,我正在开发一个基于新的TensorFlow Recommenders Retrieval Model(TFRS)的推荐系统,我想创建一个管道,用TensorFlow Extended(TFX)对其进行培训和服务。问题是我必须使用不同的数据集:一个用于交互(在本例中为读者/文章),另一个用于文章功能(类别、标题…)。所以我的问题是:如何使用TFX处理两个不同的数据集

首先,我想我可以像这样构建一个双管道:

My idea of the way to implement a TensorFlow Retrieval Model pipeline with TFX

每个数据集有两个部分(不同的ExampleGen、SchemaGen和Tranform),但有一个通用的培训师组件。下面是我的问题:

  • 你认为这是最好的方法吗

  • 如果是,我如何向培训师提供两个不同的变压器和两个不同的模式

  • 如果没有,最好的方法是什么

正如我之前所说的,我是StackOverflow和计算机科学的新手,所以如果我没有说清楚,请告诉我可以在我的问题中添加什么来提高对我正在尝试做的事情的理解

更新最后,我成功地创建了一个自定义培训师组件,它可以接收两个数据集作为输入,我仍然不知道这是否是最好的方法。


Tags: 数据方法model管道tensorflow计算机文章组件

热门问题