数据集的java并发处理

Question

我有以下场景：

有两个SQL数据库。我必须从第一个数据库中读取一组行，从一行中提取一个XML字段，用XSLT和其他一些逻辑对其进行转换，然后将其插入第二个数据库。 XSLT转换相当昂贵（大约每行300毫秒），我认为此转换的并发处理将加快迁移速度

问题是：如何管理第一个数据库的读取过程？将所有行作为一个大容量读入集合并进行并发处理看起来是个坏主意。这里有什么模式吗

Answer 1

听起来像是Spring batch的完美候选人

您将能够定义从DB读取的读卡器，DB是执行XSLT转换和并行化过程的处理器。它还支持分块读取，因此不必将整个数据集存储在内存中