承载非常大数据的java Read REST api响应

Question

我正在调用一个承载大量数据的RESTAPI端点。数据量太大，我的chrome标签也会崩溃（它会在短时间内显示数据，并且加载更多数据，导致标签崩溃）。即使是邮递员也无法获取数据，而是只返回200个OK代码，而不显示任何响应正文

我正试图编写一个java程序来使用API的响应。有没有一种方法可以在不占用大量内存的情况下使用响应

如果问题不清楚，请告诉我。谢谢

Answer 1

如果数据非常大，则最好拆分任务：

1. 通过普通http客户端将完整数据下载到磁盘
2. 使用一些流式处理方法进行批量处理，类似于XML的SAX解析： JAVA - Best approach to parse huge (extra large) JSON file

使用这种拆分，您将不会处理处理处理过程中可能出现的网络错误，并将保持数据的一致性

Answer 2

一种可能性是使用JSON流解析程序，如Jackson流API（https://github.com/FasterXML/jackson-docs/wiki/JacksonStreamingApi），例如代码参见https://javarevisited.blogspot.com/2015/03/parsing-large-json-files-using-jackson.html

对于JS，有https://github.com/DonutEspresso/big-json