神经网络如何用Encog Java训练大型集合？

Question

我有大量的数据需要训练（千兆字节的数据）

有没有办法根据需要装卸货物

最好是分成小块，比如说每个100 MB，然后训练每个子集，直到误差消失。完成后，重新开始，直到所有错误都足够好

谢谢

Answer 1

那么，你有没有尝试过当你用所有数据进行训练时会发生什么

encogs BufferedNeuralDataSet应该可以

This class is not memory based, so very long files can be used, without running out of memory. This dataset uses a Encog binary training file as a buffer. When used with a slower access dataset, such as CSV, XML or SQL, where parsing must occur, this dataset can be used to load from the slower dataset and train at much higher speeds.

此外，我认为只使用小的子集进行训练不会得到好的结果，因为你使用第一个子集降低误差，然后使用第二个子集重新训练，第二个子集可能包含非常不同的数据，从而将网络训练成对第一个集不好的错误，等等