在Oja-ru中使用memmap崩溃RAM

Question

我在使用大小为400x156300的数据集上的oja规则。好像把我的公羊撞坏了。我不知道是什么原因造成的。请帮忙。 我有12GB的内存。 尝试使用memmap，但仍然崩溃！！你知道吗

#convert memmap and reduce precision
[num_sample,num_feat]=train_data.shape
filename = path.join(mkdtemp(), 'train_data.dat')
memmap_train = np.memmap(filename, dtype='float32', mode='w+', shape=(num_sample,num_feat))
memmap_train[:] = train_data[:]
del train_data,test_data

#apply oja's rule
ojanet = algorithms.Oja(minimized_data_size=1250,step=1e-10,verbose=True,show_epoch=1)
ojanet.train(memmap_train, epsilon=1e-3,epochs=10000)
red_train_data = ojanet.predict(memmap_train)
ojanet.plot_errors(logx=False)
pdb.set_trace()

此外，还提出了一个问题：https://github.com/itdxer/neupy/issues/27。不知道包开发是否处于活动状态。你知道吗

崩溃的RAM我的意思是RAM%的利用率超过100%，我的电脑停止响应。你知道吗

Answer 1

这个问题与Oja算法的内存使用效率低下有关。它是在NeuPy版本0.1.4中修复的。你可以在这里找到封闭的票：https://github.com/itdxer/neupy/issues/27