Python中海量数据集的挖掘

Question

我有超过5gb的数据集。有没有一种方法可以用这些数据块一块一块地训练我的模型，以一种随机梯度下降的方式？换句话说，将集合分成5个块，每个块1 GB，然后训练参数。在

我希望在Python环境中执行此操作。在

Answer 1

是的，你可以。scikit learn中的SGD有partial fit；将其与块一起使用

http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier

partial_fit(X, y[, classes, sample_weight]) Fit linear model with Stochastic Gradient Descent.