大数据下的广义最小二乘法

Question

我想线性拟合那些没有独立取样的数据。我遇到了广义最小二乘法：

b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Y

方程是Matlab格式；X和{}是数据点的坐标，V是一个“方差矩阵”。在

问题是由于它的大小（1000行和1000列），V矩阵变得奇异，因此不可逆。关于如何解决这个问题有什么建议吗？也许用一种方法来解决广义线性回归问题，而不是GLS？我可以使用并且（稍微）熟悉的工具是Numpy/Scipy、R和Matlab。在

Answer 1

可以使用奇异值分解作为解算器。它会尽最大努力的。在

我通常用另一种方式来思考最小二乘法。你可以在这里读到我的想法：

http://www.scribd.com/doc/21983425/Least-Squares-Fit

看看这对你是否有用。在

我不明白大小是个问题。如果你有N个(x, y)对，你仍然只需要求解M阶多项式中的（M+1）系数：

y = a0 + a1*x + a2*x^2 + ... + am*x^m