Scipy&Optimize：最小化示例，如何添加约束？

Question

我有一个数据集，我想用最小二乘法找到一个混合高斯模型。在

代码是这样的：

from sklearn.neighbors import KernelDensity
kde = KernelDensity().fit(sample)

def gaussian_2d(x,y,meanx,meany,sigx,sigy,rho):
    # rho <= 1
    part1 = 1/(2*np.pi*sigx*sigy*sqrt(1-0.5**2))
    part2 = -1/2*(1-rho**2)
    part3 = (((x-meanx)/sigx)**2-2*rho*(x-meanx)*(y-meany)/(sigx*sigy)+((y-meany)/sigy)**2)
    return part1*exp(part2*part3)

def square_error(f1,f2, u1,v1,sigu1,sigv1,rho1, u2,v2,sigu2,sigv2,rho2, u3,v3,sigu3,sigv3,rho3):
    # 1. Generate Mixed Gaussian Model
    def gaussian1(x,y):
        return gaussian_2d(x,y,u1,v1,sigu1,sigv1,rho1)
    def gaussian2(x,y):
        return gaussian_2d(x,y,u2,v2,sigu2,sigv2,rho2)
    def gaussian3(x,y):
        return gaussian_2d(x,y,u3,v3,sigu3,sigv3,rho3)
    mixed_model = f1*gaussian1(x,y)+f2*gaussian2(x,y)+(1-f1-f2)*gaussian3(x,y)
    # 2. Calculate the sum of square error
    sum_error = 0
    for point in sample:
        error = (exp(mixed_model(point)) - exp(kde.score(point)))**2
        sum_error += error
    return sum_error

# How can I add constraints:
# f1+f2 <= 1
# rho1,2,3 <= 1
result = sp.optimize.minimize(square_error)

但我不知道如何在minimize方法中添加约束。http://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html#scipy.optimize.minimize中的例子很难理解。在

更新： 这就是我的结局

^{pr2}$

但它给了我TypeError: square_error() takes exactly 17 arguments (1 given)，有什么问题吗？在

Answer 1

如果解算器支持添加边界，则只能添加它们，因此仅适用于method='L-BFGS-B'、TNC和{}。在

边界通过一个(min, max)元组的序列传递，这些元组的长度与参数的数目相对应。使用3个参数进行拟合的示例如下：

result = sp.optimize.minimize(
                        square_error,
                        method='L-BFGS-B',
                        bounds=[(0., 5.), (None, 1.e4), (None, None)])

这里，None对应于无边界。 恐怕在scipy.minimize中的bounds框架内，对参数组合的约束是不可能的。在

但是，如果您的边界被违反，您可以简单地在代价函数中返回np.inf。不过，我不确定这是否稳定：

^{pr2}$

此外，我建议使用multivariate Gaussians的python实现，而不是从头开始创建它们。这将加快你的拟合速度，有助于避免错误，并更具可读性。在