如何在python中运行非线性回归

Question

我在python中有以下信息（dataframe）

product baskets scaling_factor
12345   475     95.5
12345   108     57.7
12345   2       1.4
12345   38      21.9
12345   320     88.8

我想运行以下非线性回归和估计参数。

a、b和c

我要拟合的公式：

scaling_factor = a - (b*np.exp(c*baskets))

在sas中，我们通常运行以下模型：（使用高斯-牛顿法）

proc nlin data=scaling_factors;
 parms a=100 b=100 c=-0.09;
 model scaling_factor = a - (b * (exp(c*baskets)));
 output out=scaling_equation_parms 
parms=a b c;

有没有类似的方法来估计Python中使用非线性回归的参数，我如何才能看到Python中的图。

Answer 1

对于这样的问题，我总是使用^{}和我自己的最小二乘函数。优化算法不能很好地处理不同输入之间的巨大差异，因此在函数中缩放参数是一个好主意，这样暴露给scipy的参数都是按1的顺序排列的，正如我在下面所做的那样。

import numpy as np

baskets = np.array([475, 108, 2, 38, 320])
scaling_factor = np.array([95.5, 57.7, 1.4, 21.9, 88.8])

def lsq(arg):
    a = arg[0]*100
    b = arg[1]*100
    c = arg[2]*0.1
    now = a - (b*np.exp(c * baskets)) - scaling_factor
    return np.sum(now**2)

guesses = [1, 1, -0.9]
res = scipy.optimize.minimize(lsq, guesses)

print(res.message)
# 'Optimization terminated successfully.'

print(res.x)
# [ 0.97336709  0.98685365 -0.07998282]

print([lsq(guesses), lsq(res.x)])
# [7761.0093358076601, 13.055053196410928]

当然，和所有最小化问题一样，重要的是使用良好的初始猜测，因为所有算法都可能陷入局部极小值。优化方法可以通过使用method关键字进行更改；其中一些可能性是

• “内尔德·米德”
• “鲍威尔”
• '重心'
• 'BFGS'
• “牛顿重心”

根据the documentation，默认为BFGS。