基于python的边际似然优化

Question

我试图优化边际似然来估计高斯过程回归的参数。 所以我用这种方式定义了边际对数似然：

def marglike(par,X,Y):
l,sigma_n = par
n = len(X)
dist_X = (X.T - X)**2
k = np.exp(-(1/(2*(l**2)))*dist_X)
inverse = np.linalg.inv(k + (sigma_n**2)*np.eye(len(k))) 
ml = (1/2)*np.dot(np.dot(Y.T,inverse),Y) + (1/2)*np.log(np.linalg.det(k + (sigma_n**2)*np.eye(len(k)))) + (n/2)*np.log(2*np.pi)
return ml

其中待优化的参数为“l”和“sigma_n”。 使用一些初始值和数据，函数会返回一些值：

X = np.linspace(1,10,20)
F = np.sin(X)
start = np.array([1,0.05]) #initial parameters values

marglike(start,X,F)

marglike(start,X,F)
Out[75]: array([[1872.6511786]])

但当我尝试使用“最小化”优化参数时，我得到了以下结果：

re = minimize(marglike,start,args=(X,F),method="BFGS",options = {'disp':True})

re = minimize(marglike,start,args=(X,F),method="BFGS",options = {'disp':True})
Optimization terminated successfully.
     Current function value: 22.863446
     Iterations: 8
     Function evaluations: 60
     Gradient evaluations: 15

re.x
Out[89]: array([1.        , 0.70845989])

我不知道为什么，但参数“l”似乎没有得到优化，但它与我固定的起始值相匹配

有什么建议吗

Answer 1

您需要首先将X重塑为2d，以便X.T-X工作。此外，您还需要在优化中再添加一个名为variance（var的参数。让我知道下面的代码是否解决了您的问题

from scipy.optimize import minimize

def marglike(par,X,Y):
  # print(par)
  l,var,sigma_n = par
  n = len(X)
  dist_X = (X - X.T)**2
  # print(dist_X)
  k = var*np.exp(-(1/(2*(l**2)))*dist_X)
  inverse = np.linalg.inv(k + (sigma_n**2)*np.eye(len(k))) 
  ml = (1/2)*np.dot(np.dot(Y.T,inverse),Y) + (1/2)*np.log(np.linalg.det(k + (sigma_n**2)*np.eye(len(k)))) + (n/2)*np.log(2*np.pi)
  return ml

X = np.linspace(1,10,20).reshape(-1,1) # Reshaping
F = np.sin(X)
start = np.array([1.1,1.6,0.05]) #initial parameters values
print(marglike(start,X,F))

re = minimize(marglike,start,args=(X,F),method="L-BFGS-B",options = {'disp':True})
re.x