返回分布python的zvalue

Question

我有一个双变量分布，它是由'Int_1','Int_2'中每个Group的xy点生成的。我通过Norm使分布正常化，并将其传递到轮廓以显示z值

我想返回在'Item_X','Item_Y'中显示的xy点处的二元分布的z值。下图中使用白色散射点显示了一个示例

最后，我将在每个时间点将'Item_X','Item_Y'的z值传递给数据帧，并将其追加回原始df

import pandas as pd
import numpy as np
from scipy.stats import multivariate_normal as mvn
import matplotlib.pyplot as plt
from scipy.interpolate import RectBivariateSpline

df = pd.DataFrame({'Int_1': [1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 3.0, 2.0], 
           'Int_2': [1.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0],
           'Item_X': [0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0],
           'Item_Y': [0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0],               
           'Period': [1, 1, 1, 1, 2, 2, 2, 2],
           'Group': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
           'Item': ['Y', 'Y', 'A', 'B', 'A', 'B', 'A', 'B'],
           'id': ['1', '2', '3', '4', '1', '2', '3', '4']})

Group_A = [df[df['Group'] == 'A'][['Int_1','Int_2']].to_numpy()]
Group_B = [df[df['Group'] == 'B'][['Int_1','Int_2']].to_numpy()]
Item = [df[['Item_X','Item_Y']].to_numpy()]

period = df['Period'].drop_duplicates().reset_index(drop = True)

def bivart_func(member_no, location, time_index, group):

  if group == 'A':
    data = Group_A.copy()

  elif group == 'B':
    data = Group_B.copy()

  else:

    return

  if np.all(np.isfinite(data[member_no][[time_index,time_index + 1],:])) & np.all(np.isfinite(Item[0][time_index,:])):

    sxy = (data[member_no][time_index + 1,:] - data[member_no][time_index,:]) / (period[time_index + 1] - period[time_index])

    mu = data[member_no][time_index,:] + sxy * 0.5

    out = mvn.pdf(location,mu) / mvn.pdf(data[member_no][time_index,:],mu)

  else:
    out = np.zeros(location.shape[0])

  return out

xx,yy = np.meshgrid(np.linspace(-10,10,200),np.linspace(-10,10,200))
Z_GA = np.zeros(40000)
Z_GB = np.zeros(40000)

for k in range(1):
  Z_GA += bivart_func(k,np.c_[xx.flatten(),yy.flatten()],0,'A')
  Z_GB += bivart_func(k,np.c_[xx.flatten(),yy.flatten()],0,'B')

fig, ax = plt.subplots(figsize=(8,8))
ax.set_xlim(-10,10)
ax.set_ylim(-10,10)

Z_GA = Z_GA.reshape((200,200))
Z_GB = Z_GB.reshape((200,200))

Norm = xx,yy, (Z_GA - Z_GB)

cfs = ax.contourf(*Norm, cmap = 'magma')

ax.scatter(Item[0][1,0],Item[0][1,1], color = 'white', edgecolor = 'black')

f = RectBivariateSpline(xx[0, :], yy[:, 0], Norm)
z = f(df['Item_X'], df['Item_Y'], grid = False) 
print(z)

Answer 1

Z分数是一个参数，允许您比较不同的正态分布。任何正态分布都以同样的方式依赖于Z分数

Z分数由以下公式定义：

概率密度函数为

对于任何发行版，如果在f(x)的定义中替换z，则始终会得到exp(-0.5*z**2)/(sigma * sqrt(2*pi)

在你的例子中，你有一个概率比，你可以找到一个类似于它的z值，但它有不同的解释。为了做到这一点，我将尝试使用不同的平均值和协方差，将普通PDF与缩放的普通PDF进行比例转换

PDF作为比例PDF的比率

这在启用了latex的论坛中更合适，我将用类似python的语法编写方程式

多元分布可以描述为

a * exp(-(x - mu).T @ A @ (x-mu))

如果有两个分布的比率，可以表示为 (a1/a2) * exp(-(x - mu2).T @ A1 @ (x-mu2)) / exp(-(x - mu1).T @ A2 @ (x-mu2))

因为指数比是差的指数

exp(-(x - mu2).T @ A1 @ (x-mu2) + (x - mu1).T @ A2 @ (x-mu2))

重新安排条款 exp(-x.T @ (A1 - A2) @ x + 2 * x.T @ (A1 @ mu1 - A2 @ mu2) + mu1.T @ A1 @ mu2 + mu2.T @ A2 @ mu2)

术语2 * x.T @ (A1 @ mu1 - A2 @ mu2)组合了两个线性术语，并将定义分布的平均值，术语 mu1.T @ A1 @ mu2 + mu2.T @ A2 @ mu2是常量，并将在分布上显示为常量因子

exp(-(x - mu).T @ A @ (x-mu))

缩放高斯曲线的中心是这样的：

(A1 - A2)@ mu3 = (A1 @ mu1 - A2 @ mu2)

因此mu3 = (A1 - A2).inv() @ (A1 @ mu1 - A2 @ mu2)和A3=A1-A2

如果A3是正定的（所有特征值都是正的），则分布将是平均mu3的缩放高斯分布

a3 * exp(-(x - mu3).T @ A3 @ (x-mu3))

def combine(C1, C2, mu1, mu2):
  """
    Given two multivariate normal distribution in a n-dimensional space
    C1: Covariance of the first distribution
    C2: Covariance of the second distribution
    mu1: Center of the first distribution
    mu2: Center of the second distribution
  """

  A1 = C1.inv()
  A2 = C2.inv()
  C3 = (A1 - A2).inv()
  mu3 = C3 @ (A1 @ mu1 - A2 @ mu2)
  return C3, mu3

多变量z值类似

z值只是指数负变元的两倍的平方根，因此，给定上述等式（用C表示，协方差矩阵）

def zValue(C, mu, x):
  """
    C:  n x n covariance matrix
    mu: n x 1 center vector
    x:  n x 1 location vector
  """
  return sqrt((x-mu).T @ C.inv() @ (x-mu))

Z值是曲线“中心”处的值与给定点之间比值的函数。如果A1 - A2不是确定的正函数，则它可能为负，这意味着在给定点x处计算的函数大于在点mu3处计算的函数