如何用python计算ab测试中两个列表的统计显著性

Question

我做了A/B测试，数据如下：

  control_conversion  test_conversion 
day1  100                 101         
day3  140                 200
day5  200                 320
day7  400                 800

对照组和测试组有1000个流量 因此转化率为：

^{pr2}$

我想用python来计算统计意义 第1天、第3天、第5天、第7天进行控制和测试。在

所以我需要列出两个清单：

control = [0.1, 0.14, 0.20, 0.40]
test = [0.1,0.2,0.32,0.8]

如何计算两个列表的四个p值？在

我想看到的是p值的列表

p值=[0.1，0.2，0,1,0.2,0.1]

Answer 1

快速和肮脏，假设控制和测试保持相同数量的项目：

control = [0.1, 0.14, 0.20, 0.40]
test = [0.1,0.2,0.32,0.8]

for idx in range(len(control)):
    val_co = control[idx]
    val_te = test[idx]
    # do whatever you want to do with val_co and val_te

Answer 2

您可以尝试在SciPy中使用binomial test function

from scipy.stats import binom_test
n = 1000

control = [100, 140,200,400]
test = [101,200,320,800]
pvals = []
for idx in range(len(control)):
    pvals.append(binom_test(test[idx],n=n, p=control[idx]/n))

print(pvals)

[0.9160130517865064, 1.8593423831091924e-07, 4.004795877115897e-19, 1.644604962019165e-147]

（我刚刚做了一个basic 101 blog post）