一个分析来自mixpanel漏斗的ab测试数据的工具
mixbaba的Python项目详细描述
mixpanel贝叶斯ab测试分析工具(mixbaba)
此工具旨在使用一个json文件,其中包含有关mixpanel漏斗的详细信息,并输出使用贝叶斯框架进行的分析的结果。
您可以找到有关数据处理here的详细信息。
安装
来自Pypi
很简单:
pip install mixbaba
来源
要安装此软件包,必须克隆存储库:
git clone https://github.com/NaturalCycles/MixBABA.git
您可以运行单元测试,以确保工具正常工作:
cd MixBABA
python setup.py test
然后您可以通过pip安装该工具:
pip install .
用法
你可以找到完整的文档here, 但如果你想要一个简短的指南,请阅读以下内容。
要使用mixbaba,您需要:
- 一个json文件,其中包含漏斗列表以及有关漏斗的详细信息 (示例在此存储库中)
- 连接到mixpanel的“api秘密”;您可以在设置中找到 mixpanel web应用程序的对话框。
然后您可以通过命令行启动分析:
mixbaba -f [funnel_file.json] -k [API secret]
该工具将从mixpanel中提取与漏斗相关的数据, 输出将与csv文件放在同一个目录中, 输入中给定的json文件中指定的漏斗数量。
默认情况下,不会向控制台发送任何输出。如果要将csv文件作为输出,您可以使用
mixbaba -f [funnel_file.json] -k [API secret] -o csv
示例结果
这是分析漏斗的标准输出格式
Group | Control Impressions | Control Conversions | test Impressions | test Conversions | test CR improvement | test Probability |
---|---|---|---|---|---|---|
All.All | 34164 | 253 | 31105 | 284 | 0.232387 | 0.992551 |
goal.PREVENT | 6175 | 25 | 6016 | 37 | 0.500153 | 0.947624 |
goal.PLAN | 1561 | 5 | 1411 | 5 | 0.106157 | 0.568093 |
$country_code.US | 16631 | 224 | 15438 | 242 | 0.163448 | 0.95048 |
$country_code.SE | 8024 | 23 | 7275 | 35 | 0.654391 | 0.974175 |
或者,如果在命令启动时指定选项-of long
:
Discriminant | Cohort | Comment | Control Impressions | Control Conversions | test Impressions | test Conversions | test CR improvement | test Probability |
---|---|---|---|---|---|---|---|---|
None | All | Result for test is OK! | 34164 | 253 | 31105 | 284 | 0.232387 | 0.992551 |
user.goal | PREVENT | Result for test is uncertain. | 6175 | 25 | 6016 | 37 | 0.500153 | 0.947624 |
user.goal | PLAN | Result for test is uncertain. | 1561 | 5 | 1411 | 5 | 0.106157 | 0.568093 |
user.$country_code | US | Result for test is OK! | 16631 | 224 | 15438 | 242 | 0.163448 | 0.95048 |
user.$country_code | SE | Result for test is OK! | 8024 | 23 | 7275 | 35 | 0.654391 | 0.974175 |