我有一个熊猫数据帧,比如:
%pylab inline
import seaborn as sns
sns.set(color_codes=True)
import pandas as pd
import numpy as np
df = pd.DataFrame({"user_id": [1, 2, 3, 4, 5,
6, 7, 8, 9],
"is_sick": [0, 0, 0, 0, 0,
0, 1, 1, 1],
"sex": ["male", "female", "male", "female", "female",
"male", "male", "female", "female"],
"age_group": ["young", "old", "old", "young",
"small", "old", "young", "young",
"old"],
"metric_1": [1, 2, 2, 3, 3, 4, 5, 6, 7]})
df['date'] = '2019-01-01'
df['qcut_metric_1'] = pd.qcut(df.metric_1, [0, .25, .5, .66, .75, .97, 1])
# make some more data
df_2 = df.copy()
df_2['date'] = '2019-02-01'
df = pd.concat([df, df_2])
现在,我要计算每个指标的每个bin的每个组/队列的患病人数百分比。你知道吗
注意,我知道单个聚合,即sex
的聚合可能类似于:
df['sick_percentage__sex'] = df.groupby(['sex']).is_sick.transform(pd.Series.mean)
一个简单的表可能看起来像:
pd.pivot_table(df, values='sick_percentage__sex', index=['qcut_metric_1', 'sex'], columns=[], aggfunc=np.mean)
看起来像:
sick_percentage__sex
qcut_metric_1 sex
(0.999, 2.0] female 0.40
male 0.25
(2.0, 3.0] female 0.40
(3.0, 4.28] male 0.25
(4.28, 5.0] male 0.25
(5.0, 6.76] female 0.40
(6.76, 7.0] female 0.40
但这不适合于显示binned度量(qcut_metric_1
)和all队列([(sex), (age_group), (sex, age_group)]
)疾病的百分比。如何适应这种情况?也许使用多维聚合?你知道吗
所需输出格式:
qcut_metric_1, cohort, percentage_of_sickness
np.mean
as pivot聚合函数可能会提供扭曲的结果(因为如果每个组的用户数不是常数,那么分组平均数的平均数可能是不可交换的)。因此,我需要使用加权平均数。我更新了样本数据集。你知道吗
agg = df.groupby(['sex']).agg({'user_id':pd.Series.nunique, 'is_sick':pd.Series.mean})
agg.columns = ['unique_users', 'sick_percentage__sex']
df = df.merge(agg, on='sex')
现在为数据透视表的输入提供数据帧。你知道吗
但现在我也在与加权平均法的语法作斗争:
def wavg(x):
print(x)
return np.average(x['sick_percentage__sex'], weights= x['unique_users'])
作为数据透视表 pd.pivot表(df,值=['sick\u percentage\u sex','unique\u users',索引=['qcut\u metric\u 1','sex',列=[],aggfunc=wavg) 只将单个序列(而不是两个序列(值+权重))传递给函数。你知道吗
也许透视表不是解决问题的正确方法。你知道吗
一个最小的解决方案可以像下面的代码一样遍历所有队列。你知道吗
有没有可能找到更有效的解决方案?对于未压缩的CSV/我的输入文件是120G,当通过gzip压缩时,仍保留3GB,这将转换为熊猫大约35GB的内存需求。你知道吗
相关问题 更多 >
编程相关推荐