分解字符串列并计算字符频率

Question

我有一个包含两列的数据集，看起来像：

|group| |sequence|
A        BX
A        X
B        SFS
B        BCX
B        BSS*B1S
A        BBX

我想找个方法来分组，找出每个字符的频率，得到这样的结果：

^{pr2}$

Answer 1

这里有两种不同的呈现结果的方式。在

对字符串应用groupby.sum将它们串联起来，然后我们可以应用pd.value_counts。在

df = pd.DataFrame({'group': ['A', 'A', 'B', 'B', 'B', 'A'],
                   'sequence': ['BX', 'X', 'SFS', 'BCX', 'BSS*B1S', 'BBX']})

res = df.groupby('group')['sequence'].sum().map(list).apply(pd.value_counts)\
        .fillna(0).astype(int).reset_index()

res = res.loc[:, res.columns.str.isalpha()]

print(res)

#   group  B  C  F  S  X
# 0     A  3  0  0  0  3
# 1     B  3  1  1  5  1

res2 = pd.melt(res, id_vars=['group']).sort_values(['group', 'variable'])
res2 = res2[res2['value'] != 0].set_index(['group', 'variable'])

#                 value
# group variable       
# A     B             3
#       X             3
# B     B             3
#       C             1
#       F             1
#       S             5
#       X             1

print(res2)

---

使用collections.Counter可以实现更有效的变化：

^{pr2}$

Answer 2

您可以使用一个高效的基于repeat的解决方案，后跟groupby：

from itertools import chain

# Step 1 - flatten your dataframe
df = pd.DataFrame({
    'group' : df['group'].repeat(df.sequence.str.len()), 
    'char' : list(chain.from_iterable(df.sequence.tolist()))
})
# Step 2 - filter out characters and groupby on `group`
df[df.char.str.isalpha()].groupby(['group', 'char']).size().reset_index(name='freq')

^{pr2}$

Answer 3

使用理解来创建元组列表。在

c = pd.value_counts([(g, s) for g, S in df.values for s in S if s.isalpha()])

pd.DataFrame(
    np.column_stack([c.index.tolist(), c.values]),
    columns=df.columns.tolist() + ['freq']
)

  group sequence freq
0     B        S    5
1     A        B    3
2     B        B    3
3     A        X    3
4     B        F    1
5     B        C    1
6     B        X    1