一种高效的内存创建列的方法，该列指示一组列中值的唯一组合

Question

我想找到一种更有效的方法（在峰值内存使用率和可能的时间方面）来完成panda的groupby.ngroup工作，这样在处理大型数据集时就不会遇到内存问题（下面我提供了为什么本专栏对我有用的原因）。以一个小数据集为例。我可以使用groupby.ngroup轻松完成这项任务。你知道吗

import pandas as pd
import numpy as np


df = pd.DataFrame(np.array(
        [[0, 1, 92],
        [0, 0, 39],
        [0, 0, 32],
        [1, 0, 44],
        [1, 1, 50],
        [0, 1, 11],
        [0, 0, 14]]), columns=['male', 'edu', 'wage'])

df['group_id'] = df.groupby(['male', 'edu']).ngroup()
df
   male  edu  wage  group_id
0     0    1    92         1
1     0    0    39         0
2     0    0    32         0
3     1    0    44         2
4     1    1    50         3
5     0    1    11         1
6     0    0    14         0

但是当我开始使用更大的数据集时，内存使用和计算时间会爆炸，groupby中的内存使用与数据帧内存使用的比率在N=100,000,000比N=100,000增加了近三倍。见下文。你知道吗

from memory_profiler import memory_usage
import time

N_values = [10**k for k in range(4, 9)]

stats = pd.DataFrame(index=N_values, dtype=float, columns=['time', 'basemem', 'groupby_mem'])

for N in N_values:
    df = pd.DataFrame(
        np.hstack([np.random.randint(0, 2, (N, 2)), np.random.normal(5, 1, (N, 1))]),
        columns=['male', 'edu', 'wage']        
    )

    def groupby_ngroup():
        df.groupby(['male', 'edu']).ngroup()

    def foo():
        pass

    basemem = max(memory_usage(proc=foo))

    tic = time.time()
    mem = max(memory_usage(proc=groupby_ngroup))
    toc = time.time() - tic

    stats.loc[N, 'basemem'] = basemem
    stats.loc[N, 'groupby_mem'] = mem
    stats.loc[N, 'time'] = toc

stats['mem_ratio'] = stats.eval('groupby_mem/basemem')
stats
               time      basemem  groupby_mem  mem_ratio
10000      0.037834   104.781250   105.359375   1.005517
100000     0.051785   108.187500   113.125000   1.045638
1000000    0.143642   128.156250   182.437500   1.423555
10000000   0.644650   334.148438   820.183594   2.454549
100000000  6.074531  2422.585938  7095.437500   2.928869

为什么我对这个组标识符感兴趣？因为我想创建使用pandas groupby函数的列，比如使用.map方法的groupby.mean，而不是占用大量内存和时间的groupby.transform。此外，.map方法可用于dask数据帧，因为dask当前不支持.transform。对于"group_id"列，我可以简单地执行means = df.groupby(['group_id'])['wage'].mean()和df['mean_wage'] = df['group_id'].map(means)来执行transform的工作。你知道吗

Answer 1

让我们尝试使用hash

list(map(hash,df.to_records().tolist()))
[4686582722376372986, 3632587615391525059, 2578593961740479157, -48845846747569345, 2044051356115000853, -583388452461625474, -1637380652526859201]