Python数据帧idxmax太慢了。选择？

Question

我正在尝试使用df.loc[df.groupby(keys)['column'].idxmax()]按最大值从组中选择行

然而，我发现df.groupby(keys)['column'].idxmax()在我大约2700万行的数据集上花费了很长时间。有趣的是，在我的数据集上运行df.groupby(keys)['column'].max()只需要13秒，而运行df.groupby(keys)['column'].idxmax()只需要55分钟。我不明白为什么返回行的索引要比从行返回值花费250倍的时间。也许我可以做些什么来加速idxmax

如果没有，是否有比使用idxmax更快的按最大值从组中选择行的替代方法

对于其他信息，我使用了两个键，并在groupby和idxmax操作之前对这些键上的数据帧进行了排序。以下是Jupyter笔记本中的内容：

import pandas as pd

df = pd.read_csv('/data/Broadband Data/fbd_us_without_satellite_jun2019_v1.csv', encoding='ANSI', \
    usecols=['BlockCode', 'HocoNum', 'HocoFinal', 'TechCode', 'Consumer', 'MaxAdDown', 'MaxAdUp'])

%%time
df = df[df.Consumer == 1]
df.sort_values(['BlockCode', 'HocoNum'], inplace=True)
print(df)

              HocoNum                  HocoFinal        BlockCode  TechCode
    4631064    130077                  AT&T Inc.   10010201001000        10   
    4679561    130077                  AT&T Inc.   10010201001000        11   
    28163032   130235     Charter Communications   10010201001000        43   
    11134756   131480  WideOpenWest Finance, LLC   10010201001000        42   
    11174634   131480  WideOpenWest Finance, LLC   10010201001000        50   
    ...           ...                        ...              ...       ...   
    15389917   190062          Broadband VI, LLC  780309900000014        70   
    10930322   130081    ATN International, Inc.  780309900000015        70   
    15389918   190062          Broadband VI, LLC  780309900000015        70   
    10930323   130081    ATN International, Inc.  780309900000016        70   
    15389919   190062          Broadband VI, LLC  780309900000016        70   

              Consumer  MaxAdDown  MaxAdUp  
    4631064          1        6.0    0.512  
    4679561          1       18.0    0.768  
    28163032         1      940.0   35.000  
    11134756         1     1000.0   50.000  
    11174634         1     1000.0   50.000  
    ...            ...        ...      ...  
    15389917         1       25.0    5.000  
    10930322         1       25.0    5.000  
    15389918         1       25.0    5.000  
    10930323         1       25.0    5.000  
    15389919         1       25.0    5.000  

    [26991941 rows x 7 columns]
    Wall time: 21.6 s

%time df.groupby(['BlockCode', 'HocoNum'])['MaxAdDown'].max()

    Wall time: 13 s
    BlockCode        HocoNum
    10010201001000   130077       18.0
                     130235      940.0
                     131480     1000.0
    10010201001001   130235      940.0
    10010201001002   130077        6.0
                                 ...  
    780309900000014  190062       25.0
    780309900000015  130081       25.0
                     190062       25.0
    780309900000016  130081       25.0
                     190062       25.0
    Name: MaxAdDown, Length: 20613795, dtype: float64

%time df.groupby(['BlockCode', 'HocoNum'])['MaxAdDown'].idxmax()

Wall time: 55min 24s
BlockCode        HocoNum
10010201001000   130077      4679561
                 130235     28163032
                 131480     11134756
10010201001001   130235     28163033
10010201001002   130077      4637222
                              ...   
780309900000014  190062     15389917
780309900000015  130081     10930322
                 190062     15389918
780309900000016  130081     10930323
                 190062     15389919
Name: MaxAdDown, Length: 20613795, dtype: int64

您将在最前面的数据行中看到AT&；T在同一块代码中，一个用于6Mbps的MaxAdDown，另一个用于18Mbps。我想保留18Mbps行，删除6Mbps行，这样每个公司每个区块码有一行具有最大MaxAdDown值。我需要整行，而不仅仅是MaxAdDown值

Answer 1

排序和删除重复项：

df.sort('MaxAdDown').drop_duplicates(['BlockCode', 'HocoNum'], keep='last')