Python，迭代和修改df字典中的数据帧

Question

来自C的背景（几年前），而且对Python非常陌生，我正在努力优化我的代码。从字面上讲，for循环非常慢。在

在下面的代码中，向Dict中的每个数据帧添加计算列的循环似乎是一个巨大的瓶颈。在

我已经读了很多关于解决这个问题的方法，比如；Vectorisation和Numba，但我认为我对Python了解不够，无法真正理解和使用它们。在

事实上，我对这两种方法的尝试都失败了，可能是不正确的实现，除了我用过的一个测试np.哪里. 这向我展示了我的for循环/计算有多糟糕。在

我将在我的工作示例中省略这些尝试，但如果需要，可以在以后添加：

import pandas as pd
import numpy as np
import datetime as date
import itertools

def points(row):
val = 0
if row['Ob2'] > 0.5:
    foo = row['Ob3'] - row['Ob1']
    if foo < 0.1:
        val = 1 - foo
else:
    val = 0
return val

print("Start: "+ str(date.datetime.now()))
print()

player_list = ['player' + str(x) for x in range(1,71)]

data = pd.DataFrame({'Names': player_list*1000,\
                   'Ob1' : np.random.rand(70000),\
                   'Ob2' : np.random.rand(70000) ,\
                   'Ob3' : np.random.rand(70000)})

#create list of unique pairs
comboNames = list(itertools.combinations(data.Names.unique(), 2))

#create a data frame dictionary to store your data frames
DataFrameDict = {elem : pd.DataFrame for elem in comboNames}

for key in DataFrameDict.keys():
    DataFrameDict[key] = data[:][data.Names.isin(key)]
    DataFrameDict[key] = DataFrameDict[key].sort_values(['Ob1'])

print("DF fill: "+ str(date.datetime.now()))
print()

#Add test calculated column
for tbl in DataFrameDict:
    DataFrameDict[tbl]['Test'] = DataFrameDict[tbl].apply(points, axis=1) #Slow loop
    #example vectorised, hugh dif is run time
    #DataFrameDict[tbl]['Test'] = np.where((DataFrameDict[tbl]['Ob2']>0.5),1,0)

print("Calc'd: "+ str(date.datetime.now()))
print()

headers = ['Player1','Player2','Score','Count']
summary = pd.DataFrame(([tbl[0], tbl[1], DataFrameDict[tbl]['Test'].sum(),
                      DataFrameDict[tbl]['Test'].astype(bool).sum(axis=0)] for tbl in DataFrameDict),
                      columns=headers).sort_values(['Score'], ascending=[False])

print("Fin: "+ str(date.datetime.now()))
print()

编辑：该函数添加一列，该列是每个df中两个“players”的比较，因此我们/我无法将其应用于源数据源。很抱歉没有说清楚。

显然，我需要回溯并学习一些Python基础知识，但是我的老板正在等待真正的脚本，它花了3个小时运行一个标准的500个“名称”（125K个数据帧）。在

如果有人能帮我优化它，我将不胜感激！在

EDIT2：更好地表示现实世界中的问题

^{pr2}$

我的Solution由于混乱，不想在这里发帖。在

Answer 1

我可以用numba对函数进行矢量化，结果代码用%%timeit在~8秒内运行。我听从了本·帕普的建议，事先计算了测试柱。我还预先对值进行了排序，并整理了DataFrameDict的创建。在

%%timeit
import pandas as pd
import numpy as np
import datetime as date
import itertools
import numba

@numba.vectorize
def points(a,b,c):
    val = 0
    if b > 0.5:
        foo = c - a
        if foo < 0.1:
            val = 1 - foo
    else:
        val = 0
    return val

player_list = ['player' + str(x) for x in range(1,71)]

data = pd.DataFrame({'Names': player_list*1000,\
                   'Ob1' : np.random.rand(70000),\
                   'Ob2' : np.random.rand(70000) ,\
                   'Ob3' : np.random.rand(70000)})

data['Test'] = points(data['Ob1'].values,data['Ob2'].values,data['Ob3'].values)
data = data.sort_values(['Ob1'])

comboNames = list(itertools.combinations(data.Names.unique(), 2))
DataFrameDict = {elem : data.loc[data.Names.isin(elem)] for elem in comboNames}

headers = ['Player1','Player2','Score','Count']
summary = pd.DataFrame(([tbl[0], tbl[1], DataFrameDict[tbl]['Test'].sum(),
                      DataFrameDict[tbl]['Test'].astype(bool).sum(axis=0)] for tbl in DataFrameDict),
                      columns=headers).sort_values(['Score'], ascending=[False])

每个回路8.52 s±204 ms（7次运行的平均值±标准偏差，每个回路1次）