访问Pandas数据帧的最快方法是什么？

Question

我有一个包含541列的dataframedf，我需要将其列名的所有唯一对保存到一个单独的DataFrame的行中，每个行重复8次。在

我想我应该创建一个空的dataframefp，在df的列名中进行双循环，每8行插入一次，然后用最后一个可用值填充空白。在

当我试着做这件事的时候，我很困惑要花多长时间。有541个专栏，我只需要写146611次，但却花了20多分钟。这对于数据访问来说似乎太过分了。问题在哪里，我如何解决？Pandas生成一个与列相关的矩阵所用的时间比这个要少，所以我必须做些错事。在

这里有一个可复制的例子来说明我的意思：

fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)

fp = pd.DataFrame(fp)

%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx

# 1 loop, best of 3: 22.3 s per loop

Answer 1

不要进行iloc/loc/chained索引。单独使用NumPy接口可以将速度提高约180x。如果您进一步删除元素访问，我们可以将其提升到180000倍

fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)

fp = pd.DataFrame(fp)

# this confirms how slow data access is on my computer
%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx

1 loops, best of 3: 3min 9s per loop

# this accesses the underlying NumPy array, so you can directly set the data
%timeit for idx in range(0, len(fp)): fp.values[idx, 0] = idx

1 loops, best of 3: 1.19 s per loop

这是因为在Python层中有大量的代码用于这种奇特的索引，每个循环占用大约10µs的时间。应该使用Pandas索引来检索整个数据子集，然后使用这些子集对整个数据帧执行矢量化操作。单个元素的访问非常缓慢：使用Python字典将使性能提高180倍以上。在

当您访问列或行而不是单个元素时，情况会变得更好：3个数量级更好。在

^{pr2}$

寓意

不要试图通过链式索引、loc或iloc来访问单个元素。从Python列表（如果性能非常关键，则使用C接口）在单个分配中生成NumPy数组，然后对整个列或数据帧执行操作。在

使用NumPy数组并直接对列而不是单个元素执行操作，我们的性能提高了180000倍以上。不太寒酸。在

编辑

来自@kushy的评论认为Pandas在某些情况下可能有optimized索引，因为我最初写了这个答案。始终分析您自己的代码，您的里程数可能会有所不同。在

Answer 2

亚历山大的回答是我在2020-01-06用.is_numpy()代替.values的最快答案。在Windows10上的Jupyter笔记本中进行了测试。熊猫版本=0.24.2

import numpy as np 
import pandas as pd
fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)
fp = pd.DataFrame(fp)
pd.__version__ # '0.24.2'

def func1():
    # Asker badmax solution
    for idx in range(0, len(fp)): 
        fp.iloc[idx, 0] = idx

def func2():
    # Alexander Huszagh solution 1
    for idx in range(0, len(fp)):
        fp.to_numpy()[idx, 0] = idx

def func3():
    # user4322543 answer to
    # https://stackoverflow.com/questions/34855859/is-there-a-way-in-pandas-to-use-previous-row-value-in-dataframe-apply-when-previ
    new = []
    for idx in range(0, len(fp)):
        new.append(idx)
    fp[0] = new

def func4():
    # Alexander Huszagh solution 2
    fp[0] = np.arange(146611)

%timeit func1
19.7 ns ± 1.08 ns per loop (mean ± std. dev. of 7 runs, 500000000 loops each)
%timeit func2
19.1 ns ± 0.465 ns per loop (mean ± std. dev. of 7 runs, 500000000 loops each)
%timeit func3
21.1 ns ± 3.26 ns per loop (mean ± std. dev. of 7 runs, 500000000 loops each)
%timeit func4
24.7 ns ± 0.889 ns per loop (mean ± std. dev. of 7 runs, 50000000 loops each)