<p>不要进行iloc/loc/chained索引。单独使用NumPy接口可以将速度提高约180x。如果您进一步删除元素访问,我们可以将其提升到180000倍</p>
<pre><code>fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)
fp = pd.DataFrame(fp)
# this confirms how slow data access is on my computer
%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx
1 loops, best of 3: 3min 9s per loop
# this accesses the underlying NumPy array, so you can directly set the data
%timeit for idx in range(0, len(fp)): fp.values[idx, 0] = idx
1 loops, best of 3: 1.19 s per loop
</code></pre>
<p>这是因为在Python层中有大量的代码用于这种奇特的索引,每个循环占用大约10µs的时间。应该使用Pandas索引来检索整个数据子集,然后使用这些子集对整个数据帧执行矢量化操作。单个元素的访问非常缓慢:使用Python字典将使性能提高180倍以上。在</p>
<p>当您访问列或行而不是单个元素时,情况会变得更好:3个数量级更好。在</p>
^{pr2}$
<p><strong>寓意</strong></p>
<p>不要试图通过链式索引、<code>loc</code>或<code>iloc</code>来访问单个元素。从Python列表(如果性能非常关键,则使用C接口)在单个分配中生成NumPy数组,然后对整个列或数据帧执行操作。在</p>
<p>使用NumPy数组并直接对列而不是单个元素执行操作,我们的性能提高了180000倍以上。不太寒酸。在</p>
<p><strong>编辑</strong></p>
<p>来自@kushy的评论认为Pandas在某些情况下可能有<a href="https://stackoverflow.com/questions/44960614/whats-the-fastest-way-to-acces-a-pandas-dataframe/44960703?noredirect=1#comment90236712_44960703">optimized</a>索引,因为我最初写了这个答案。始终分析您自己的代码,您的里程数可能会有所不同。在</p>