python pandas read_csv如何加快处理时间戳

Question

（熊猫0.16.1，Python 2.7.8 Anaconda 2.1.0（64位），Intel Xeon 3.07GHz，Win7 64位）

我有一个csv报价表数据。每天约40万行。在

sym         time                    bid     ask     bsize asize
XCME@6EM4   2014.05.07T08:10:02.407 1.3927  1.3928  28    29
XCME@6EM4   2014.05.07T08:10:02.430 1.3927  1.3928  27    29

和熊猫一起读到Python中

^{pr2}$

大约需要40秒。在

能不能快点？人们建议使用Cython解决方案in this post，但我想知道Python/pandas解决方案是否存在？在

顺便说一句，下面这个不解析日期，有bug吗？在

pd.read_csv("quotes.csv", parse_dates = [1])

Answer 1

这里有一个更好的选择

把你的两行代码写成400k，在不进行解析的情况下作为日期读取它们

In [34]: %timeit read_csv(StringIO(data + data2*200000),sep='\s+')
1 loops, best of 3: 328 ms per loop

In [35]: df = read_csv(StringIO(data + data2*200000),sep='\s+')

解析日期时，需要指定一种格式，因为这不是iso8601格式，因此在python空间中进行解析

^{pr2}$