loc是构建pandas数据帧的最佳方法吗？

Question

我有一个相当大的csv文件（700mb），其组装如下：

qCode   Date    Value

A_EVENTS    11/17/2014  202901

A_EVENTS    11/4/2014   801

A_EVENTS    11/3/2014   2.02E+14

A_EVENTS    10/17/2014  203901


etc. 

我正在解析此文件以获取特定值，然后使用航向位置要填充预先存在的数据帧，即代码：

对于fileParse中的行：

^{pr2}$

我的问题是.loc是向现有数据帧添加值的最有效方法？因为这个手术似乎要花10个多小时。。。在

fyi字段是DF（我感兴趣的值）中的列，索引（i）是一个字符串。。。在

谢谢

Answer 1

想到的几个选择

1）像您当前所做的那样解析文件，但是构建一个dict意图将其附加到数据帧中。完成后，将dict转换为一个Dataframe，然后使用concat（）将其与现有的Dataframe组合

2）使用read_csv（）将csv带到pandas中，然后过滤/解析所需内容，然后对现有数据帧执行concat（）