读取块大小为39GB的CSV filde数据。我无法在一个df表单中附加块

2024-10-02 14:23:29 发布

您现在位置:Python中文网/ 问答频道 /正文

  1. 读如下
c_size=10000000
c_chunk = pd.read_csv("CHARTEVENTS.csv", index_col=0, chunksize=c_size)  
  1. 这里需要df格式的每个块
c_list= []
for chunk in c_chunk:
    chunk.columns=['ROW_ID', 'SUBJECT_ID', 'HADM_ID', 'ICUSTAY_ID', 'ITEMID', 'VALUE', 'VALUENUM', 'VALUEUOM']
    c_list.append(chunk) 
  1. 计划是将区块附加到列表中。但是我得到一张空名单,你认为发生了什么
c_chunk = pd.concat(c_list)
  1. 作为空列表的结果,我得到valueError:没有要连接的对象。谢谢你的帮助

Tags: csviddf列表forreadsizeindex