将大型PostgreSQL表加载到pandas

2024-09-17 02:02:44 发布

您现在位置:Python中文网/ 问答频道 /正文

当我试图用pandas.read_sql("SELECT * FROM mytbl",conn)将大的(~5gb)Postgres表加载到pandas时,我遇到内存错误,任务失败。正确的方法是什么?在

我可以先将数据复制到一个本地CSV文件中(参见Export Postgres table to CSV file with headings),然后用pandas.read_csv将数据加载到pandas。谢谢!在


Tags: 文件csv数据方法内存frompandasread