将非常大的pandas数据帧加载到postgresql数据库的最快方法

Question

我从每天收到的三个.csv文件创建一个数据库。我用熊猫清理了它们，现在它们都在各自的熊猫数据框中。最大的大约是10万乘500，其他的大小差不多。我需要以最快的方式将每个数据帧上传到postgresql中的3个不同的表中。这真的需要很快，因为我还需要上传大约10年的数据。在

我已经将sqlalchemy和{}与df.to_sql一起使用，并将数据帧转换为csv并批量上传。上传一个csv是最快的，但是会产生持续的类型错误，并且会崩溃。sqlalchemy和{}工作得很好，但只需一个小时或更长时间就可以运行三个小时。Chunksize、fastmony和multi-keywords都产生了相同的速度。我正在考虑使用asyncpg，但我不知道如何实现它。在

如有任何帮助或建议，我们将不胜感激。在