在四处寻找了一点(例如here、here、和here)之后,我不知所措如何让Python 3.7使用超过2 GB的内存?
有关我的设置的信息:
我正在使用64位Python 3.7.5运行64位PyCharm(2019.2.6),并且我已经在PyCharm.vmoptions中设置了我的-Xms=8g
和-Xmx=16g
(正如this建议的那样,将Xms
设置为Xms
的一半)。这是在macOS Catalina 10.15.3上运行的,在一台具有40GB ram(2*4+2*32)的机器上
我想做什么,以及为什么我想增加内存使用:我正在从.txt文件(文件大小从0.5 GB到1.5 GB)中读取相对较大的时间序列(200-400列,大约70000行)到Pandas(v.0.25.3)数据帧,并一次处理10-15个这些文件。当我在文件中阅读时,我看到python3.7进程将内存增加到大约2GB(有时是2.05GB),然后内存使用率降低到几百MBs,再次增加到2GB(并重复)
当我使用这些时间序列[切片、绘图等]时,一切都需要相对较长的时间(几分钟)。我希望这可以通过增加内存使用来改善。但是,如果我错误地认为在python进程中增加RAM使用会提高性能,请告诉我
感谢许多有用的评论(geckos、jammin0921、Óscar López和Heap Overflow),看起来我所观察到的不是Python的限制,而是Python/Pandas显然聪明的数据管理意味着一旦将12GB的.txt文件读入数据帧,通过查看数据帧(df)的内存使用情况,它们的总大小实际上低于2GB,数据帧的内存使用率为1.9GB
在尝试通过进一步增加我读取的数据的大小来进一步处理这个问题之后,我确实看到了python3.7进程中超过2GB的RAM使用率
相关问题 更多 >
编程相关推荐