使用modin get IOError扩展工作流:[RayletClient]连接意外关闭

2024-10-01 04:56:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图用python中的modin库读取1gb数据集,但得到:IOError:[RayletClient]连接意外关闭[RayletClient]无法推送配置文件事件

我只用熊猫做了同样的事情,这对我很有效。在内存中加载1GB数据集大约需要45秒。由于“莫丁”承诺它可以缩放熊猫,我尝试了莫丁,得到了上面的错误

作为pd导入modin.pandas

data=pd.read\u csv('sample\u 1\u gb.csv')

我期待modin.pandas在加载1gb数据集方面比pandas表现更好


Tags: csv数据内存pandasreaddata配置文件错误