Python中文
首页
教程
问答
标签
搜索
登录
注册
“DataFrame”行的内存效率筛选
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个大的<code>DataFrame</code>对象(1440000000行)。我在内存(交换includet)限制下操作。在</p> <p>我需要提取具有某个字段值的行的子集。但是如果我真的这样做:</p> <pre><code>>>> SUBSET = DATA[DATA.field == value] </code></pre> <p>我以<code>MemoryError</code>异常或崩溃结束。 有没有任何方法可以显式地过滤行而不计算中间掩码(<code>DATA.field == value</code>)?在</p> <p>我找到了<a href="http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.filter.html" rel="nofollow noreferrer">DataFrame.filter()</a>和{a2}方法,但它们对列标签/行索引而不是行数据进行操作。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>如果数据帧中的所有数据都是相同类型的,那么就使用numpy数组,这样内存效率更高,速度更快。您可以通过以下方法将数据帧转换为numpy矩阵df.as_矩阵(). 在</p> <p>另外,您可能需要检查数据帧已经占用了多少内存:</p> <pre><code> import sys sys.getsizeof() </code></pre> <p>以字节为单位返回大小。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在乒乓球比赛中预测球的轨迹,对于AI球拍预测?
10 回答
如何在乒乓球游戏中阻止球
2 回答
如何在乘法和模中不乘空间?
6 回答
如何在乘法和除以2个不同的数字之间进行交换?
7 回答
如何在也是数据一部分的单个字符上拆分大字符串
1 回答
如何在乾草堆中找到針,有更好的解決方案嗎?
9 回答
如何在事件wxWidgets中传递自定义数据
9 回答
如何在事件中使用lambda i=i?
2 回答
如何在事件中心只接收最近的数据
3 回答
如何在事件发生之前保持云函数运行?
9 回答
如何在事件发生后使页面重定向到同一页面
8 回答
如何在事件回调之间保持python生成器的状态
4 回答
如何在事件处理程序(pythonsocket、sphinx)中保留docstring
8 回答
如何在事件处理程序中更改wxRichTextCtrl的光标位置?
4 回答
如何在事件处理程序中访问外部对象?
8 回答
如何在事件循环中将协程打包为正常函数?
9 回答
如何在事件循环之外运行协同程序?
7 回答
如何在事件循环结束时为并发未来的所有线程调用类方法?
8 回答
如何在事件文件中只保留一份摘要?
7 回答
如何在事件模板中添加事件
8 回答