Python中文
首页
教程
问答
标签
搜索
登录
注册
什么是从Pandas数据集快速移除不需要数据的最佳方法?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个格式类似于表的大型数据集(14列x 10M行)。有些项可以是nan,这是我不想要的,对于两列'x0'和'y0',我想要删除-30到+30之外的值。你知道吗</p> <p>我的代码,如下所示,一次循环一行数据集,速度非常慢。有没有更有效的方法去除我不想要的线条?你知道吗</p> <pre><code>def cleanDataset(dataset): findNanYs = pd.isnull(dataset) forDeletion = [] for i in range(0,dataset.shape[0]): if findNanYs.T.any()[i]: # strike NaN forDeletion.append(i) elif abs(dataset['x0'][i]) > 30: forDeletion.append(i) elif abs(dataset['y0'][i]) > 30: forDeletion.append(i) cleanDS = dataset.drop(forDeletion, axis=0) return cleanDS </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>除了上面给出的<em>dropna</em>之外,使用query来过滤数据,对于大表来说,这在内存方面效率更高,如下所示:</p> <pre><code>dataset.query('-30 < x0 < 30', inplace=True) </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在乒乓球比赛中预测球的轨迹,对于AI球拍预测?
7 回答
如何在乒乓球游戏中阻止球
3 回答
如何在乘法和模中不乘空间?
5 回答
如何在乘法和除以2个不同的数字之间进行交换?
3 回答
如何在也是数据一部分的单个字符上拆分大字符串
8 回答
如何在乾草堆中找到針,有更好的解決方案嗎?
1 回答
如何在事件wxWidgets中传递自定义数据
7 回答
如何在事件中使用lambda i=i?
7 回答
如何在事件中心只接收最近的数据
10 回答
如何在事件发生之前保持云函数运行?
6 回答
如何在事件发生后使页面重定向到同一页面
9 回答
如何在事件回调之间保持python生成器的状态
9 回答
如何在事件处理程序(pythonsocket、sphinx)中保留docstring
5 回答
如何在事件处理程序中更改wxRichTextCtrl的光标位置?
4 回答
如何在事件处理程序中访问外部对象?
9 回答
如何在事件循环中将协程打包为正常函数?
4 回答
如何在事件循环之外运行协同程序?
5 回答
如何在事件循环结束时为并发未来的所有线程调用类方法?
8 回答
如何在事件文件中只保留一份摘要?
6 回答
如何在事件模板中添加事件
3 回答