Python中文
首页
教程
问答
标签
搜索
登录
注册
如何过滤pyspark数据帧
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我已经看到了许多与筛选pyspark数据帧相关的问题,但尽管我尽了最大的努力,我仍然无法让任何非SQL解决方案发挥作用</p> <pre><code>+----------+-------------+-------+--------------------+--------------+---+ |purch_date| purch_class|tot_amt| serv-provider|purch_location| id| +----------+-------------+-------+--------------------+--------------+---+ |03/11/2017|Uncategorized| -17.53| HOVER | | 0| |02/11/2017| Groceries| -70.05|1774 MAC'S CONVEN...| BRAMPTON | 1| |31/10/2017|Gasoline/Fuel| -20| ESSO | | 2| |31/10/2017| Travel| -9|TORONTO PARKING A...| TORONTO | 3| |30/10/2017| Groceries| -1.84| LONGO'S # 2| | 4| </code></pre> <p>这不起作用:</p> <pre><code>df1 = spark.read.csv("/some/path/to/file", sep=',')\ .filter((col('purch_location')=='BRAMPTON') </code></pre> <p>但这不起作用</p> <pre><code>df1 = spark.read.csv("/some/path/to/file", sep=',')\ .filter(purch_location == 'BRAMPTON') </code></pre> <p>这个(SQL表达式)可以工作,但需要很长时间,我想有一种更快的非SQL方法</p> <pre><code>df1 = spark.read.csv("/some/path/to/file", sep=',')\ .filter(purch_location == 'BRAMPTON') </code></pre> <p><strong>更新</strong>我应该提到我能够使用以下方法(比SQL表达式运行得更快):</p> <pre><code>df1 = spark.read.csv("/some/path/to/file", sep=',') df2 = df1.filter(df1.purch_location == "BRAMPTON") </code></pre> <p>但是我想了解为什么“pipe”<code>/</code>连接语法不正确</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您可以使用<code>df["purch_location"]</code></p> <pre class="lang-py prettyprint-override"><code>df = spark.read.csv("/some/path/to/file", sep=',') df = df.filter(df["purch_location"] == "BRAMPTON") </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在python中从数据帧列中删除分类值?
3 回答
如何在python中从数据帧列表中删除引号
4 回答
如何在python中从数据帧创建列表
9 回答
如何在Python中从数据帧创建嵌套的JSON
4 回答
如何在Python中从数据帧显示wordcloud
7 回答
如何在Python中从数据帧的时间戳中删除字符
9 回答
如何在Python中从数据帧绘制简单绘图?
6 回答
如何在python中从数据帧行提取具有特定长度的范围?
2 回答
如何在python中从数据帧设置dict中的值
1 回答
如何在Python中从数据库中获得一个结果
10 回答
如何在python中从数据框中绘制分类条形图
2 回答
如何在Python中从数据框中选择特定细节?
5 回答
如何在python中从数据集中删除unicode
1 回答
如何在python中从数据集中删除某些数值?
3 回答
如何在python中从数据集中选择行
2 回答
如何在Python中从数组中删除元素
10 回答
如何在python中从数组中删除单个倒逗号?
3 回答
如何在python中从数组中删除对象?
1 回答
如何在python中从数组中删除引号
5 回答
如何在python中从数组中删除所有最小值
4 回答