Python中文
首页
教程
问答
标签
搜索
登录
注册
Databricks中UDF输出错误
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我想添加一个名为academics_category的新专栏,其中包含学位和非学位的价值观。 我创建了一个udf函数,它检查一个成长标准(教育)是否与学位匹配</p> <p><strong>问题是,输出中的每个值都不是学位。</strong></p> <pre><code>from pyspark.sql.types import * def academics_category(academics): if academics == "Bachelors": return "academic degree" elif academics == "Masters": return "academic degree" else: return "no academic degree" academics_udf = udf(academics_category,StringType()) dfAdult = dfAdult.withColumn('academics_category',academics_udf(dfAdult['bildungsstand'])) bildung = dfAdult.groupBy('bildungsstand','bildungslevel').count().sort('bildungslevel').show(20) +-------------+-------------+-----+ |bildungsstand|bildungslevel|count| +-------------+-------------+-----+ | Preschool| 1.0| 51| | 1st-4th| 2.0| 168| | 5th-6th| 3.0| 333| | 7th-8th| 4.0| 646| | 9th| 5.0| 514| | 10th| 6.0| 933| | 11th| 7.0| 1175| | 12th| 8.0| 433| | HS-grad| 9.0|10501| | Some-college| 10.0| 7291| | Assoc-voc| 11.0| 1382| | Assoc-acdm| 12.0| 1067| | Bachelors| 13.0| 5355| | Masters| 14.0| 1723| | Prof-school| 15.0| 576| | Doctorate| 16.0| 413| +-------------+-------------+-----+ </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我在我的案例中发现了问题。根数据集的字符串值中有空格。我用trim函数替换了空格,并创建了一个新的数据框</p> <pre><code>dfAdult = dfAdult.withColumn("bildungsstand_trim",trim(col="bildungsstand")) </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
我想从用户inpu创建一个类的实例
10 回答
我想从用户导入值,为此
9 回答
我想从用户那里得到一个整数输入,然后让for循环遍历该数字,然后调用一个函数多次
5 回答
我想从用户那里收到一个列表,并在其中执行一些步骤,然后在步骤完成后将其打印回来,但它没有按照我想要的方式工作
9 回答
我想从用户那里获取输入,并将值传递给(average=dict[x]/6),然后在那里获取resu
7 回答
我想从第一个列表中展示第一个词,然后从第二个列表中展示十个词,以此类推- Python
5 回答
我想从第一个空lin开始解析文本文件
8 回答
我想从简历、简历中提取特定部分
2 回答
我想从给定字典(python)的字符串中删除\u00a9、\u201d和类似的字符。
4 回答
我想从给定的网站Lin下载许多文件扩展名相同的Wget或Python文件
1 回答
我想从网上搜集一些关于抵押贷款的数据
10 回答
我想从网站上删除电子邮件地址
7 回答
我想从网站上读取数据该网站包含可下载的文件,然后我想用python脚本把它发送给oracle如何?
2 回答
我想从网站中提取数据,然后将其显示在我的网页上
10 回答
我想从网页上提取统计数据。
10 回答
我想从网页上解析首都城市,并在用户输入国家时在终端上打印它们
1 回答
我想从色彩图中删除前n个颜色,而不丢失原始颜色数
9 回答
我想从课堂上打印字典里的键
2 回答
我想从费用表中获取学生上次支付的费用,其中学生id=id
4 回答
我想从较低的顺序对多重列表进行排序,但我无法在一行中生成结果
10 回答