Python中文
首页
教程
问答
标签
搜索
登录
注册
Pyspark:将嵌套结构转换为字符串的数组
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个名为<strong>Filters的列的pyspark dataframe: “阵列>;”</p> <p>我想将我的数据帧保存在csv文件中,为此我需要将数组转换为字符串类型。</p> <p>我试图转换它:<code>DF.Filters.tostring()</code>和<code>DF.Filters.cast(StringType())</code>,但这两个解决方案都为列过滤器中的每一行生成错误消息:</p> <p><code>org.apache.spark.sql.catalyst.expressions.UnsafeArrayData@56234c19</code></p> <p>代码如下</p> <pre><code>from pyspark.sql.types import StringType DF.printSchema() |-- ClientNum: string (nullable = true) |-- Filters: array (nullable = true) |-- element: struct (containsNull = true) |-- Op: string (nullable = true) |-- Type: string (nullable = true) |-- Val: string (nullable = true) DF_cast = DF.select ('ClientNum',DF.Filters.cast(StringType())) DF_cast.printSchema() |-- ClientNum: string (nullable = true) |-- Filters: string (nullable = true) DF_cast.show() | ClientNum | Filters | 32103 | org.apache.spark.sql.catalyst.expressions.UnsafeArrayData@d9e517ce | 218056 | org.apache.spark.sql.catalyst.expressions.UnsafeArrayData@3c744494 </code></pre> <p>JSON数据示例:</p> <pre><code>{"ClientNum":"abc123","Filters":[{"Op":"foo","Type":"bar","Val":"baz"}]} </code></pre> <p>谢谢!!</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>你可以试试这个:</p> <pre><code>DF = DF.withColumn('Filters', DF.Filters.cast("string")) </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在python中从数据帧列中删除分类值?
1 回答
如何在python中从数据帧列表中删除引号
7 回答
如何在python中从数据帧创建列表
3 回答
如何在Python中从数据帧创建嵌套的JSON
10 回答
如何在Python中从数据帧显示wordcloud
7 回答
如何在Python中从数据帧的时间戳中删除字符
8 回答
如何在Python中从数据帧绘制简单绘图?
9 回答
如何在python中从数据帧行提取具有特定长度的范围?
10 回答
如何在python中从数据帧设置dict中的值
8 回答
如何在Python中从数据库中获得一个结果
6 回答
如何在python中从数据框中绘制分类条形图
3 回答
如何在Python中从数据框中选择特定细节?
10 回答
如何在python中从数据集中删除unicode
9 回答
如何在python中从数据集中删除某些数值?
1 回答
如何在python中从数据集中选择行
7 回答
如何在Python中从数组中删除元素
1 回答
如何在python中从数组中删除单个倒逗号?
5 回答
如何在python中从数组中删除对象?
5 回答
如何在python中从数组中删除引号
3 回答
如何在python中从数组中删除所有最小值
10 回答