我正在阅读来自以下站点的一些JSON:
{"a": [{"b": {"c": 1, "d": 2}}]}
也就是说,数组项被不必要地嵌套。现在,因为这发生在数组中,How to flatten a struct in a Spark dataframe?中给出的答案并不直接适用
这是数据帧在解析时的外观:
root
|-- a: array
| |-- element: struct
| | |-- b: struct
| | | |-- c: integer
| | | |-- d: integer
我希望将数据帧转换为:
root
|-- a: array
| |-- element: struct
| | |-- b_c: integer
| | |-- b_d: integer
如何对数组中的列进行别名处理以有效地取消对其的检测
简化方法:
参考:https://docs.microsoft.com/en-us/azure/synapse-analytics/how-to-analyze-complex-schema
您可以使用
transform
:使用accepted answer中提供的方法,我编写了一个递归取消对数据帧的测试的函数(也递归到嵌套数组中):
相关问题 更多 >
编程相关推荐