读取JSON AWS粘合作业（Python Shell）

Question

我有一个JSON输入从Lambda函数进入AWS Glue Job（PythonShell），我需要将其转换为pandas dataframe，该dataframe将由流程的其余部分使用

输入JSON:

[{"ABC": "123", "CDE": "AB", "locations": [{"state": "FL", "city": "Orlando", "zip": "10001"}]}, 
 {"ABC": "456", "CDE": "CD", "locations": [{"state": "AL", "city": "AnotherCity"}]}]

输出数据帧：

ABC CDE locations_state locations_city locations_Zip
123 AB  FL              Orlando        10001
456 CD  AL              AnotherCity    Null

我尝试使用下面的json_normalize，但在粘合作业中，json normalize无法识别。 任何其他投入都会有所帮助

df = pd.json_normalize(jsoninputstring, "locations", ['ABC','CDE'])

谢谢

Answer 1

我碰到了同样的问题。 当我在AWS Glue Shell作业中检查pandas版本时，我使用的是0.24.2，发布时，最新版本是1.1.4

我如何签入AWS胶水作业（Python Shell）

print(pd.__version__)

要在此旧版本的pandas中获得相同的功能，请执行以下操作： https://pandas.pydata.org/pandas-docs/version/0.22.0/generated/pandas.io.json.json_normalize.html

import pandas as pd
df = pd.io.json.json_normalize(r.json())