谷歌应用程序的爬网评论

Question

我想用python3.5抓取网站（googleappstore评论） 所以我得到了使用ajax的答案。。。。在

url = "https://play.google.com/store/getreviews?authuser=0"
param = {'reviewType': '0', 
         'pageNum': '1', 
         'id':'com.venticake.retrica',
         'reviewSortOrder':'4',
         'xhr':'1',
         'token':'ZLqR3TmB64y6koyq8uj1tqqiQ4k:14191636750027',
         'hl':'ko'}

r = requests.post(url, data=param)

d = json.loads(r.text) 

像这样做

但回应是

^{pr2}$

如何将其转换为json或结构化数据。。。。在

谢谢你们抽出时间

Answer 1

可以使用json（）方法转换python请求的回答。什么这样地。在

url = "https://play.google.com/store/getreviews?authuser=0"

param = {'reviewType': '0', 
         'pageNum': '1', 
         'id':'com.venticake.retrica',
         'reviewSortOrder':'4',
         'xhr':'1',
      'token':'ZLqR3TmB64y6koyq8uj1tqqiQ4k:14191636750027',
         'hl':'ko'}

response = requests.post(url, data=param)
x = response.json()

这将把响应序列化为json数据。在

更新：

我测试了脚本，发现响应中存在以下问题。在

1. 服务器发送的响应不是json。示例它的开头有u")]}'\n\n"。验证它print response.text[:6]
2. 响应还包含一些unicode字符，即使您在数据中指定'charset': 'utf-8'，这些字符也无法按响应编码为ascii。在

我认为这就是您无法将响应作为json数据加载的原因。在