如何获取以text/html返回的ajax的特定内容？

Question

我能够得到ajaxurl和响应。响应不是JSON，dev.tools说它的内容类型是：text/html；charset=UTF-8

这是url

我的问题是这是一个大的文本块，我想刮/解析出一个非常具体的文本块。我在代码块中还看到许多pythonic词典和列表。你知道吗

我的目标是提取部分“ASINList”：[……]并最终获得该列表中的所有asin。你知道吗

我该怎么做？我用的是美素

我试过了汤.找（'script'）但是看着html我不知道如何处理这个问题。你知道吗

</div>
</div>
<script>
P.when("stores-widget-productgrid").execute( function (Widget)    
"prices":{"price":{"price":{"isSuppressedByMAP":false,"currency": text i 
 dont need"{"ASINList"['asin','asin','asin','asin'],"More text" I dont 
 need":{text I dont need}, more and more and more text I do not need
</script>
</div>
</body>

我希望能够高效地刮取这个ajaxurl，以提取asin列表，并将该列表放入一个单列字典中写入数据帧。最后一个doctorial将是1列“ASIN”，每行一个ASIN

Answer 1

您正试图从<script>标记中获取数据，BeautifulSoup对此不会有太大帮助。但是您可以使用re和ast.literal_eval来解析这些值：

import requests
import re
from ast import literal_eval

url = 'https://www.amazon.com/stores/slot/BBP_PRODUCT_GRID_18105981011?node=18105981011&slashargs=&productGridPageIndex=11&ingress=0&visitId=3d9f2885-f57e-42d6-a611-cc1c799c2b6b'
txt = requests.get(url).text

d = literal_eval('{' + re.findall(r'"ASINList":\[".*?"\]', txt)[0] + '}')

for v in d['ASINList']:
    print(v)

印刷品：

B0040OD2IO
B0040OID10
B00BZHD7PM
B00302N4P8
B00BHEN9FQ
B004C7XAC2
B00DG8U51W
B000TVJPZG
B001NDQ2M8
B005PDUM8C
B0040ODFK4
B0030CX39K
B00C00JYDW
B005PFW63O
B01LQSUPOU
B006VWSVW0
B00KADQJHU
B01N5EUCQ3
B00C1WAZFU

...and so on.