如何用pythonrequests获取js页面的标题？

Question

我将此代码用于非JavaScript页面：

session = HTMLSession()
url = session.get("https://.......")
spoon = BeautifulSoup(url.text, "html.parser")
preTitle = spoon.find_all('title')
preTitleStr = str(preTitle)
a = preTitleStr.replace('<title>','')
Title = a.replace('</title>','')
print(Title)

这不适用于JS tho，因此我尝试：

session = HTMLSession()
qwerty = session.get("https://twitter.com/aProfile/")
qwerty.html.render()
asdf = qwerty.html.find('title')
print(str(asdf))

如何使用python请求和beautifulsoup获取JS页面（实际选项卡上显示的页面）的标题

Answer 1

不使用BeautifulSoup，但您可以从这样的网页解析并获取标题

import requests
import lxml
r = requests.get('https://www.google.com/')
data = lxml.html.fromstring(r.content)
title = data.findtext('.//title')

lxml是一个解析xml和html的工具，它在html代码中查找title标记，并获取其值