我正试着上网http://angel.co/bloomfi

Question

我正试图从网站上获取数据https://angel.co/bloomfire

import requests
from bs4 import BeautifulSoup

res = requests.get('https://angel.co/pen-io')
soup = BeautifulSoup(res.content, 'html.parser')
print(soup.prettify())

这将打印标题标记为“页面未找到-404-AngelList”。 在webbrowser中，该网站运行良好，但其源代码与我的python脚本的输出不同。 我也在phantomjs中使用了selenium，但它显示了相同的东西

Answer 1

在requests参数中添加页眉可以访问页面。以下是“人们也看到了”的结果。请尝试以下脚本：

import requests
from bs4 import BeautifulSoup

res = requests.get('https://angel.co/pen-io', headers={"User-Agent":"Mozilla/5.0"})
soup = BeautifulSoup(res.text, 'html.parser')
for item in soup.select(".text"):
    try:
        title = item.select_one("a.startup-link").get_text()
    except:
        title = ''
    print(title)

结果：

^{pr2}$