在两个不同标签之间提取文本美丽的汤

Question

我试图从this web page提取文章的文本内容。在

我只是想提取文章内容，而不是“关于作者部分”。在

问题是所有内容都不在<div>这样的标记中。因此，我无法提取它们，因为它们都在<p>标记内。当我提取所有的<p>标记时，我还得到了“关于作者”部分。我得从这个网站上搜很多页。有没有办法用靓汤来做这个？在

我正在尝试：

p_tags=soup.find_all('p')
for row in p_tags:
    print(row)

Answer 1

您需要使用selenium，因为我试图用requests来完成，但它不起作用，因为数据是用javascript加载的，后面跟着bs4

import requests, bs4
from selenium import webdriver

driver = webdriver.Chrome('/usr/local/bin/chromedriver') 
website = "https://www.the-blockchain.com/2018/06/29/mcafee-labs-report-6x-increase-in-crypto-mining-malware-incidents-in-q1-2018/"
driver.get(website) 
html = driver.page_source
soup = bs4.BeautifulSoup(html, "html.parser")

elements = soup.select('#wpautbox_latest-post > ul > li')
for elem in elements:
    print(elem.text)

输出

^{pr2}$