如何获得包含特定tex的类或ID的scrape DIV

Question

我从一个网站上抓取了一些HTML

<div>
 <div id="content1">
 </div>
 <div id="content3">
 </div>
 <div id="content22">
 </div>
</div>

如何遍历ID以content开头的所有div？在

Answer 1

最简单的方法是使用CSS selector：

soup.select('div[id^=content]')

^=语法指定id属性值应以content开头。在

您可以使用作为^{}的id参数传入的regular expression filter得到相同的结果：

^{pr2}$

演示：

>>> from bs4 import BeautifulSoup
>>> sample = '''\
... <div>
...  <div id="content1">
...  </div>
...  <div id="content3">
...  </div>
...  <div id="content22">
...  </div>
... </div>
... '''
>>> soup = BeautifulSoup(sample)
>>> soup.select('div[id^=content]')
[<div id="content1">
</div>, <div id="content3">
</div>, <div id="content22">
</div>]
>>> soup.find_all('div', id=re.compile('^content'))
[<div id="content1">
</div>, <div id="content3">
</div>, <div id="content22">
</div>]