用Python在网站/屏幕上找到所有可能的链接

Question

这是个开放式的问题。我需要浏览一个求职网站，搜索职位描述标签和技能要求（我已经完成了）。我基本上想知道，我如何在网站上爬行？就像在，从测试网站到测试等等。。。。？？基本上，抓取页面。在

这是我在页面中搜索的代码。我需要找到所有可能的网页在网站和获得链接。这不是家庭作业。我只是在一旁。。。在

import urllib2
import re

html_content = urllib2.urlopen('http://www.ziprecruiter.com/job/Systems-     Engineer/b5452eab/?source=customer-cpc-indeed').read()

matchDescription = re.findall('Bachelor', html_content);
matchSkill = re.findall('VMware', html_content);


print matchDescription
print matchSkill

if ( len(matchDescription) and len(matchSkill) )== 0: 
   print 'I did not find anything'
else:
   print 'My string is in the html'

Answer 1

考虑使用Scrapy或其他一些现有的抓取框架。否则，您需要使用lxml或其他HTML解析器手动查找必要的链接，并使用基于urllib或类似的手动机制以及一些数据结构来存储输入和输出数据。在