在python中使用模式匹配提取url的一部分

Question

我想使用python中的模式匹配从链接列表中提取url的一部分

示例：

http://www.fairobserver.com/about/
http://www.fairobserver.com/about/interview/

这是我的正则表达式：

re.match(r'(http?|ftp)(://[a-zA-Z0-9+&/@#%?=~_|!:,.;]*)(.\b[a-z]{1,3}\b)(/about[a-zA-Z-_]*/?)', str(href), re.IGNORECASE)  

我想得到只以/about或/about/
结尾的链接 但是上面的regex选择了所有包含“about”单词的链接

Answer 1

建议您使用适当的库解析url，例如urlparse。在

例如

import urlparse

samples = [
  "http://www.fairobserver.com/about/",
  "http://www.fairobserver.com/about/interview/",
]

def about_filter(urls):
  for url in urls:
    parsed = urlparse.urlparse(url)
    if parsed.path.endswith('/about/'):
      yield url

屈服：

^{pr2}$

或者

def about_filter(urls):
  for url in urls:
    parsed = urlparse.urlparse(url)
    if parsed.path.startswith('/about'):
      yield url

屈服

>>> print list(about_filter(samples))
['http://www.fairobserver.com/about/', 'http://www.fairobserver.com/about/interview/']