如何在scrapy-to-fetch.mp3链接中创建一个webcrawler

Question

我想做一个网络绘图，可以从网站获取.mp3链接。然而，在示例站点http://raagtune.net/中，内容是动态的。在这个站点中，内容是从“http://raag.me//music/data/获取的。。一些random.mp3“我们如何在python中使用scrapy抓取整个站点并获取所有mp3链接？或者有其他方法吗？在

Answer 1

您可以使用python的beautifulsoup包。在

import httplib2 from BeautifulSoup import BeautifulSoup, SoupStrainer http = httplib2.Http() status, response = http.request('http://www.nytimes.com') for link in BeautifulSoup(response, parseOnlyThese=SoupStrainer('a')): if link.has_attr('href'): print link['href']

只需检查该URL在该链接中是否有.mp3。如果是，请将其存储在列表中，否则继续。在

希望这有帮助！在