用JavaScrip更新内容

Question

我想刮（头条新闻，日期，时间）当地的音乐场地网站：http://www.bluebirdtheater.net/events

我用了scrapy，我成功地刮到了网站上的内容。但是有一个加载更多按钮。我见过其他的解决方案，其中loadmore按钮返回一个呈现的html中的POST响应，可以将其删除。你知道吗

使用浏览器检查器，我看到这个站点调用了get方法：http://www.bluebirdtheater.net/events/events_ajax/40

我用scrapy调用url来爬网，但是scrapy的响应是不可读的（JavaScript？未描述的DOM？有人能告诉我是什么吗？我很好奇。）我还能用一种只会刮毛的方法吗？你知道吗

我见过有人使用Selenium来点击more按钮，加载所有数据，然后将其删除。你知道吗

Answer 1

我很抱歉这样做，但这里有一个快速修复，将取代所有空格，新行和反斜杠。你知道吗

print s.replace('\n', '').replace('\t', '').replace('\\','')