使用从页面抓取的字符串来生成用于进一步使用scrapy抓取的起始网址列表

Question

请帮忙

我从一家房地产网站的搜索结果页面收集了大量与porperty id相对应的字符串。该站点使用属性id来命名包含有关我要收集的各个属性的信息的页面。在

如何将第一个spider创建的url列表添加到另一个spider的start_url中？在

谢谢-我是新来的。在

Answer 1

作为一个noob伙伴，我理解你很难理解Scrapy中的yield方法。如果您无法获得上面的@audiodude details方法（由于许多原因，这是一种更好的方法），我使用的一种“解决方法”是通过使用Concatenate函数为每一行添加正确的标点符号来生成我的url（在LibreOffice或Excel中）。然后简单地复制并粘贴到我的蜘蛛上

start_urls = [
  "http://example.com/link1",
  "http://example.com/link2",
  "http://example.com/link3",
  "http://example.com/link4",
  "http://example.com/link5",
  "http://example.com/link6",
  "http://example.com/link7",
  "http://example.com/link8",
  "http://example.com/link9"
  ]

请注意，每行后面都需要一个逗号（最后一行除外），并且每个链接都必须用直引号括起来。当使用Concatenate时，使用引号是一件很麻烦的事情，所以为了产生所需的结果，在url附近的单元格中，输入=Concatenate(CHAR(34),A2,CHAR(34),",")，假设url在A2单元格中。在

祝你好运。在