停止抓取相同的网址我写了一个基本的爬行蜘蛛来抓取一个看起来运行良好的网站,除了它不想停止的事实之外,也就是说,它不断地访问相同的网址并返回相同的内容-我总是不得不停止它。我怀疑它会一遍又一遍地浏览同一个网址。有什么规则 ...2024-10-02 已阅读: n次