2024-10-05 12:19:58 发布
网友
我正在用python创建一个webspider。我需要担心从任何网站扫描这些内容的权限吗?如果是的话,我怎么得到这些?提前谢谢
robots.txt文件没有限制
如果你爬得太频繁并且阅读了网站底部的保留权限,最好通知网站的所有者。这是一个好主意,提供一个链接,到您的内容来源
robots.txt文件没有限制
如果你爬得太频繁并且阅读了网站底部的保留权限,最好通知网站的所有者。这是一个好主意,提供一个链接,到您的内容来源
相关问题 更多 >
编程相关推荐