java网络爬虫对服务器的连续请求之间的最小延迟

6 日，20 小时 Questions & Answers 687

我已经构建了一个多线程的网络爬虫，它可以请求从相应的服务器获取网页。由于它是多线程的，这会使服务器负担过重。由于哪个服务器可以阻止爬虫（礼貌）

我只是想增加一个功能，使Consequitive请求到同一台服务器之间的延迟最小。是否存储来自机器人的最小延迟。将每个服务器（域）中的txt文件转换为哈希图，并将其与向该特定服务器发出的请求的最后时间进行比较，这样可以吗