如何使用python根据条件从列表中弹出项目并将其推回到列表中

Question

我有用于爬网的URL列表。['http://domain1.com'，'http://domain1.com/page1'，'http://domain2.com']

代码：

prev_domain = ''
while urls:
    url = urls.pop()
    if base_url(url) == prev_domain: # base_url is custom function return domain of an url
        urls.append(url) # is this is possible?
        continue 
    else:
        crawl(url)

基本上我不想爬同一个领域的网页不断。继续爬网一个域url，返回http响应状态码429:请求太多。用户在给定的时间内发送了太多请求（“速率限制”）。为了回避这个问题，我打算用下面的逻辑。你知道吗

循环遍历列表中的所有项，并将当前元素基url与以前处理的元素基url进行比较。你知道吗

如果基本URL不同，则处理下一步，否则不处理当前元素，只需将此元素附加到同一列表中。你知道吗

注意：如果列表中的URL属于同一域，请延迟处理每个元素，然后执行。你知道吗

请提供您的想法。你知道吗

Answer 1

检查以下代码段

urls = ['http://domain1.com','http://domain1.com/page1','http://domain2.com']

crawl_for_urls = {}
for url in urls:
    domain = base_url(url)
    if domain not in crowl_for_urls:
        crawl_for_urls.update({domain:url})
        crawl(url)

crawl()将仅为唯一域调用。你知道吗

或者您可以使用：

urls = ['http://domain1.com','http://domain1.com/page1','http://domain2.com']

crawl_for_urls = {}
for url in urls:
    domain = base_url(url)
    if domain not in crowl_for_urls:
        crawl_for_urls.update({domain:[url]})
        crawl(url)
    else:
        crawl_for_urls.get(domain, []).append(url)

通过这种方式，您可以根据域对URL进行分类，也可以使用crawl()作为唯一域。你知道吗