在while循环中抓取碎片

2024-10-01 02:36:04 发布

您现在位置:Python中文网/ 问答频道 /正文

试着把我的头绕到扭曲的反应器/脏兮兮的爬线上。在

我需要的是这样的东西:

while True:
    urls = get_latest_urls()

    crawl(MySpider(urls))
    ## block until crawl is complete ##

    mark_urls_as_crawled()
    time.sleep(0.01)

让这个脚本无限期运行。在

我该怎么做?谢谢!在


已解决

通过去掉while循环并使用回调来获得我想要的功能。在

^{pr2}$

Tags: truegetisasblockurlslatestuntil