2024-05-03 03:31:42 发布
网友
我有一个名为spider的函数,它以seed作为参数。seed是我发送给spider函数的URL的名称。现在我的问题是如何在Python中使用beanstalkc对url进行排队并执行作业。在
spider
seed
根据tutorial你需要:
连接:
import beanstalkc beanstalk = beanstalkc.Connection(host='localhost', port=14711)
添加作业使用:
beanstalk.put('seed url')
通过以下方式获得工作:
job = beanstalk.reserve() spider(job.body)
将作业标记为已完成:
job.delete()
根据tutorial你需要:
连接:
添加作业使用:
通过以下方式获得工作:
将作业标记为已完成:
相关问题 更多 >
编程相关推荐