如何在Python中使用beanstalkc对url进行排队和执行作业

2024-05-03 03:31:42 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个名为spider的函数,它以seed作为参数。seed是我发送给spider函数的URL的名称。现在我的问题是如何在Python中使用beanstalkc对url进行排队并执行作业。在


Tags: 函数名称url参数作业排队spiderseed
1条回答
网友
1楼 · 发布于 2024-05-03 03:31:42

根据tutorial你需要:

  1. beanstalkd服务器正在运行。在
  2. 连接:

    import beanstalkc
    beanstalk = beanstalkc.Connection(host='localhost', port=14711)
    
  3. 添加作业使用:

    beanstalk.put('seed url')
    
  4. 通过以下方式获得工作:

    job = beanstalk.reserve()
    spider(job.body)
    
  5. 将作业标记为已完成:

    job.delete()
    

相关问题 更多 >