因此,我有一个名为task的定制装饰器,它捕获函数的状态。e、 g
@task(task_name='tutorial',
alert_name='tutorial')
def start():
raw_data = download_data()
data = parse(raw_data)
push_to_db(data)
if if __name__ == "__main__":
start()
因此,在这里,任务装饰器监视启动功能的状态,如果失败,则使用警报名称将错误消息发送到中央监控系统,否则,如果成功,则发送成功消息
现在我想将这个装饰器添加到scrapy Spider中,以捕获状态。但我不知道该怎么做,因为在使用此命令启动spider时,spider入口点并不未知:
$scrapy crawl tutorial
我在spider py文件中尝试了CrawlerRunner。事情是这样的:
@task(task_name='tutorial',
alert_name='tutorial')
def start():
runner = CrawlerRunner()
runner.crawls(TutorialSpider)
if __name__ == "__main__":
start()
这有两个问题:
总之,我有两个问题:
非常感谢您花时间阅读此问题并提供帮助
目前没有回答
相关问题 更多 >
编程相关推荐