T2.micro运行python scraper无法控制的CPU

2024-09-24 00:25:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我在一个运行Ubuntu的t2.microec2实例上安装了一个webscraper。 scrapler是用Python编写的,它使用Selenium和PhantomJS。它得到的数据被发送到一个单独的RDS实例。 我设置了一个cronjob每隔15分钟运行一次脚本,确实如此。 我的问题是: My CPU activity

脚本运行得很好(红框),突然间,它被过度利用,我的实例变得非常慢。 我的脚本从几秒钟内运行到10分钟后完全不运行。
在这些突发事件中,实例使用CPU点数。然而,我的CPU积分一直在上升。我发现重新启动实例可以解决问题。
你知道发生了什么吗?在


Tags: 数据实例脚本ubuntuseleniumcpuphantomjscronjob
1条回答
网友
1楼 · 发布于 2024-09-24 00:25:20

我也遇到过同样的问题,当我升级到t2.medium时,python脚本运行得更快。如果您使用python,我建议您使用psutil

for proc in psutil.process_iter():
    if proc.name() == 'phantomjs':
        proc.kill()

把它放在代码的末尾,浏览器有时会占用你所有的内存并减慢脚本的速度,尤其是当你在循环中运行selenium时。在

相关问题 更多 >