Python中文
首页
教程
问答
标签
搜索
登录
注册
进程或线程的性能改进
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我写了一个脚本,从我学校的网站上提取数据,我在执行时间上遇到了一些问题。你知道吗</p> <p>有20多个校区,每个校区有三个学期的数据。脚本将查找这些学校名称,然后查找每个学校的可用学期,然后查找每个学期提供课程的科目/部门。然后脚本搜索每个部门的类,然后我用这些数据做一些事情。你知道吗</p> <p>我只在一个校园里对脚本的执行进行了计时,它运行了三分钟多。当我在所有24个校区运行它时,它花了一个多小时。我使用的是“requests”库,它同步运行每个HTTP请求。我使用“requests”库,主要是因为它可以很好地处理会话。你知道吗</p> <p>我正在寻找方法来减少脚本运行所需的时间,方法是让每个学期的各种请求并行运行。我怀疑如果我异步运行三个学期,那么每个学校应该花一分钟,而不是三分钟。然后,我可以并行运行所有学校,并为所有数据实现同一分钟。一分钟比一小时零一刻少得多!你知道吗</p> <ol> <li><p>我的猜测是不是错了,多线程/处理会大大缩短执行时间?我应该为线程或进程使用哪些Python库?</p></li> <li><p>一旦我在一个线程上处理了每个学校,如何将所有学校的数据合并到一个地方?我知道线程改变全局状态被认为是不好的做法,但是这里有什么替代方法呢?</p></li> </ol>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>在python中,您需要多线程上的多处理。线程在Python中表现不好是因为GIL。你知道吗</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
找出给定numb上下最近的元素
10 回答
找出给定N个数中K的倍数
7 回答
找出给定列表中哪个坐标是虚坐标?
1 回答
找出给定多边形边的两个区域是否相交
2 回答
找出给定对象的可用属性(和方法)的最佳方法是什么?
3 回答
找出给定数字的可能组合
4 回答
找出给定数据中每列中缺少值的百分比
1 回答
找出给定范围内的所有素数
7 回答
找出编码不正确的数据库条目
9 回答
找出肯肯拼图“乘法”域中所有可能的因素
6 回答
找出脚本的下载位置
3 回答
找出芹菜任务是否存在
9 回答
找出行之间的绝对差异并将其与其他行进行比较
4 回答
找出表中for项和rang中for数的区别
6 回答
找出表单是否已提交或页面是否已刷新
2 回答
找出要删除的内容
5 回答
找出谁使用python登录linux
9 回答
找出谁在学生中得分最高
2 回答
找出谁杀了一个python windows服务
7 回答
找出起始时间和结束时间之间的值
10 回答