Python中数据库查询的多处理/多线程处理

2024-03-29 14:01:36 发布

您现在位置:Python中文网/ 问答频道 /正文

我在数据库中有数百万条记录,我想通过Python读取它并将其存储在pandas数据框中。 问题是select查询处理时间非常长。 为了减少查询处理时间,我尝试对其执行多线程 我创建了3个线程,并根据每个线程进行查询

Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=0 


Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=1


Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=2

然后我用pythonbythreading包运行每个查询。在

但这也不会减少太多时间

有没有其他方法可以减少查询读取时间。 注意-我同时使用了jdbc和odbc连接


Tags: from数据库by记录时间tableorderrn
2条回答

下面的链接帮助了我 Multiprocessing with JDBC connection and pooling 我可以从我的本地机. 在

只有在底层数据库引擎支持多线程时,才能使用它。你应该检查一下。对于您的问题,我认为所附链接将帮助您: see this 如果答案对你有帮助,那么选择它作为最佳答案来帮助社区。在

相关问题 更多 >