我在数据库中有数百万条记录,我想通过Python读取它并将其存储在pandas数据框中。 问题是select查询处理时间非常长。 为了减少查询处理时间,我尝试对其执行多线程 我创建了3个线程,并根据每个线程进行查询
Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=0
Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=1
Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=2
然后我用pythonbythreading包运行每个查询。在
但这也不会减少太多时间
有没有其他方法可以减少查询读取时间。 注意-我同时使用了jdbc和odbc连接
下面的链接帮助了我 Multiprocessing with JDBC connection and pooling 我可以从我的本地机. 在
只有在底层数据库引擎支持多线程时,才能使用它。你应该检查一下。对于您的问题,我认为所附链接将帮助您: see this 如果答案对你有帮助,那么选择它作为最佳答案来帮助社区。在
相关问题 更多 >
编程相关推荐