同时运行多个Pandas函数

2024-10-03 00:29:19 发布

您现在位置:Python中文网/ 问答频道 /正文

我想使用Pandas同时执行3个SQL查询。你知道吗

我的3个SQL查询每运行一次都需要1分钟。连续运行它们总共需要3分钟。查询包括:

pd.read_sql(Query_1 , DB_Connection)
pd.read_sql(Query_2 , DB_Connection)
pd.read_sql(Query_3 , DB_Connection)

减少运行时间的一个解决方法是打开3个独立的ipythonjupyter笔记本,在每个笔记本中放置一个查询,并在几乎相同的时间对所有三个笔记本执行。假设在本例中它们是并发运行的,那么所有3个的总运行时间都是1分钟。你知道吗

如何在一个IPython笔记本中实现将总运行时间减少到1分钟的相同结果?你知道吗


您认为使用线程的这种潜在解决方案怎么样?你知道吗

SQL_Queries = ["Query 1" , "Query 2" , "Query 3"]
SQL_Results = []

def myfunct(i):
    SQL_Results.append(pd.read_sql(SQL_Queries[i]))

for i in range(3):
    t = Thread(target=myfunct, args=(i,))
    t.start() 

Tags: 方法pandasreaddbsql时间笔记本connection