矢量化

Question

在python脚本中，我需要对同一数据库中类似（但不相关）的表执行一系列sql查询。每个select的输出列始终相同。有没有一种方法可以执行此异步操作以减少处理时间

tables =  pd.DataFrame(['Table1, Table2, Table3'], columns=['Table Name'])
sqlQuery1 = '''select a, b, c from TABLENAME'''

sqlDataLst = []
for i, row in tables.iterrows():
    
    sqlQuery1_exe= sqlQuery1.replace("TABLENAME",row['Table Name'])
    sqlData = pd.read_sql_query(sqlQuery1_exe,getConn())
    sqlDataLst.append(sqlData)
        
sqlDataAll = pd.concat(sqlDataLst)

Answer 1

您可以使用多线程。定义一个新函数（我们称之为new_function），该函数获取表名作为参数，然后运行read_sql_query

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=10) as executor:
   for i, row in tables.iterrows():
      future = executor.submit(new_function, row['Table Name'])

注意：在python中使用多线程时，应该注意GIL（Pandas的开发人员对此非常小心）