由于sql chunksize过大,导致sqlalchemy错误

2024-09-27 20:15:30 发布

您现在位置:Python中文网/ 问答频道 /正文

我面临熊猫的问题。to_sql()

MyDB:IBMDB2(bigsql)

表:hadoop表存储为拼花地板

我正在连接到bigsql,并像这样从其他数据库加载一些数据。 read = pd.read_sql(text(item['load_sql']),session.bind) read.to_sql(table_,dst_session.bind,schema='dev',if_exists='append',chunksize=1424, index=False, method='multi')

当chunksize小于1425时一切正常,但当其大于或等于1425时,我收到一个错误: (ibm_db_dbi.ProgrammingError)ibm_db_dbi::ProgrammingError:Exception('Statement Execute Failed:[ibm][CLI驱动程序]参数数目错误。SQLSTATE=07001 SQLCODE=-99999')

我认为它与sql命令字符串大小无关,因为chunksize=1424甚至不到1MB

db2/hadoop对chunksize是否有某种限制? 有人知道我为什么会犯这个错误吗

解决了吗 我不再使用_sql()-我正在创建一个字符串形式的整个insert命令并将其发送到db。似乎该选项的唯一限制是字符串大小,但是插入速度提高了,我可以在这个命令中放入比以前允许的chunksize更多的行


Tags: to字符串命令hadoopreaddbsqlbind

热门问题