使用Airflow的Postgres将大数据从Postgres表加载到S3

2024-10-05 10:44:30 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图使用气流将数据从Postgres表加载到S3,PostgresToS3操作符适用于所有表,除了一个非常大的表。该任务运行一段时间约800秒,然后停止,没有任何日志。这似乎是因为连接在一段超时时间后关闭。我试图在cursor.execute(self.sql)之前做一个cursor.execute("SET statement_timeout = 0")有什么办法可以解决这个问题吗

https://airflow.apache.org/docs/stable/_modules/airflow/hooks/postgres_hook.html


Tags: 数据selfexecutesqls3时间timeoutpostgres

热门问题