在应用程序引擎Flask应用程序中扩展用于ETL的Google BigQuery提取

2024-10-02 10:29:05 发布

您现在位置:Python中文网/ 问答频道 /正文

尝试部署一个ETL脚本,该脚本通过Pandas gbq和Google Sheets从BigQuery中提取数据,然后将转换后的数据全部上传回BigQuery。我想将其部署为Flask app in app Engine

我使用Sheets API访问Google Sheets,使用Pandas gbq访问Google BigQuery。我已将应用程序超时时间增加到6000秒。当我得到少量行(~100)的响应时,对于更大的负载,它引导工作人员增加PID,然后关闭

我没有收到错误消息,作业的状态显示为“已成功运行”,但是数据不会像行数较少或在本地运行时那样附加到正确的位置

我是否需要VM提供更多的计算能力,还是需要其他方式来运行流程?部署通过cron作业计划在一周内不同时间运行的一系列此类应用程序的最佳方式是什么

重写所有脚本将是一项困难的任务,因此任何通过AppEngine直接部署脚本的方法都会有所帮助

提前谢谢


Tags: 数据脚本app应用程序flaskpandas部署google

热门问题