使用Python查询Athena时出现长时间延迟

2024-09-27 00:18:55 发布

您现在位置:Python中文网/ 问答频道 /正文

我想问AWS社区一个问题。你知道吗

我最近转到雅典娜,有如下观察:

使用pyathena(python客户机)查询数据比直接在athena中查询要花费更多的时间。我有一个客户数据数据库,当我在雅典娜执行一个查询时,获取数据的时间不到60秒,但当我在皮雅典娜执行同样的查询时,完成同样的工作大约需要40分钟。你知道吗

下面是我的python查询:

cnxn = connect(s3_staging_dir='URL Address for my Athena results',region_name='us-east-2')
        sql= ''' SELECT * from some query '''

        df= pd.read_sql(sql, cnxn)

有人能帮我理解为什么会这样吗?我做错什么了吗?你知道吗

谢谢

----已编辑----

我正在Sagemaker中运行查询。我正在Sagemaker的Jupyter env中执行查询。你知道吗


Tags: 数据aws数据库sql客户机客户s3connect

热门问题