如何将Amazon Redshift连接到python

Question

这是我的python代码，我想将Amazon Redshift数据库连接到python，但它在主机中显示了错误。

有人能告诉我正确的语法吗？我是否正确地传递了所有参数？

con=psycopg2.connect("dbname = pg_table_def, host=redshifttest-icp.cooqucvshoum.us-west-2.redshift.amazonaws.com, port= 5439, user=me, password= secret")

这是错误：

OperationalError: could not translate host name "redshift://redshifttest-xyz.cooqucvshoum.us-west-2.redshift.amazonaws.com," to address: Unknown host

Answer 1

好吧，对于Redshift来说，这个想法是从S3复制而来的，比所有不同的方法都要快，但是这里有一个例子：

首先必须安装一些依赖项

对于linux用户 sudo apt-get install libpq-dev

对于mac用户 brew install libpq

使用pip安装此依赖项 pip3 install psycopg2-binarypip3 install sqlalchemypip3 install sqlalchemy-redshift

import sqlalchemy as sa
from sqlalchemy.orm import sessionmaker


#>>>>>>>> MAKE CHANGES HERE <<<<<<<<<<<<<
DATABASE = "dwtest"
USER = "youruser"
PASSWORD = "yourpassword"
HOST = "dwtest.awsexample.com"
PORT = "5439"
SCHEMA = "public"

S3_FULL_PATH = 's3://yourbucket/category_pipe.txt'
ARN_CREDENTIALS = 'arn:aws:iam::YOURARN:YOURROLE'
REGION = 'us-east-1'

############ CONNECTING AND CREATING SESSIONS ############
connection_string = "redshift+psycopg2://%s:%s@%s:%s/%s" % (USER,PASSWORD,HOST,str(PORT),DATABASE)
engine = sa.create_engine(connection_string)
session = sessionmaker()
session.configure(bind=engine)
s = session()
SetPath = "SET search_path TO %s" % SCHEMA
s.execute(SetPath)
###########################################################



############ RUNNING COPY ############
copy_command = '''
copy category from '%s'
credentials 'aws_iam_role=%s'
delimiter '|' region '%s';
''' % (S3_FULL_PATH, ARN_CREDENTIALS, REGION)
s.execute(copy_command)
s.commit()
######################################



############ GETTING DATA ############
query = "SELECT * FROM category;"
rr = s.execute(query)
all_results =  rr.fetchall()

def pretty(all_results):
    for row in all_results :
        print("row start >>>>>>>>>>>>>>>>>>>>")
        for r in row :
            print(" ---- %s" % r)
        print("row end >>>>>>>>>>>>>>>>>>>>>>")

pretty(all_results)
s.close()
######################################

Answer 2

从python查询AWS Redshift的最简单方法是通过这个Jupyter扩展-Jupyter Redshift

不仅可以查询和保存结果，还可以将结果从笔记本环境中写回数据库。

Answer 3

似乎您希望从Python代码运行Amazon Redshift查询。

要使用的参数包括：

• dbname：这是创建集群时在Database name字段中输入的数据库的名称。
• 用户：这是创建集群时在Master user name字段中输入的。
• 密码：这是创建群集时在Master user password字段中输入的。
• 主机：这是Redshift管理控制台中提供的端点（末端没有端口）：redshifttest-xyz.cooqucvshoum.us-west-2.redshift.amazonaws.com
• 端口：5439

例如：

con=psycopg2.connect("dbname=sales host=redshifttest-xyz.cooqucvshoum.us-west-2.redshift.amazonaws.com port=5439 user=master password=secret")