sqlbucket 0.4.1

安装

使用pip安装和更新：

pip install -U sqlbucket

SQLBucket只适用于python3.6和3.7，可能还有3.8 尚未测试。在

一个简单的例子

要开始工作，您需要用 项目u参数。该文件夹将包含您的所有sqletl。这个 创建SQLBucket对象的python文件也是一个很好的地方 实例化命令行界面，如下所示。在

以下命令将在projects文件夹中创建第一个项目。在

python my_sqlbucket.py create-project -n my_first_project

有关CLI的详细信息，请参阅its documentations。在

您的项目现在应该类似于以下结构：

projects/
    |-- my_first_project/
        |-- config.yaml
        |-- queries/
            |-- query_one.sql
            |-- query_two.sql
        |-- integrity/
            |-- integrity_one.sql

SQLBucket项目结构

SQLBucket项目由3个核心组件组成：配置、ETL 查询和完整性检查查询。在

配置

配置.yaml是您项目的核心。这是你可以定义的地方 变量，并配置sql查询的顺序 执行。有关如何配置变量的更好解释，请参阅 到usage documentation，还有variables documentation，它 还描述了环境和连接变量。在

ETL查询

查询文件夹只包含您的SQL查询。你可以把他们组织起来 您选择的文件夹结构。只要它们在查询中 文件夹中，SQLBucket将找到它们并在配置时执行它们。 请参阅how to write SQL with SQLBucket上的文档。在

Integrity查询

integrity文件夹只包含SQL查询来帮助您验证 ETL公司。你可以在你选择的文件夹中组织它们。唯一的 惯例是在字段中返回完整性（真/假）的结果 名为通过了。主要思想是完整性是由SQL本身完成的。 检查documentation on integrity以获得关于测试的更详细的解释 ETL的完整性。我们还有一组common macros可以 一开始很有帮助。在

下面是一个完整的示例，它将首先运行ETL，然后运行 完整性检查给定数据库配置。在

fromsqlbucketimportSQLBucketconnections={'db_demo':'postgresql://user:password@host:5439/database'}bucket=SQLBucket(connections=connections)project=bucket.load_project(project_name='my_first_project',connection_name='db_demo',variables={'foo':1})# to run ETLproject.run()# to run integrityproject.run_integrity()

我们建议将连接URL设置为安全性的环境变量 目的。在

模板工程

为了加快速度，可以创建一个SQLBucket template project的分叉 并在几分钟内开始构建SQL数据管道。在

贡献

有关如何对SQLBucket作出贡献的指导，请参阅contributing guidelines。在

链接

• 许可证：MIT
• 发布：https://pypi.org/project/sqlbucket/
• 代码：https://github.com/socialpoint-labs/sqlbucket
• 问题跟踪者：https://github.com/socialpoint-labs/sqlbucket/issues