一个命令行工具，帮助轻松部署AWS胶水作业：）
glueetl的Python项目详细描述
胶水
一个命令行工具，帮助轻松部署AWS胶水作业：）
安装
$ pip install glueetl
如何开发胶水作业
你可以按照下面的步骤来开发胶水作业。在
1。设置AWS凭证和区域
在将Glue作业部署到AWS Glue之前，必须设置AWS凭据和区域。在
^{pr2}$2。初始化粘合作业
$ mkdir sample
$ cd sample
$ glueetl init
.
├── README.md
├── config.yaml
└── script.py
config.yaml包括作业属性，目前支持以下属性：
job:name:sample-glue-jobrole_name:AWSGlueServiceRolescript_location:s3://glue-job-scripts/sample-glue-job/script.pymax_concurrent_runs:10command_name:glueetlmax_retries:0timeout:28800max_capacity:10connections:-first_connection-second_connectiondefault_arguments:argument1:value1argument2:value2non_overridable_arguments:argument1:value1argument2:value2trigger:name:trigger-sample-glue-jobschedule:cron(5 * * * ? *)tags:key1:value1key2:value2
请更改文件config.yaml中的默认值，并将作业逻辑写入文件script.py。在
3。部署粘合作业
$ cd sample
$ glueetl deploy
你的工作将被部署到AWS胶水。在
4。运行胶水作业
您可以像这样手动运行胶水作业。在
$ cd sample $ glueetl run --arg1=value1 --arg2=value2
- 项目
标签：
欢迎加入QQ群-->： 979659372
