无服务器地部署可配置的unix管道作业。
handoff的Python项目详细描述
在切换.cloud在
无服务器地部署可配置的unix管道作业。在
NEW:Monitor metrics with Grafana
^{1}$这是什么?在
切换(repository) 是一个用于无服务器地执行unix管道进程的框架。 它将代码和运行时配置分开,进行部署 更快、更灵活、更安全。在
交接有助于团队:
- 自动化ETL/ELT过程(earthquake data ELT example)
- 大规模网络爬网和收集数据(market & education data example)
- 减轻管理Apache Airflow Worker节点的痛苦。在
……还有更多!在
handoff是一个由ANELEN赞助的开源(APLv2)项目。在
工作原理
切换最初是为了部署一个单行ETL过程,比如 singer.io在AWS Fargate上,它被扩展到 运行任何命令和程序。在
在切换.cloud框架中,配置被存储和检索 从安全参数存储(如AWS Systems Manager参数存储)中。 这样可以避免存储更改的敏感信息或配置 经常出现在Docker图像上。在
命令的支持文件也可以从云存储中获取,比如 符合AWS S3。工件,每个命令生成的文件也可以 存储在云存储中。在
这个存储库还包含AWS云信息模板和部署 支持从本地开发到生产的工作流的脚本 部署。在
轻松入门
- 项目
标签: