Databay是一个用于定时数据传输的Python接口。它有助于在预定的时间间隔内将(任何)数据从A传输到B。
databa的Python项目详细描述
此库当前正在进行beta测试。看到什么东西坏了吗?我们出什么事了吗?Create an issue and let us know!
Databay是一个Python接口,用于scheduled data transfer。它有助于在预定的时间间隔内将(任何)数据从A传输到B。在
安装
pipinstalldatabay
文件
请参阅完整的Databay documentation。在
或者更具体地说:
- Overview-了解什么是Databay。在
- Examples-请参阅正在使用的数据库。在
- Extending Databay-在项目中使用Databay。在
- API Reference-阅读API文档。在
特点
- 在
简单、解耦的接口轻松实现data production和{a11},满足您的需要。在
在 - 在
对数据传输的粒度控制生产商和消费者之间passing information的多种方式。在
在 - 在 在
- 在
我们将处理其余的–欧元“scheduling,startup and shutdown,exception handling,logging。在
在 - 在
支持自定义调度如果愿意,可以使用your own scheduling logic。在
在
概述
在Databay中,数据传输由三个部分组成:
Inlets
-用于数据生产。在Outlets
-用于数据消耗。在Links
-用于处理入口和出口之间的数据传输。在
调度是使用第三方库实现的,通过BasePlanner
接口公开。目前有两个BasePlanner
实现-使用Advanced Python Scheduler和Schedule。在
每隔5秒,这个片段将从测试URL中提取数据,并将其写入MongoDB。在
示例用法:
虽然Databay带有一些内置的入口和出口,但它的优势在于可扩展性。要在项目中使用Databay,请创建Inlet
和Outlet
类的具体实现,以处理所需的数据生产和消费功能。然后Databay将确保数据可以在您创建的入口和出口之间重复流动。Extending inlets和{a26}很简单,并且有广泛的定制。前往Extending Databay部分获取详细解释,或者前往Examples获取实际用例。在
Community Contributions
We aim to support the ecosystem of Databay users by collating and promoting inlets and outlets that implement popular functionalities. We encourage you to share the inlets and outlets you write with the community - start by reading the guidelines关于对数据库社区的贡献。在
你写了一个很酷的入口或出口,你想和别人分享吗?把它放在公共回购上,给我们发一个email,我们会在这里列出它!在
入口
出口
- FileOutlet-通用文件出口(内置)。在
- CsvOutlet-CSV文件出口(内置)。在
- MongoOutlet-MongoDB出口(内置)。在
请求
以下是其他人希望实现的入口和出口。请随意从这个列表中构建一个项目并共享您的实现!如果您想在此列表中添加项目,请通知我们。在
- PostgreSqlOutlet-PostgreSQL出口
Roadmap
v1.0
- Beta test the pre-release.
Complete 100% test coverage.- Add more advanced examples.
- Release v1.0.
- Buy a carrot cake and celebrate.
v1.1
- Filters and translators - callbacks for processing data between inlets and outlets.
- Advanced scheduling - conditional, non uniform intervals.
Licence
See LICENSE
- 项目
标签: