Pyelt是一个DDL和ETL框架,用于在Postgress数据库上创建和填充数据保险库数据仓库。

pyelt的Python项目详细描述


用法

此示例将创建并填充历史暂存区域:

pipeline = Pipeline(config)
pipe = pipeline.get_or_create_pipe('test_source', source_config)

source_file = CsvFile(get_root_path() + '/sample_data/patienten1.csv', delimiter=';')
source_file.reflect()
source_file.set_primary_key(['patientnummer'])
mapping = SourceToSorMapping(source_file, 'persoon_hstage', auto_map=True)
pipe.mappings.append(mapping)

pipeline.run()

更多的例子可以在the GitHub repository of NL Healthcare上找到。

简介

Pyelt是一个PythonDDL和ETL框架,用于为数据仓库创建和加载数据保险库

Pyelt支持几个数据层,包括记录源(sor)、原始数据存储库(rdv)、业务数据存储库(bdv)和数据集市(dm)

Pyelt可以从几个不同的源系统导入数据,例如固定长度文件、CSV文件和不同的数据库。

Pyelt是在postgresql数据库上运行的。

Pyelt仅将sqlalchemy.core用于连接和反射。所有其他sql语句(ddl、copy、insert和update语句)都是由pyelt框架本身创建的。

编写自己的映射以通过转移到数据仓库来传输和转换源中的数据。

背景

目前,NL Healthcare正在开发Pyelt框架,目的是实现我们的下一代数据仓库(DWH2.0)。它为我们在临床商业智能(CBI)和机器学习领域的工作奠定了基础。

本项目的建筑基石是:

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java嵌套循环打印一个数字,旁边有相同数量的星号   java JodReports替代方案   java如何将模型类parcelable对象从片段传递到活动?   java JCS缓存删除功能不删除特定元素   如何打开。Java的dll文件。   java在这种情况下如何选择聚合根?   java从CellEditorListener获取编辑的TreeNode   Java到web服务和mysql   从openssl ec在Java中创建公钥时出现加密无效密钥异常   Java数组:添加多个数组的元素时忽略空数组   java在初始化后向fragment发送数据   JButtons的java数组正在返回void   若联接列不包含特定值,则java JPA条件生成器仅返回实体   java ActionBar问题:NPE   java Portlet是被广泛使用还是非常罕见?