轻松快速地创建您的ETL集成!
etl-pbshop的Python项目详细描述
ETL库
这是一个为Portobello Shop集成构建的简单包,现在作为ETL lib提供。在
可用于多种服务,如:
- 甲骨文
- 销售人员
- MSSQL服务器
- GSuite公司
- 微伏
- ODBC驱动程序:PYODBC和SQLALCHEMY
- 还有任何休息服务。。。在
即将上市:
- 拉比MQ
- 卡夫卡
- OpenVault(凭据)
- 。。。在
基本用途
重写ETL ABC类
使用继承并重写三个抽象方法(即使不使用):
frometl_pbshopimportETL,ConnectorsclassMyETL(ETL):def__init__(self):self.config=MyConfiguration()self.log=self.config.logself.connector=Connectors(config=self.config,log=self.log,services={'google':'PROD',"salesforce":"PROD"})defextract(self):pass# extract the needed data using Connectorsdeftransform(self):pass# do some transformationsdefload(self):pass# upload your transformations
主呼叫者:
在主呼叫者上,您可以简单地:
^{pr2}$重写默认配置模型:
在另一个类中,您可以重写ConfigModel类并输入值:
frometl_pbshop.config_modelimportConfigModelclassMyConfiguration(ConfigModel):def__init__(self):super().__init__(__file__)self.SQL_QUERIES={"produtos":"SELECT * FROM Products2"}self.INTEGRATION_SPREADSHEET_ID='654asd5as1das5d165a4d68'
环境变量:
您可以将环境变量放入Connectors类。
在.env
文件中,将其分组设置,如:
INTEGRACAO_ORACLE_ID_1=1 INTEGRACAO_ORACLE_TOKEN_VALUE_1=asd1234asd== INTEGRACAO_ORACLE_TOKEN_URL_1=http://example.com/token INTEGRACAO_ORACLE_METHOD_URL_1=http://example.com/method_to_post INTEGRACAO_ORACLE_USER_1=asd.. INTEGRACAO_ORACLE_PASS_1=qwerty.. INTEGRACAO_ORACLE_ENVIRONMENT_1=DEV INTEGRACAO_MICROVIX_ID_1=1 INTEGRACAO_MICROVIX_TOKEN_VALUE_1=1234-123-123-1234 INTEGRACAO_MICROVIX_METHOD_URL_1=https://webapi.microvix.com.br/1.0/api/method INTEGRACAO_MICROVIX_USER_1=user INTEGRACAO_MICROVIX_PASS_1=pass INTEGRACAO_MICROVIX_ENVIRONMENT_1=PROD INTEGRACAO_SALESFORCE_ID_1=1 INTEGRACAO_SALESFORCE_TOKEN_VALUE_1=qwerty INTEGRACAO_SALESFORCE_METHOD_URL_1=https://login.salesforce.com/services/Soap/u/47.0 INTEGRACAO_SALESFORCE_USER_1=username@example.com INTEGRACAO_SALESFORCE_PASS_1=myPass INTEGRACAO_SALESFORCE_ENVIRONMENT_1=PROD
您只需保留模式:INTEGRACAO_<service_name>_<key_name>_<group_id>
更多信息,请联系:daniel.camargo@portobelloshop.com.br
- 项目
标签: