轻松快速地创建您的ETL集成!

etl-pbshop的Python项目详细描述


ETL库

Upload Python PackagePyPI version

这是一个为Portobello Shop集成构建的简单包,现在作为ETL lib提供。在

可用于多种服务,如:

  • 甲骨文
  • 销售人员
  • MSSQL服务器
  • GSuite公司
  • 微伏
  • ODBC驱动程序:PYODBC和SQLALCHEMY
  • 还有任何休息服务。。。在

即将上市:

  • 拉比MQ
  • 卡夫卡
  • OpenVault(凭据)
  • 。。。在

基本用途

重写ETL ABC类

使用继承并重写三个抽象方法(即使不使用):

frometl_pbshopimportETL,ConnectorsclassMyETL(ETL):def__init__(self):self.config=MyConfiguration()self.log=self.config.logself.connector=Connectors(config=self.config,log=self.log,services={'google':'PROD',"salesforce":"PROD"})defextract(self):pass# extract the needed data using Connectorsdeftransform(self):pass# do some transformationsdefload(self):pass# upload your transformations

主呼叫者:

在主呼叫者上,您可以简单地:

^{pr2}$

重写默认配置模型:

在另一个类中,您可以重写ConfigModel类并输入值:

frometl_pbshop.config_modelimportConfigModelclassMyConfiguration(ConfigModel):def__init__(self):super().__init__(__file__)self.SQL_QUERIES={"produtos":"SELECT * FROM Products2"}self.INTEGRATION_SPREADSHEET_ID='654asd5as1das5d165a4d68'

环境变量:

您可以将环境变量放入Connectors类。 在.env文件中,将其分组设置,如:

INTEGRACAO_ORACLE_ID_1=1
INTEGRACAO_ORACLE_TOKEN_VALUE_1=asd1234asd==
INTEGRACAO_ORACLE_TOKEN_URL_1=http://example.com/token
INTEGRACAO_ORACLE_METHOD_URL_1=http://example.com/method_to_post
INTEGRACAO_ORACLE_USER_1=asd..
INTEGRACAO_ORACLE_PASS_1=qwerty..
INTEGRACAO_ORACLE_ENVIRONMENT_1=DEV

INTEGRACAO_MICROVIX_ID_1=1
INTEGRACAO_MICROVIX_TOKEN_VALUE_1=1234-123-123-1234
INTEGRACAO_MICROVIX_METHOD_URL_1=https://webapi.microvix.com.br/1.0/api/method
INTEGRACAO_MICROVIX_USER_1=user
INTEGRACAO_MICROVIX_PASS_1=pass
INTEGRACAO_MICROVIX_ENVIRONMENT_1=PROD

INTEGRACAO_SALESFORCE_ID_1=1
INTEGRACAO_SALESFORCE_TOKEN_VALUE_1=qwerty
INTEGRACAO_SALESFORCE_METHOD_URL_1=https://login.salesforce.com/services/Soap/u/47.0
INTEGRACAO_SALESFORCE_USER_1=username@example.com
INTEGRACAO_SALESFORCE_PASS_1=myPass
INTEGRACAO_SALESFORCE_ENVIRONMENT_1=PROD

您只需保留模式:INTEGRACAO_<service_name>_<key_name>_<group_id>

更多信息,请联系:daniel.camargo@portobelloshop.com.br

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java JavaFX SwingWorker等价物?   java如何检查一个字符串只包含数字和一个小数点?   java遇到了异常组织。阿帕奇。卡塔琳娜。LifecycleException:无法启动组件   java如何从日期格式获取最低计时单位?   java应用服务器与开发过程的集成   java我无法运行Junit测试   无法在java多线程处理中维护生产者任务的顺序   java如何在CLI应用程序中“拦截”Ctrl+C?   java如何使用JSch进行原子SFTP文件传输,以便在写入过程完成之前无法访问该文件?   java当用户摆弄html范围滑块时,如何更改内容(文本)?   如何在Java中向现有文件追加文本?   JUnit测试中的java模拟Apache驼峰位置   java Maven更新项目和依赖项