sapdi helper函数列表,如gensolution(包本地开发的操作符、textfield\u解析器、时间监控
sdi-utils的Python项目详细描述
SAP Data Intelligence Utilities(sdi\u utils),由thhapke提供
sdi\u-utils包
此软件包包括两个帮助程序,这些帮助程序易于开发与一起使用的运算符 SAP数据智能(SAP DI)。在
- gensolution用于从本地开发的运算符生成解决方案包。在
- textfield_parser解析文本字段,这些字段可以包含列表、映射、映射列表等
- set_logging用于将日志记录输出引导到一个字符串,以便用单独的监视器连接它
- tprogress用于简单的时间保持,以检查某些操作员(任务)的性能
安装
pip install sdi_utils
SAP Data Intelligence Helper操作员
我创建了一些操作符,这些操作符被重用了几次。也许他们也能为你的管道提供一个快速的解决方案。请注意,它们中的许多在下一个版本中已经过时,特别是当引入了即将出现的vtypes时。在
您可以在src/sdi_utils_operators/中找到所有运算符的源代码。它们是在SAP Data Intelligence实例之外创建的,并且使用gensolution创建了解决方案,然后可以直接上载。但是所有生成的解决方案也可以在文件夹sdi_utils/solution/operators/中找到。在
所有操作符都需要打包在sdi\u utils中的模块,因此您必须至少将其添加到docker映像中。对于其他包,请查看添加到每个操作员的标记。在
以下列表可能不包含在源或解决方案文件夹中找到的所有运算符。因为我无法与我不断创建的操作员同步维护此文档。在
Operator | Description |
---|---|
csv_df | Converts a csv byte/string stream into a pandas DataFrame |
csv_dict | Converts a csv byte/string stream into a list of dictionaries with header as key |
csv_table | Converts a csv byte/string stream into a 2 dimensional array. Used for the beta Hana Operator only. |
df_csv | Converts a DataFrame into a csv-string for saving with WriteFile-operator |
df_table | Converts a DataFrame into a 2 dimensional array with the according attributes used for writing in a HANA Database (Beta-operator |
dict_df | Converts a dictionary into DataFrame |
dict_json | Converts a dictionary into a JSON-string |
dict_table | Converts a dictionary into a 2-dimensional array |
filter_date | When the date is part of the filename (format: yyyy-mm-dd) then files can be selected with dates within the period stated in the configuration |
count_gate | Decision gate that triggers next processing step only after the number stated in the configuration has been reached. The number can also be set dynamically either directly via the limit port or via attribute port. This operator is mostly used to terminate a pipeline. |
HTTPdownload | Downloads the file given in the url |
json_df | Converts a json-string into a DataFrame |
json_df | Converts a json-string into a dictionary |
line_array | Converts a byte-stream into an 1-dimensional array |
table_csv | Converts a 2-dimensional array into a csv. Using the attributes of the beta-type table for the header. |
操作员测试和修改
如果您想测试和修改数据智能之外的运算符并自动创建操作员解决方案,则必须安装vctl和sdi\utils。然后可以在运算符代码的末尾添加以下代码段:
^{pr2}$Github公司
- 项目
标签: