eds 1.0.5

事件传递系统

事件传递系统（eds）库为 使用谷歌云平台

这个库的主要目的是提供一个统一的接口来处理 跨gcp python api范围的域。

支持的Python版本：3.6、3.7

尺寸建模

eds是围绕一个维度模型构建的，这是一种为数据查询而优化的数据设计技术。 它特别适合查询非常大的排序数据集。

维度模型不同于传统的实体关系模型。 维度模型被非规范化为第二种标准形式，每个事实表（度量）都有一个 与上下文（维度）的一对多关系。

维度模型记录了一系列事实，这些事实被已知的上下文所包围 在测量时为真。

尺寸有三种：

• 模型维度：它们反映了域设计中定义的操作实体。 例如，处理汽车租赁的软件可能会定义一个car实体， 以及一些用来记录客户的用户实体。这些类通常是模型维度， 或者只是尺寸（d）。它们存在于bigquery、cloudsql和数据存储中。
• 退化维度：仅与事实一起存在的维度称为退化维度 尺寸（DD）。例如，将租来的汽车归还车站时，其状态只能是 车还回来的时候就知道了。这些DDS仅存在于数据存储中。
• 生成维度：这些是静态维度，我们为它们生成一组数据。 例如，时间或天是确定的，永远不会改变。生成尺寸（GD） 在bigquery、cloudsql和数据存储中预填充。

模式定义

维度和事实是使用yaml格式的schema.yaml文件定义的。

默认情况下，此文件在调用脚本的根目录中查找。 这可以通过设置环境变量来覆盖。

加载维度和事实：

fromeds.configimportschemaschema.DIMENSIONSschema.FACTS

尺寸

尺寸在尺寸全局部分下定义：

dimensions:-name:DimensionKindkey:dimension_idancestor:kind:ParentKindlookup:"{parent_id}"relatives:-kind:RelativeKindlookup:"{relative_id}"-kind:SecondRelativeKindlookup:"{second_relative_id}"model_based:truekey_field:dimension_keyid_fields:-dimension_idindex_fields:-dimension_idschema:-{name:dimension_key, type:INTEGER, mode:REQUIRED}-{name:dimension_id, type:INTEGER}-{name:dimension_name, type:STRING}-{name:archived, type:BOOLEAN}-{name:timestamp, type:TIMESTAMP}

维度具有以下参数：

• 名称-数据存储种类
• 键-用于唯一标识维度的ID。它也被用作 在bigquery和cloudsql中创建的表。
• 祖先-为了确保数据存储的强一致性，在 实体组。此字段定义此组的种类，以及如何定位它。 查找字段可以是一个sinple字符串（当祖先是unque时），一个简单的查找模式 （例如：{property}，根据属性值定位实体）和多重查找 模式（例如：{property_1}，{property_2}，根据多个属性定位实体）。 此参数是可选的
• 亲属-对于依赖于其他关系存在的维度，定义了从属关系 作为亲戚。每个亲戚都有一个类和查找字段，其含义与 祖先查找。 此参数是可选的
• 基于模型-定义维度是否基于操作实体的标志。 将此参数设置为false会将维度标记为已生成。 此参数是可选的
• 键字段-维度的代理键字段的名称。 此参数对于基于模型的尺寸是必需的
• id_fields-维度的操作ID字段。 此参数对于基于模型的尺寸是必需的
• 索引字段-要索引的维度字段列表，包括在数据存储区和cloudsql中。 此参数是可选的
• 架构-维度的字段。 此参数对于基于模型的尺寸是必需的

facts:-name:factschema:-{name:day_key, type:INTEGER, required:Yes}-{name:time_key, type:INTEGER, required:Yes}-{name:dimension_key, type:INTEGER, required:Yes}-{name:timestamp, type:TIMESTAMP, required:Yes}-{name:fact, type:FLOAT, required:Yes}

fromeds.configimportschemafromeds.bigqueryimportBigQuerybigquery=BigQuery()dimension=schema.DIMENSIONS['dimension_id']bigquery.create_table(dataset='dimensions',recreate=False,schema=dimension.schema,table_name=dimension.key)bigquery.update_table(dataset='dimensions',schema=dimension.schema,table_name=dimension.key)

fromeds.dbimportConnectionfromeds.cloudsqlimportCloudSQLconnection=Connection(db_engine_url='DB_ENGINE_URL')cloudsql=CloudSQL(connection=connection)

fromeds.configimportschemadimension=schema.DIMENSIONS['dimension_id']cloudsql.create_table(table=dimension.tables[dimension.key],recreate=False)

character_set_server = utf8mb4

SET NAMES utf8mb4 COLLATE utf8mb4_unicode_ci;

payload=[{'dimension_key':123,'dimension_id':364577,'dimension_name':'D123','archived':False,'timestamp':'2018-11-02T12:01:05.571694+00:00',},]bigquery.load(dataset='dimensions',table_name=dimension.key,schema=dimension.schema,payload=payload)cloudsql.load(table=dimension.tables[dimension.key],payload=payload)

fromeds.configimportschemaschema.DIMENSIONSschema.FACTS

fromeds.configimportschemaschema.DIMENSIONSschema.FACTS

fromeds.configimportschemaschema.DIMENSIONSschema.FACTS

fromeds.configimportschemaschema.DIMENSIONSschema.FACTS