bas-metadata-library 0.2.2

BAS元数据库

用于生成元数据记录的python库。

目的

此库旨在帮助生成元数据记录以发现数据集。作为图书馆，这个 包旨在嵌入到其他工具和服务中，以避免实现 特定元数据标准的复杂性和详细性。

这个图书馆是根据英国南极调查局和NERC极地数据中心的需要而建的。这只意味着 支持BAS或英国PDC使用的标准和这些标准的要素。能够实现此目的的附加功能 图书馆对其他人有用，欢迎作为贡献。

支持的标准

支持的配置文件

安装

此软件包可以使用pip从pypi安装

$ pip install bas-metadata-library

用法

生成ISO 19115元数据记录并将其作为XML文档返回：

importmetadata_configsfrombas_metadata_library.standards.iso_19115_v1importMetadataRecordConfigasISO19115MetadataRecordConfig, \
    MetadataRecordasISO19115MetadataRecordconfiguration_object=metadata_config.recordconfiguration=ISO19115MetadataRecordConfig(**configuration_object)record=ISO19115MetadataRecord(configuration)document=record.generate_xml_document()# output documentprint(document)

其中，metadata_configs.record是实现bas元数据通用模式的python字典，记录在 BAS元数据标准项目。

HTML实体

不要将HTML实体包含在此生成器的输入中，因为它将由lxml进行双重转义。 底层XML处理库。

这意味着>；的html实体>；将再次转义到&；gt；中，这将不正确 解码时解释。相反，应该使用文本字符（例如>；），如果需要，lxml将转义该字符。

这适用于任何Unicode字符，例如重音符号（例如_）和符号（例如μ）。

实施

此库包含一组基类，用于从配置对象生成基于XML的元数据记录。

每个支持的标准实现这些类，以在 标准配置，使用配置对象中的值或计算值。

配置对象是一个python dict，其属性和值包括是否需要它们或 由ajson模式定义和验证

每个元数据标准的类将有效根据相关的json模式创建配置对象，创建 元素的XML树，并将树导出为XML文档。XML是使用lxml生成的。

有关所有标准中使用的基类和 如何添加新标准

设置

$ git clone https://gitlab.data.bas.ac.uk/uk-pdc/metadata-infrastructure/metadata-generator.git
$ cd metadata-generator

当地发展

需要docker和docker compose才能设置此应用程序的本地开发环境。

本地开发-docker compose

如果您可以访问bas gitlab实例 来自BAS Docker注册表的图像。否则您需要在本地建立Docker映像。

# If you have access to gitlab.data.bas.ac.uk
$ docker login docker-registry.data.bas.ac.uk
$ docker-compose pull
# If you don't have access
$ docker-compose build

使用Flask Development Server运行应用程序（如果源文件发生更改，将自动重新加载）：

$ docker-compose up

对烧瓶应用程序运行其他命令（例如集成测试）rel="nofollow">集成测试）：

# in a separate terminal to `docker-compose up`
$ docker-compose run app flask [command]# E.g.
$ docker-compose run app flask test# List all available commands
$ docker-compose run app flask

分期和生产

TerraForm用于提供在登台和生产环境中操作此应用程序所需的资源。

这些资源允许外部访问每个标准的配置模式。

提供这些资源需要访问bas aws帐户。

注意：此设置本应已执行（并在全局应用）。如果对此进行了更改 设置只需应用一次。

# start terraform inside a docker container
$ cd provisioning/terraform
$ docker-compose run terraform
# setup terraform
$ terraform init
# apply changes
$ terraform validate
$ terraform fmt
$ terraform apply
# exit container
$ exit
$ docker-compose down

Teraform远程状态

此项目的状态信息使用 后端

特别是作为 bas terraform remote state项目。

运行terraform init时，远程状态存储将自动初始化。对远程状态的任何更改都将 自动保存到远程后端，无需推送或拉取更改。

远程状态认证

此项目的读取和/或写入远程状态信息的权限仅限于授权用户。接触 bas web&applications团队请求访问。

请参阅bas terraform remote state项目了解这些 对远程状态的权限是强制的。

开发

这个api是作为一个python库开发的。捆绑烧瓶应用程序用于模拟其使用并充当 运行测试等的框架。

库基类

bas_metadata_library模块为每个标准定义一系列模块（在bas_metadata_library.standards中） 以及跨所有标准使用的、提供通用功能的基类。参见现有标准 如何使用。

配置模式

此库接受每个元数据记录的"配置"。它包含元素的值，或 用于计算值。例如，一个标题元素将使用直接从记录配置中获取的值。

为了确保包含所有必需的配置属性，并且在相关的情况下允许其值，请执行以下操作 根据架构验证配置。此模式使用json模式标准。

这些模式可通过BAS元数据标准网站从外部获得 元数据标准.data.bas.ac.uk。这允许：

1. 希望确保其输出与此库兼容的其他应用程序，但这些应用程序不兼容或不能兼容 自己使用这个库（即如果他们不使用python）
2. 允许模式继承/扩展（用于从其他标准（如配置文件）继承的标准）

定制的flask cli命令output config schemas用于从各种标准生成这些模式文件 受此项目支持。它将为build/config_schemas中的每个配置模式创建json文件。这些是 然后通过持续部署上传到元数据标准网站

注意：在此存储库中忽略生成目录及其包含的架构。输出的模式是 被认为是短暂的，从这个库中的模块重新创建应该很简单。模式的模块版本动作 作为真理的源泉，因为它们用于执行验证。

添加新标准

添加新标准：

1. 在bas_metadata_library.standards-例如bas_metadata_library.standards.foo/\uu init_uuu.py
2. 在此模块中，根据需要重载命名空间、元数据记录配置和元数据记录类，确保 在metadatarecordconfig中包含适当的模式属性
3. 定义一系列测试配置（例如最小、典型和完整），以便在 测试/config.py
4. 使用为新标准生成测试记录的路径更新app.py中的内置烧瓶应用程序
5. 使用内置的烧瓶应用程序生成测试记录并保存到测试/resources/records/[标准]
6. 添加相关的集成测试，包括测试每个元数据元素类的方法，以及 生成的记录与tests/resources/records/[标准]中保存的测试记录匹配

代码样式

此项目必须使用PEP-8样式和格式指南，但80个字符的行限制除外。

flake8用于确保遵从性，并在每次提交时运行 连续集成

要在本地检查符合性：

$ docker-compose run app flake8 . --ignore=E501

依赖关系

python依赖项应该通过requirements.txt文件使用pip定义。Docker镜像配置为 将这些依赖项安装到应用程序映像中，以实现不同环境之间的一致性。依赖项应该 随着新版本的发布，定期对其进行审查和更新。

添加新依赖项：

$ docker-compose run app ash
$ pip install [dependency]==# this will display a list of available versions, add the latest to `requirements.txt`
$ exit
$ docker-compose down
$ docker-compose build

如果您有权访问bas gitlab实例，请将重建的docker映像推送到bas docker注册表：

$ pip install bas-metadata-library

$ pip install bas-metadata-library

$ pip install bas-metadata-library

$ pip install bas-metadata-library

$ pip install bas-metadata-library

$ pip install bas-metadata-library