管理CKAN/DCOR的数据存储(导入、符号链接等)
ckanext-dcor-depot的Python项目详细描述
此插件管理数据在DCOR中的存储方式。有两种类型 DCOR中的文件:
- 用户上传的、从figshare导入的资源,或 从存档数据导入
- 资源创建时生成的辅助文件,例如 压缩DC数据,预览图像(请参见 ckanext-dc_view)。在
此插件实现:
数据存储管理。移动用户上载的所有资源 到/data/users-HOSTNAME/USERNAME-ORGNAME/PK/ID/PKGNAME_RESID_RESNAME 符号链接是在/data/ckan-HOSTNAME/resources/RES/OUR/CEID中创建的。 CKAN自己不会注意到这一点。其思想是对文件系统进行概述 关于每个用户的数据集。在
在从figshare导入数据集。figshare的现有数据集是 下载到/data/depots/figshare目录,并根据资源 创建,从^{tt2}符号链接到那里$ (请注意,这是所述数据存储管理的豁免 以上)。运行以下命令时,“figshare import”组织 ,并将figshare_dois.txt中列出的数据集添加到CKAN:
ckan -c /etc/ckan/default/ckan.ini import-figshare
在从内部仓库导入数据集。仓库应该在场 在data/depots/internal/,并遵循目录结构 201X/2019-08/20/2019-08-20_1126_c083de*其中允许的文件名 在这种情况下是
- 2019-08-20_1126_c083de.sha256sums一个包含SHA256和的文件
- 2019-08-20_1126_c083de_v1.rtdc实际测量值
- 2019-08-20_1126_c083de_v1_condensed.rtdc压缩数据集
- 2019-08-20_1126_c083de_ad1_m001_bg.png辅助映像
- 2019-08-20_1126_c083de_ad2_m002_bg.png另一个辅助映像
请确保在/data中授予了必要的文件权限。在
安装
pip install ckanext-dcor_depot
将此扩展添加到中的插件和defaul\u视图ckan.ini公司公司名称:
ckan.plugins = [...] dcor_depot ckan.storage_path=/data/ckan-HOSTNAME ckanext.dcor_depot.depots_path=/data/depots ckanext.dcor_depot.users_depot_name=users-HOSTNAME
此插件将资源存储到/data:
mkdir -p /data/depots/users-$(hostname) chown -R www-data /data/depots/users-$(hostname)
- 项目
标签: