斯纳克枢纽。
hub-dataflow的Python项目详细描述
数据流·
集线器数据流原型设计
设置
- 安装程序包
> pip3 install git+https://github.com/snarkai/dataflow@v0.2.2
确保按照image_io.py的要求安装gdal和opencv
- 在本地文件夹中设置凭据，不要忘记将其放入.gitignore
- 入门示例
from dataflow import hub
import torch
hub.init()
df = hub.agmri().get_polygons_by_type(hub.agmri.UIUC_ENDROW, max=1)
ds = hub.polygon_sampler(df, sample_count=32, shape=(1024,1024,4))
ds[0]
故障排除
安装GDAL和OpenCV
如果它在gdal或opencv上抛出错误，请手动安装它们
./bin/prepare.sh
./bin/gdal.sh
./bin/opencv.sh
凭证示例
intelinair文件应该如下所示
[default]
aws_access_key_id = ...
aws_secret_access_key = ...
region = us-east-1
agmri.cfg
[production]
admin_username = ...
admin_password = ...
已知问题
[]凭据在存储位置不灵活
推出新版本
git commit -a -m 'current changes'
git tag -a 'v0.2.2' -m 'some message here'
git push origin 'v0.2.2'
自动化集成测试
要在git push之前运行pytest，我们需要使用以下内容创建.git/hooks/pre-push文件：
#!/bin/bash
docker-compose run test
并使其可执行
chmod +x .git/hooks/pre-push
每次更新时也一样要求.txt以及选项.txt请重新生成测试
docker-compose build test
格式化和线切割
Hub使用Black和Flake8来确保整个项目中代码格式的一致性。 替换.vscode/设置.json内容如下：
{
"[py]": {
"editor.formatOnSave": true
},
"python.formatting.provider": "black",
"python.linting.flake8Enabled": true,
"python.linting.flake8Path": "flake8",
"python.linting.flake8Args": [
"--max-line-length=80",
"--select=B,C,E,F,W,B950",
"--ignore=E203,E501,W503"
],
"python.linting.pylintEnabled": false,
"python.linting.enabled": true,
}
- 项目
标签：
欢迎加入QQ群-->： 979659372
