红砖平台python SDK!
redbrick-sdk的Python项目详细描述
简介
这是一个SDK,它使与RedBrick平台的集成尽可能简单。这包括上传和下载数据 以及使您的数据集便于培训。使用此SDK可以在运行代码的任何位置访问数据和标签。无论是在云端,还是在本地使用Jupyter笔记本。在
这个存储库远未完成功能,正在积极开发中。如果遇到任何问题或有建议,请随时在github上或在mailto:support@redbrickai.com上提交问题。在
快速启动
在上创建帐户后app.redbrickai.com网站你说
pip install --upgrade redbrick-sdk
在使用SDK之前,您需要获得API密钥。在
^{pr2}$现在所有的图像及其标签都在内存中。现在您只需要将这些数据插入机器学习框架。在
火炬
Pythorch有一个可以子类化的Dataset类。这可用于连接红砖标签集中的数据 为你的模型训练或推理。在
https://pytorch.org/tutorials/beginner/data_loading_tutorial.html
fromtorch.utils.dataimportDatasetclassExampleRedbrickTorchDataset(Dataset):"""A convenient way to train with pytorch using your data hosted on redbrick."""def__init__(self,rb_loader,transforms=None)->None:"""Construct RedbrickTorchDataset."""self.loader=rb_loaderself.transforms=transformsdef__len__(self):"""Get the number of datapoints available."""returnself.loader.number_of_datapoints()def__getitem__(self,idx):"""Get a specific item."""item=self.loader[idx]ifself.transforms:item=self.transforms(item)returnitem
然后,可以将此数据集与Pythorch DataLoader一起用于批处理。在
注意:为了从redbricksdk数据点格式转换数据,需要实现适当的转换 不管你的模型期望什么格式。在
张量流
TODO:tf.data
的引用实现
- 项目
标签: