通用多任务分类库
octopod的Python项目详细描述
章鱼
深度学习lib库是由SubSunRead数据科学团队开发的一种通用的深度学习库,用于训练多任务图像、文本或集成(图像+文本)模型。在
我们库的不同之处在于,您可以为每个任务使用不同的数据集训练多任务模型。例如,你可以训练一个模特为连衣裙标注裙子长度,为裤子标注裤子长度。在
有关详细信息,请参阅docs。在
要快速入门,请查看notebooks
文件夹中的一篇教程。尤其是,synthetic_data
教程提供了一个非常快速的代码工作方式示例。在
注7/08/20:我们将此存储库重命名为Octopod(以前称为Tonks)。名为Tonks的PyPI库的最新版本不会中断,但会警告用户开始安装和使用Octopod。不会继续以唐克斯的名义进行进一步的开发。在
注6/12/20:我们的团队以前有用哈利波特系列中的术语或人物来命名项目的传统,但我们对J.K.罗琳持续不断的异端言论感到失望。作为回应,我们将重新命名这个存储库,并致力于开发一个包容性的解决方案,最大限度地减少对用户的干扰。在
结构
notebooks
fashion_data
:一组笔记本,演示如何在由图像和文本描述组成的开源时尚数据集上训练八足动物模型synthetic_data
:一组笔记本,演示如何在一组生成的色板上训练八足动物模型。这是一个简单快速的演示库的功能,可以在CPU上运行
octopod
ensemble
:文本和视觉模型的集成模型代码text
:使用BERT架构的文本模型的代码vision
:使用ResNet50架构的视觉模型的代码
安装
pip install octopod
如果没有安装Rust编译器,tokenizer
包可能会出错;请参见https://github.com/huggingface/transformers/issues/2831#issuecomment-592724471。在
注释
目前,这个库支持ResNet50和BERT模型。在
在我们的一些文档中,pretrained
和{pretrained
是我们对八足动物模型的简写,这些模型已经过至少一次训练,因此它们的权重已经针对特定的用例进行了调整。vanilla
是我们对来自transformers
或{
对于使用文本模型的示例,我们使用由huggingface管理的transformers存储库。最新版本称为transformers
。huggingface回购是检查BERT文件和程序的适当场所。在
发展
想在Octopod中添加或修复问题?我们欢迎外界的意见,并努力使之更易于测试。您可以使用以下命令在docker容器中运行所有内容:
^{pr2}$许可证
版权所有(c)2020,ShopRunner
在满足以下条件的前提下,允许以源代码和二进制格式重新分发和使用,无论是否修改:
- 在
重新分发源代码必须保留上述版权声明、此条件列表和以下免责声明。在
在 - 在
以二进制形式重新分发必须复制上述版权声明、此条件列表以及随分发提供的文档和/或其他材料中的以下免责声明。在
在 - 在
未经事先明确的书面许可,版权所有人或其贡献者的姓名均不得用于认可或推广由本软件衍生的产品。在
在
本软件由版权所有人和贡献者“按原样”提供,以及任何明示或暗示的保证,包括但不限于对适销性的默示保证不承认对特定目的的适用性。在任何情况下,版权持有人或贡献者对任何直接、间接、偶然、特殊、惩戒性或后果性损害(包括但不限于采购替代货物或服务;使用、数据或利润损失;或业务中断)概不负责,无论是在合同中还是根据任何责任理论,如因疏忽或其他原因造成的任何侵权行为。在
- 项目
标签: