Huggingface的变形金刚的友好分支,为Pythorch语言模型添加了适配器
adapter-transformers的Python项目详细描述
^{1}$ 在
适配器变压器
在
HuggingFace的变形金刚的友好分支,为PyTorch语言模型添加了适配器
adapter-transformers
是HuggingFace's Transformers库的扩展,通过合并AdapterHub将适配器集成到最先进的语言模型中,这是一个预先训练好的适配器模块的中央存储库。在
这个库可以作为拥抱变压器的替代品,并定期同步新的上游变化。在
快速游览
adapter transformers目前支持Python 3.6+和PyTorch 1.1.0+。 在installing PyTorch之后,您可以从PyPI安装adapter transformers。。。在
pip install -U adapter-transformers
。。。或通过克隆存储库从源位置执行以下操作:
^{pr2}$入门
HuggingFace关于Transformers入门的优秀文档可以在here找到。adapter transformers与transformers完全兼容。在
要开始使用适配器,请参阅以下位置:
- Colab notebook tutorials,这是一本系列笔记本电脑,介绍了(适配器)变压器和适配器hub的所有主要概念
- https://docs.adapterhub.ml,我们关于使用adapter transformers
- https://adapterhub.ml探索可用的预培训适配器模块并共享您自己的适配器
- ^这个存储库的{str1}$Examples folder包含了HuggingFace的示例培训脚本,其中许多适合于培训适配器
引文
如果您觉得这个库有用,请引用我们的论文AdapterHub: A Framework for Adapting Transformers:
@inproceedings{pfeiffer2020AdapterHub,
title={AdapterHub: A Framework for Adapting Transformers},
author={Pfeiffer, Jonas and
R{\"u}ckl{\'e}, Andreas and
Poth, Clifton and
Kamath, Aishwarya and
Vuli{\'c}, Ivan and
Ruder, Sebastian and
Cho, Kyunghyun and
Gurevych, Iryna},
booktitle={Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations},
pages={46--54},
year={2020}
}
- 项目
标签: