本文系huggingface(
Hugging Face – The AI community building the future.
)旗下Python包transformers 文档(
🤗 Transformers
)的个人学习笔记合集,各部分的具体内容分别撰写博文,本文以超链接的形式构建目录。
transformers是用于在Python人工智能开发过程中便捷调用预训练模型的Python库。可以应用在文本、视觉、多模态下,但由于作者主要致力于NLP方向,因此仅会关注文本方面的工作,尤其是文本摘要相关的工作。而且transformers可以用多种神经网络框架包作为后端,但是由于作者主要使用PyTorch,因此本文会关注PyTorch方向;此外作者也用过TensorFlow;但是JAX等其他框架完全没用过,所以应该也不会写到相关内容。
此外,由于transformers包更新非常快,因此本文所撰写的内容都随时可能过时。作者只能保证在相应部分的内容被撰写时可用。
本文原本的各部分排列顺序为transformers官方文档各部分排列顺序,但是因为文档整个排版都更新了,所以我就直接按照我的笔记撰写的顺序来写了。笔记撰写的顺序是当时的文档排列顺序,随着原文档顺序修改,可能与当下的文档排列顺序不符。
文章目录
Transform
ers
ContentsGET STARTED快速浏览使用管道执行任务Under the hood:
预训练模型
tokenizer预处理使用模型模型的保存和PyTorch 、TensorFlow 相互加载两种模型加载方式(Access
ing
the code)自定义模型安装缓存模型离线模式下载模型和tokenizer,离线使用您想在移动设备上运行
Transform
er 模型吗?Philosophy主要概念词汇表General terms:模型输入:Input IDs
Transfo
下载地址可以在
transform
ers
库对应的 ../site-packages/
transform
ers
/中找到
pytorch_model.bin, config.json, vocab.txt分别在configuration_
bert
.py,model
ing
_
bert
.py,tokenization_
bert
.py中
关于如何找到库在本地的路径,可以查看另一篇博客https://blog.csdn.net/sdywtzymy/article/details/106710134
为方便起见,实际对
### 回答1:
hug
gin
g
face
transform
ers
是一个自然语言处理工具
包
,它提供了各种
预训练模型
和算法,可以用于文本分类、命名实体识别、机器翻译等任务。它支持多种编程语言,
包
括Python、Java、JavaScript等,可以方便地集成到各种应用中。
### 回答2:
Hug
gin
g
Face
Transform
ers
是一款先进的自然语言处理(
NLP
)工具
包
,旨在使
NLP
模型的开发和使用更加容易。它提供了多种预训练的语言模型,如
BERT
、GPT-2和Ro
BERT
a等,这些模型已在许多
NLP
任务中取得了卓越的成果。与之前的语言模型相比,这些模型具有更快的训练速度和更高的精度。
除了提供
预训练模型
之外,
Hug
gin
g
Face
Transform
ers
还提供了一组方便的API,可以轻松地对这些模型进行微调或非监督训练。用户可以很容易地获得预测结果,对文本进行编码和解码,并使用其他功能快速重用现有的
预训练模型
。对于
NLP
开发人员和数据科学家来说,这意味着他们可以更快地建立高质量的
NLP
应用程序,而无需大量时间和资源。
Hug
gin
g
Face
Transform
ers
提供了丰富的
文档
和示例代码,帮助用户更好地理解和使用工具
包
。它还提供了集成到Python环境中的快速部署、计算资源优化和分布式训练的支持。在与其他优秀的开源
NLP
工具配合使用时,
Hug
gin
g
Face
Transform
ers
可以使许多常见的文本分析工作更加容易。
总的来说,
Hug
gin
g
Face
Transform
ers
的出现极大地提高了
NLP
模型的开发效率和准确性,为广大
NLP
从业者带来了便利和贡献。
### 回答3:
Hug
gin
g
face
transform
ers
是一个基于pytorch和tensorflow的自然语言处理开源工具库,旨在为开发人员和研究者提供高效、易用的语言模型开发和训练框架。该库提供了大量的
预训练模型
和常用的
NLP
任务模型,可以帮助开发人员节省训练和调试模型的时间,并提高模型的准确性。
Hug
gin
g
face
transform
ers
的核心是自然语言处理的
Transform
er模型,
包
括
BERT
、GPT、XLNet、Ro
BERT
a等。这些模型在自然语言处理的各种任务中都非常受欢迎,例如问答、文本分类、情感分析、机器翻译等。同时,
Hug
gin
g
face
transform
ers
还提供了一系列的自然语言处理管道,
包
括Tokenization、模型训练、模型推理等。
除了提供现成的
预训练模型
和任务模型之外,
Hug
gin
g
face
transform
ers
还允许用户自定义和训练自己的模型。用户可以使用
Hug
gin
g
face
transform
ers
中提供的组件来构建自己的模型,例如
transform
er层、attention机制等。此外,用户还可以使用
预训练模型
来进行迁移
学习
,只需微调模型就能快速获得较好的性能。
总而言之,
Hug
gin
g
face
transform
ers
是一个非常实用和方便的自然语言处理工具库,它提供了丰富的
预训练模型
和任务模型,可以帮助开发人员和研究者快速地训练和测试自然语言处理模型,并取得更好的性能。