诸神缄默不语-个人CSDN博文目录

本文系huggingface( Hugging Face – The AI community building the future. )旗下Python包transformers 文档( 🤗 Transformers )的个人学习笔记合集,各部分的具体内容分别撰写博文,本文以超链接的形式构建目录。
transformers是用于在Python人工智能开发过程中便捷调用预训练模型的Python库。可以应用在文本、视觉、多模态下,但由于作者主要致力于NLP方向,因此仅会关注文本方面的工作,尤其是文本摘要相关的工作。而且transformers可以用多种神经网络框架包作为后端,但是由于作者主要使用PyTorch,因此本文会关注PyTorch方向;此外作者也用过TensorFlow;但是JAX等其他框架完全没用过,所以应该也不会写到相关内容。
此外,由于transformers包更新非常快,因此本文所撰写的内容都随时可能过时。作者只能保证在相应部分的内容被撰写时可用。
本文原本的各部分排列顺序为transformers官方文档各部分排列顺序,但是因为文档整个排版都更新了,所以我就直接按照我的笔记撰写的顺序来写了。笔记撰写的顺序是当时的文档排列顺序,随着原文档顺序修改,可能与当下的文档排列顺序不符。

  1. 本文中所介绍transformers文档中的视频都是YouTube源,因此有一些读者可能没法看。
  2. transformers文档各部分的内容都可以通过 transformers官方的notebooks 进行实战代码训练,其中colab的代码一些读者可能没法上,但是SageMaker Studio的代码是在大陆可以直接加载的。
  3. 本文中较靠后的博文,可能有些内容是以假设读者阅读过此前博文为前提来撰写的。如果您在阅读过程中出现了由于前提知识不足而产生的理解问题,可以给我留下评论,我会写明对应前提知识的对应资料。
  1. transformers介绍:
    网址: https://huggingface.co/docs/transformers/master/en/index
    transformers是适用于 PyTorch TensorFlow JAX 的机器学习包,可用于下载和训练预训练模型。用预训练模型比从0开始训练模型更好(可以减少计算代价和时间、减少碳足迹之类的)。
  2. huggingface.transformers速成笔记:Pipeline推理和AutoClass 对应的原文档网页:
    1. https://huggingface.co/docs/transformers/master/en/quicktour
    2. https://huggingface.co/docs/transformers/master/en/pipeline_tutorial
    3. https://huggingface.co/docs/transformers/master/en/autoclass_tutorial
  3. huggingface.transformers安装教程 对应的原文档网页: https://huggingface.co/docs/transformers/master/en/installation
  4. huggingface.transformers哲学 对应的原文档网页: https://huggingface.co/docs/transformers/master/en/philosophy
  5. huggingface.transformers术语表 对应的原文档网页: https://huggingface.co/docs/transformers/master/en/glossary

    https://huggingface.co/docs/transformers/main/en/preprocessing 部分学习笔记与其他部分进行了融合,未单独成文,如有特别对本部分感兴趣的读者可着意参考 huggingface.transformers速成笔记:Pipeline推理和AutoClass huggingface.transformers术语表 这两篇笔记。
  6. huggingface.transformers任务简介 对应的原文档网页: https://huggingface.co/docs/transformers/main/en/task_summary
  7. 用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型 对应的原文档网页: https://huggingface.co/docs/transformers/main/en/training

    https://huggingface.co/docs/transformers/main/en/run_scripts 这篇文档介绍的是如何运行transformers官方GitHub项目中的脚本,主要介绍了不同设置下的参数、代码名字对应的含义、用accelerate加速、在正式运行之前先用小规模数据进行测试的精神、保存checkpoint继续训练
  8. 用huggingface.Accelerate进行分布式训练 对应的原文档网页: https://huggingface.co/docs/transformers/main/en/accelerate
  9. 用huggingface.transformers.AutoModelForTokenClassification实现命名实体识别任务 对应的原文档网页: https://huggingface.co/docs/transformers/tasks/token_classification
文章目录 Transform ers ContentsGET STARTED快速浏览使用管道执行任务Under the hood: 预训练模型 tokenizer预处理使用模型模型的保存和PyTorch 、TensorFlow 相互加载两种模型加载方式(Access ing the code)自定义模型安装缓存模型离线模式下载模型和tokenizer,离线使用您想在移动设备上运行 Transform er 模型吗?Philosophy主要概念词汇表General terms:模型输入:Input IDs Transfo
下载地址可以在 transform ers 库对应的 ../site-packages/ transform ers /中找到 pytorch_model.bin, config.json, vocab.txt分别在configuration_ bert .py,model ing _ bert .py,tokenization_ bert .py中 关于如何找到库在本地的路径,可以查看另一篇博客https://blog.csdn.net/sdywtzymy/article/details/106710134 为方便起见,实际对
### 回答1: hug gin g face transform ers 是一个自然语言处理工具 ,它提供了各种 预训练模型 和算法,可以用于文本分类、命名实体识别、机器翻译等任务。它支持多种编程语言, 括Python、Java、JavaScript等,可以方便地集成到各种应用中。 ### 回答2: Hug gin g Face Transform ers 是一款先进的自然语言处理( NLP )工具 ,旨在使 NLP 模型的开发和使用更加容易。它提供了多种预训练的语言模型,如 BERT 、GPT-2和Ro BERT a等,这些模型已在许多 NLP 任务中取得了卓越的成果。与之前的语言模型相比,这些模型具有更快的训练速度和更高的精度。 除了提供 预训练模型 之外, Hug gin g Face Transform ers 还提供了一组方便的API,可以轻松地对这些模型进行微调或非监督训练。用户可以很容易地获得预测结果,对文本进行编码和解码,并使用其他功能快速重用现有的 预训练模型 。对于 NLP 开发人员和数据科学家来说,这意味着他们可以更快地建立高质量的 NLP 应用程序,而无需大量时间和资源。 Hug gin g Face Transform ers 提供了丰富的 文档 和示例代码,帮助用户更好地理解和使用工具 。它还提供了集成到Python环境中的快速部署、计算资源优化和分布式训练的支持。在与其他优秀的开源 NLP 工具配合使用时, Hug gin g Face Transform ers 可以使许多常见的文本分析工作更加容易。 总的来说, Hug gin g Face Transform ers 的出现极大地提高了 NLP 模型的开发效率和准确性,为广大 NLP 从业者带来了便利和贡献。 ### 回答3: Hug gin g face transform ers 是一个基于pytorch和tensorflow的自然语言处理开源工具库,旨在为开发人员和研究者提供高效、易用的语言模型开发和训练框架。该库提供了大量的 预训练模型 和常用的 NLP 任务模型,可以帮助开发人员节省训练和调试模型的时间,并提高模型的准确性。 Hug gin g face transform ers 的核心是自然语言处理的 Transform er模型, BERT 、GPT、XLNet、Ro BERT a等。这些模型在自然语言处理的各种任务中都非常受欢迎,例如问答、文本分类、情感分析、机器翻译等。同时, Hug gin g face transform ers 还提供了一系列的自然语言处理管道, 括Tokenization、模型训练、模型推理等。 除了提供现成的 预训练模型 和任务模型之外, Hug gin g face transform ers 还允许用户自定义和训练自己的模型。用户可以使用 Hug gin g face transform ers 中提供的组件来构建自己的模型,例如 transform er层、attention机制等。此外,用户还可以使用 预训练模型 来进行迁移 学习 ,只需微调模型就能快速获得较好的性能。 总而言之, Hug gin g face transform ers 是一个非常实用和方便的自然语言处理工具库,它提供了丰富的 预训练模型 和任务模型,可以帮助开发人员和研究者快速地训练和测试自然语言处理模型,并取得更好的性能。
Re48:读论文 kNN-LMs Generalization through Memorization: Nearest Neighbor Language Models CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天值得看】榜单,全部的排名请看 https://bbs.csdn.net/topics/617287909。 PyTorch的可复用代码模板(持续更新ing...) Suensan_ZFow: 在GPU训练的模型只能在GPU上测试 用huggingface.transformers.AutoModelForTokenClassification实现命名实体识别任务 是咕咕咕呀: Re9:读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information 阿莫西和莫西: 谢谢答复,确实作者也提到本来想用邻接矩阵的,却还没有独热编码好,只能说玄学了。结构的信息看上去只有loss里面会有体现,但这种倒是很少见,没在网络中学结构信息。 漫画算法做题笔记 CSDN-Ada助手: 哇, 你的文章质量真不错,值得学习!不过这么高质量的文章, 还值得进一步提升, 以下的改进点你可以参考下: (1)提升标题与正文的相关性。