与 Meta 一样，IBM 认为，可行开放模型的可用性有助于产生更好、更安全的产品，加速创新，并有助于打造整体健康的 AI 市场。复杂的 405B 参数开源模型的规模和功能为各种规模的组织提供了独特的机会和用例。
除了直接使用模型进行推理和文本生成（鉴于其大小和相应的计算需求，可能需要量化或其他优化方法才能在大多数硬件设置上本地运行），405B 还可用于：
-
合成数据生成：
当用于预训练、微调或指令微调的合适数据稀缺或过于昂贵时，
合成数据
可以弥补这一差距。405B 可以生成高质量的特定于任务和领域的合成数据，用于训练另一个 LLM。IBM 的
聊天机器人的大规模对齐 (LAB)
是一种分阶段训练协议，用于使用合成数据高效更新 LLM，同时保留模型的现有知识。
-
知识提炼：
405B 模型的知识和涌现能力可以
提炼到更小的模型
中，从而将大型“教师”模型的功能与“学生”模型（例如 8B 或 70B Llama 3.1）的快速且经济有效的推理相结合。知识提炼，特别是通过对大型 GPT 模型生成的合成数据进行
指令微调
，对于创建像
Alpaca
和
Vicuna
这样基于 Llama 的有影响力的模型至关重要。
-
LLM 即评判者：
由于人类偏好的主观性以及现有基准在近似这些偏好方面能力有限，评估 LLM 可能颇具挑战。例如，正如
Llama 2 研究论文
中所示，较大的模型可以作为其他模型响应质量的公正评判者。（有关 LLM 即评判者技术功效的更多信息，可以从这篇
2023 年的论文
开始了解。）
-
特定于领域的强大微调：
许多领先的闭源模型仅在个案基础上、仅针对较旧或较小版本或完全不允许进行
微调
。相反，Meta 使 Llama 3.1-405B 完全可用于持续预训练（以保持模型获得最新的通用知识）或在特定领域进行微调，该功能即将在 watsonx
Tuning Studio
中推出。
为了成功推出 Llama 3.1 模型，Meta AI“强烈建议”使用像
IBM® watsonx
这样的平台来提供
模型评估
、
安全防护栏
和
检索增强生成 (RAG)
的核心功能。
对于所有经过预训练和指令微调的 Llama 3.1 模型，上下文长度已从 Llama 3 中的 8,192 个词元扩大到 Llama 3.1 中的 128,000 个词元，增幅高达 1600%。这使得 Llama 3.1 的上下文长度与提供给企业用户的 GPT-4o 版本的上下文长度相同，明显大于 GPT-4（或 ChatGPT Free 中的 GPT-4o 版本），相当于 Claude 3 提供的 200,000 词元窗口。由于 Llama 3.1 可以在用户选择的硬件或云供应商平台上部署，因此在需求旺盛期，
其上下文长度不会受到临时限制
。同样，Llama 3.1 通常不受宽泛的
使用限制
约束。
模型的上下文长度（也称为上下文窗口）是指 LLM 在任何给定时间可以考虑或“记住”的文本总量（以词元为单位）。当对话、文档或代码库超过模型的最大上下文长度时，必须进行修剪或汇总，模型才能继续处理。Llama 3.1 扩展了上下文窗口，这意味着 Llama 模型现在可以进行更长的对话而不会忘记细节，并可在训练和推理过程中采集更大的文档或代码样本。
尽管
将文本转换为词元
并不需要任何固定的词到词元“转换率”，但一个合适的估计值是每个词大约 1.5 个词元。因此，Llama 3.1 的 12.8 万个词元上下文窗口相当于大约 85,000 个词。Hugging Face 的
Tokenizer Playground
是一种简单的途径，来查看和试验不同的模型如何对文本输入进行词元化处理。
Llama 3.1 模型继续享有为 Llama 3 推出的新词元生成器的优势，它对语言进行编码的效率比 Llama 2 高得多。
秉承
负责任创新的理念
，Meta 在扩展上下文长度方面采取了审慎而周全的策略。值得注意的是，之前的开源实验已经产生了
128,000 个词元窗口
，甚至
100 万个词元窗口
的 Llama 衍生模型。尽管这些项目是 Meta 对开放模型承诺带来优势的绝佳案例，但仍应谨慎对待：
最近研究
表明，在没有严格对策的情况下，非常长的上下文窗口“为 LLM 提供了丰富的新攻击面”。
幸运的是，Llama 3.1 版本还包含了一套新的推理防护机制。除了
Llama Guard
和
CyberSec Eval
的更新版本外，此次发布还引入了 Prompt Guard，该工具可提供直接和间接的提示注入过滤。Meta 通过
CodeShield
提供进一步的风险缓解，CodeShield 是一款强大的推理时过滤工具，旨在防止 LLM 生成的不安全代码进入生产系统。
与生成式 AI 的任何实施一样，在具有
强大的安全、隐私和保障措施
的平台上部署模型，始终是明智之举。
Meta 的最新版本提供了一个前所未有的机会，您可以根据特定用例调整和定制真正尖端的生成式 AI 模型。
IBM 致力于进一步推动 AI 领域的开源创新，并让我们的客户能够访问 watsonx 中的同类最佳开放模型，包括第三方模型和
IBM Granite
模型系列，而对 Llama 3.1 的支持是其中的一部分。
IBM watsonx 可帮助客户以最符合自身需求的方式真正定制 Llama 3.1 等开源模型的实施，从在本地或其首选云环境中灵活部署模型，到用于微调、提示工程以及
与企业应用程序集成
的直观工作流程。为您的企业即时构建定制的 AI 应用程序，管理所有数据源，并加快负责任的 AI 工作流，而所有这些任务均可在一个平台上完成。
Llama 3.1-405B 将于今日在 IBM watsonx.ai 上推出，8B 和 70B 型号也将很快推出。
立即开始学习 RAG 教程，以使用 Llama 3.1-405B 和 watsonx.ai：
