Vicuna 正在参加 2021 年度 OSC 中国开源项目评选 ,请投票支持!
Vicuna 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾

为了确保数据质量,开发团队将 HTML 转换回 markdown 并过滤掉一些不合适或低质量的样本。 以及将冗长的对话分成更小的部分,以适应模型的最大上下文长度。其训练方法建立在 Stanford Alpaca 的基础上,并进行了以下改进:

  • 内存优化: 为了使 Vicuna 能够理解长上下文,开发团队将最大上下文长度从 Alpaca 中的 512 扩展到 2048,大大增加了 GPU 内存需求。 通过利用 utilizing gradient checkpointing flash attention 来解决内存压力。
  •