Guanaco是华盛顿大学NLP小组发布的QLoRA方法的预训练结果模型,基于LLaMA微调。包含4个版本:


Guanaco模型名称 Guanaco模型参数量 预训练结果地址
Guanaco 65B 650亿 https://huggingface.co/timdettmers/guanaco-65b
Guanaco 33B 330亿 https://huggingface.co/timdettmers/guanaco-33b
Guanaco 13B 130亿 https://huggingface.co/timdettmers/guanaco-13b
Guanaco 7B 70亿 https://huggingface.co/timdettmers/guanaco-7b


QLoRA是一种非常高效的大模型预训练技术,可以支持在单张专业级显卡微调650亿参数规模的大模型,具有很好的效果。QLoRA技术介绍: https://datalearner.com/blog/1051685029967582