Guanaco基础大模型详细信息 | 数据学习(DataLearner)

相关文章推荐

聪明的冰棍 · Navicat for Sqlite ...· 6 月前 ·

刚毅的灭火器 · 通过V$SESSION视图查看当前数据库会话 ...· 6 月前 ·

卖萌的烤土司 · 【【专家观点】东数西算高楼渐起——全国算力一 ...· 6 月前 ·

时尚的蜡烛 · AWS DMS 数据验证 - AWS ...· 6 月前 ·

温柔的黄花菜 · mysql怎么根据逗号将一行数据拆分成多行数 ...· 6 月前 ·

爱搭讪的蚂蚁 · 中国首位判死刑的千亿富豪，曾想花500亿买命 ...· 11 月前 ·

礼貌的罐头 · 用电量“一高一低”折射产业升级之势---国家能源局· 11 月前 ·

温暖的酱牛肉 · 智慧养老、医养结合、社区互助，榆林多举措全方 ...· 1 年前 ·

帅气的领带 · 滨江浦沿：家门口就能上好学校· 1 年前 ·

温暖的凉面 · word翻译文档功能突然用不了了 - ...· 1 年前 ·

Guanaco是华盛顿大学NLP小组发布的QLoRA方法的预训练结果模型，基于LLaMA微调。包含4个版本：

Guanaco模型名称	Guanaco模型参数量	预训练结果地址
Guanaco 65B	650亿	https://huggingface.co/timdettmers/guanaco-65b
Guanaco 33B	330亿	https://huggingface.co/timdettmers/guanaco-33b
Guanaco 13B	130亿	https://huggingface.co/timdettmers/guanaco-13b
Guanaco 7B	70亿	https://huggingface.co/timdettmers/guanaco-7b

QLoRA是一种非常高效的大模型预训练技术，可以支持在单张专业级显卡微调650亿参数规模的大模型，具有很好的效果。QLoRA技术介绍： https://datalearner.com/blog/1051685029967582

推荐文章

聪明的冰棍 · Navicat for Sqlite 合并两个相同的数据库（扩充数据库内容）_sqlite_程序小小说-DAMO开发者矩阵

6 月前

刚毅的灭火器 · 通过V$SESSION视图查看当前数据库会话信息-云原生数据库 PolarDB-阿里云

6 月前

卖萌的烤土司 · 【【专家观点】东数西算高楼渐起——全国算力一张网东西协同一盘棋】-国家发展和改革委员会

6 月前

时尚的蜡烛 · AWS DMS 数据验证 - AWS 数据库迁移服务

6 月前

温柔的黄花菜 · mysql怎么根据逗号将一行数据拆分成多行数据 - 开发技术 - 亿速云

6 月前

爱搭讪的蚂蚁 · 中国首位判死刑的千亿富豪，曾想花500亿买命，法院：注射死刑_看看头条_中华网

11 月前

礼貌的罐头 · 用电量“一高一低”折射产业升级之势---国家能源局

11 月前

温暖的酱牛肉 · 智慧养老、医养结合、社区互助，榆林多举措全方位提升老年人生活质量_腾讯新闻

1 年前

帅气的领带 · 滨江浦沿：家门口就能上好学校

1 年前

温暖的凉面 · word翻译文档功能突然用不了了 - Microsoft Community

1 年前