现在为什么那么多人以清华大学的ChatGLM-6B为基座进行试验？

随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、 ChatSQL 等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom衍生的大模型（Bloomz、BELLE、Phoenix等）。其中，ChatGLM-6B主要以中英双语进行训练，LLaMA主要以英语为主要语言的拉丁语系进行训练，而Bloom使用了46种自然语言、13种编程语言进行训练。

个人觉得，ChatGLM-6B相对于LLaMA-7B、BLOOMZ-7B1来说，具有如下优势：

• 裸测中文效果最好（注意：裸测效果最好不代表在指定任务上进行微调后效果也最佳）。
• 模型参数量更小（62亿），理论上，占用的GPU显存更小和模型推理性能更好。
• 词表基于中英双语构建，更聚焦。
• 即便是LLaMA表现出了极大地跨语言能力，但是碍于LLaMA词表中的中文Token较少，它的解码效率相对ChatGLM-6B、BLOOMZ-7B1来说，更低；
• 而BLOOMZ-7B1词表更大，有很多与中文无关的Token，在训练模型时，词表权重将会消耗非常大的显存，降低训练速度，产生OOM的现象。
• 国内开发，具有本土优势。