|
|
RWKV
rwkv.cpp: CPU 也能跑的 RNN 中文语言大模型
最近 LLM（大语言模型）实在火爆，出了不少开源模型，比如 Alpaca [1]、ChatGLM[2]、BELLE[3] 等等，让每个人都有机会运行和训练专属自己的 LLM，我也迫不及待了。但是，熟悉我的老读者朋友应该知道，虽然我是搞算法的，也发过几篇论文，但我是走的是贫穷科研的路线，一张显卡都没有。像 ChatGLM-6B 这种模型，在我的小破 Mac 上根本跑不起来。Alpaca 的 CPU 版本虽然能跑，但它中文水平实在太烂了。有没有什么模型不仅中文好，…
5 分钟了解现在的 LLM 实现
既然青春留不住
llama.onnx 昨天新增了 RWKV onnx 模型和单测程序，onnxruntime 推理函数就 8 行。1G 内存单核 CPU 可以跑起来玩一玩 pile 版。 [图片] 因为训练效果好，感觉推理的也被裹挟着神化 LLM（大语言模型）。其实就像以前的 vgg16，现在回头看也就是那回事。历史总是重复的，大可以淡定一点面对今天的 AIGC 创业潮。 眼下的 LLM 推理就 4 步： 分词编码主干解码一、分词中文没法直接参与计算，总得转成 tensor。 分词就是把“今天天气怎么样”…
匿名用户
虽然我能理解，大家都懂 CodeWithGPU | 能复现才是好算法 [图片]
2023.05.11-使用纯CPU来运行RWKV大语言模型
深度学习 代码搬用工
1. 简介 使用CPU来运行C++版本的RWKV rwkv.cpp 可以将 RWKV 原始模型的参数转化为 float16，并量化到 int4，可以在 CPU 上更快地运行，也可以节省更多的内存。 2. 下载项目## git clone --recursive https://github.com/saharNooby/rwkv.cpp.git cd rwkv.cpp3. 下载依赖或者自行编译使用CPU-Z 来查看一下自己的CPU是否支持AVX2 or AVX-512，如果支持的话，可以直接下载作者编译好的依赖库 [图片] 我这里是支持AVX指令集的，所以直接使用…Releases · saharNooby/rwkv.cpp · GitHub rwkv.cpp 的开发者已经预编译了不同平台上的依赖库，可以在这里下载下载rwkv-master-a3178b2-bin-win-avx-x64.zip
RWKV – transformer 与 RNN 的强强联合
真正文章是用笔写出来的 码字？那不是手工活
RWKV大模型被现已在 HuggingFace transformers 库中支持。在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer 的强大的模型一直在不断地涌现，它们在 NLP 相关任务上的表现远远超过基于 RNN (Recurrent Neural …
实现chatgpt的另一种可能的基座模型——表现惊艳的基于RNN的大模型RWKV把玩体验
想做小说家的AI全栈工程师、弹吉他和做网站只是业余爱好
RWKV简介就在今天，笔者的朋友圈和交流圈刷到了关注了多年的一个项目RWKV的新闻： [文章: RNN在大模型时代「复活」，27家机构联名重磅论文来了！模型已在GitHub揽星7.2k] 我们都知道，目前几乎所有主流大模型都是无脑基于transformer或是其他的attention-based的网络架构的，但是RWKV（读作Rua库）剑走偏锋，选择了一度被自然语言处理界放弃的方案——循环神经网络RNN，并针对RNN本身的缺陷做出了改进。 技术概述和论文链接请见上…
音游游戏玩家
推荐下列两篇文章。 [文章: RWKV is all you need？一种新语言模型，改进 Transformer ] [图片] [文章: 测试两种新 Attention 机制：gMLP 和 AFT（结论：AFT 效果好）]
NLP
刚扫了下paper，写个简单的解读，如有错误/遗漏欢迎评论区指出～ 首先，在模型高度同质化的今天敢于往不太流行的架构上砸资源而且训练到效果不错是值得respect的，值得关注后续scale up的潜力，甚至其余的efficient transformer架构scale up后的效果也值得重新探索一下。 前面之所以用了efficient transformer而不是宣传里的RNN是因为这个架构我觉得其实还是更偏向transformer一点，按照论文里给的内容简单溯源拆解一下： [图片] 首先整…
RWKV-v4neo LoRA 微调记录
1. 下载开源 LoRA 微调代码git clone https://github.com/Blealtan/RWKV-LM-LoRA.git2. 配置运行环境使用 conda 或 pip 安装以下的库： pytorch=1.13.1 pytorch-lightning=1.9.2 deepspeed=0.7.0⚠️ 如果操作系统的cuda环境和 pytorch 的cuda版本不一致，deepspeed 包可能会抛出异常，找到 deepspeed 源码，注释掉 deepspeed/ops/op_builder/builder.py 文件中以下抛出异常的内容（在100行附近，各个版本可能不一样）： # 注释…