1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？

计算成本是人们打造 ChatGPT 等大模型面临的重大挑战之一。

据统计，从 GPT 进化到 GPT-3 的过程也是模型体量增长的过程 —— 参数量从 1.17 亿增加到了 1750 亿，预训练数据量从 5GB 增加到 45TB，其中 GPT-3 训练一次的费用是 460 万美元，总训练成本达 1200 万美元。

除了训练，推理也很花钱。有人估算，现在 OpenAI 运行 ChatGPT 的算力费用每天就有 10 万美元。

在发展技术，让大模型掌握更多能力的同时，也有人在尝试降低 AI 所需的算力资源。最近，一种名为 FlexGen 的技术因为「一块 RTX 3090 跑 ChatGPT 体量模型」而获得了人们的关注。

虽然 FlexGen 加速后的大模型看起来仍然很慢 —— 跑 1750 亿参数的语言模型时每秒 1 个 token，但令人印象深刻的是，它已经把不可能变成了可能。

传统上，大语言模型（LLM）推理的高计算和内存要求使人们必须使用多个高端 AI 加速器进行训练。本研究探索了如何将 LLM 推理的要求降低到一个消费级 GPU 并实现实用性能。

近日，来自斯坦福大学、UC Berkeley、苏黎世联邦理工学院、Yandex、莫斯科国立高等经济学院、Meta、卡耐基梅隆大学等机构的新研究提出了 FlexGen，这是一种用于运行有限 GPU 内存的 LLM 的高吞吐量生成引擎。

通过聚合来自 GPU、CPU 和磁盘的内存和计算，FlexGen 可以在各种硬件资源限制下灵活配置。通过线性规划优化器，它搜索存储和访问张量的最佳模式，包括权重、激活和注意力键 / 值（KV）缓存。FlexGen 将权重和 KV 缓存进一步压缩到 4 位，精度损失低到可以忽略不计。与最先进的 offloading 系统相比，FlexGen 在单个 16GB GPU 上运行 OPT-175B 的速度提高了 100 倍，并首次实现了 1 token/s 的实际生成吞吐量。如果提供了更多的分布式 GPU，FlexGen 还带有流水线并行 runtime，以允许在解码时进行超线性扩展。

目前，该技术已经放出代码，获得了几千 Star 量：

https://github.com/FMInference/FlexGen

近年来，大语言模型在广泛的任务中表现出卓越的性能。LLM 在展现出前所未有的通用智能的同时，也让人们在构建时面临着前所未有的挑战。这些模型可能有数十亿甚至数万亿个参数，这导致运行它们需要极高的计算和内存要求。例如，GPT-175B（GPT-3）仅用于存储模型权重就需要 325GB 的内存。要让此模型进行推理，至少需要五块英伟达 A100（80GB）和复杂的并行策略。

降低 LLM 推理资源需求的方法是最近人们经常讨论的内容。这些努力分为三个方向：

（1）模型压缩以减少总内存占用量；

（2）协同推理，通过去中心化分摊成本；

（3）Offloading 以利用 CPU 和磁盘的内存。

这些技术显着降低了使用 LLM 的计算资源需求。然而，人们通常假设模型适合 GPU 内存，而现有的基于 offloading 的系统仍然难以使用单块 GPU 以可接受的吞吐量运行 1750 亿参数规模的模型。

在新研究中，作者专注于高吞吐量生成推理的有效 offloading 策略。当 GPU 显存不够用时，我们需要将其卸载到二级存储，通过部分加载的方式，逐段进行计算。在典型的机器上，内存层次结构分为三级，如下图所示。高级内存速度快但稀缺，低级内存速度慢但充裕。

在 FlexGen 中，作者不追求低延迟，而是瞄准面向吞吐量的场景，这些场景在基准测试、信息提取、数据整理等应用中很受欢迎。实现低延迟对于 offloading 来说本质上是一个挑战，但是对于面向吞吐量的场景，可以大大提高 offloading 的效率。图 1 说明了三个具有 offloading 的推理系统的延迟吞吐量权衡。通过仔细的调度，I/O 成本可以通过大量输入分摊并与计算重叠。在研究中，作者展示了就单位算力成本而言，单块消费级 GPU 吞吐量优化的 T4 GPU 效率要比云上延迟优化的 8 块 A100 GPU 的效率高 4 倍。

▲图 1. OPT-175B（左）和 OPT-30B（右）上三个基于 offloading 的系统的延迟和吞吐量权衡。FlexGen 实现了新的帕累托最优边界，OPT-175B 的最大吞吐量提高了 100 倍。由于内存不足，其他系统无法进一步提高吞吐量。

尽管已有研究在训练的背景下讨论了 offloading 的延迟 - 吞吐量权衡，但尚未有人将其用于生成 LLM 推理，这是一个截然不同的过程。由于 LLM 的自回归性质，生成推理提出了独特的挑战。除了存储所有参数外，它还需要顺序解码并维护一个大的注意力键 / 值缓存（KV 缓存）。现有的 offload 系统都无法应对这些挑战，因此它们执行过多的 I/O，只能实现远低于硬件能力的吞吐量。

为生成推理设计良好的 offloading 策略具有一定挑战性。首先，这个过程中存在三种张量：权重、激活和 KV 缓存。该策略应指定在三级层次结构上的卸载内容、位置以及卸载时机。其次，逐个 batch、逐个 token 和逐个 layer 计算的结构形成了一个复杂的依赖图，可以通过多种方式进行计算。该策略应该选择一个可以最小化执行时间的时间表。这些选择共同构成了一个复杂的设计空间。

为此，在新方法 FlexGen 上，人们提出了一种用于 LLM 推理的 offloading 框架。FlexGen 聚合来自 GPU、CPU 和磁盘的内存，并能有效地调度 I/O 操作，作者也讨论了可能的压缩方法和分布式管道并行性。

该研究的主要贡献如下：

1、作者正式定义了可能的 offloading 策略的搜索空间，并使用成本模型和线性规划求解器搜索最佳策略。值得关注的是，研究人员证明了搜索空间捕获了一个几乎 I/O 最优的计算顺序，其 I/O 复杂度在最优计算顺序的 2 倍以内。搜索算法可以针对各种硬件规格和延迟 / 吞吐量限制进行配置，从而提供一种平滑导航权衡空间的方法。与现有策略相比，FlexGen 解决方案统一了权重、激活和 KV 缓存的放置，从而实现了更大的 batch size。

2、研究表明，可以将 OPT-175B 等 LLM 的权重和 KV 缓存压缩到 4 位，而无需重新训练 / 校准，精度损失可忽略不计。这是通过细粒度分组量化实现的，可以显著降低 I/O 成本。

3、通过在英伟达 T4 GPU (16GB) 上运行 OPT-175B 来展示 FlexGen 的效率。在单块 GPU 上，给定相同的延迟要求，与 DeepSpeed Zero-Inference (Aminabadi et al., 2022) 和 Hugging Face Accelerate (HuggingFace, 2022) 相比，不压缩的 FlexGen 可以实现高出 65 倍的吞吐量，后者是目前业内最先进的基于 offloading 的推理系统。如果允许更高的延迟和压缩，FlexGen 可以进一步提高吞吐量并达到 100 倍的改进。FlexGen 是第一个可以使用单块 T4 GPU 为 OPT-175B 实现 1 token/s 速度吞吐量的系统。如果给定多块分布式 GPU，具有流水线并行性的 FlexGen 可在解码时实现超线性扩展。

在研究中，作者还将 FlexGen 和 Petals 作为 offloading 和去中心化集合推理方法的代表进行了比较。结果表明，具有单块 T4 GPU 的 FlexGen 在吞吐量方面胜过具有 12 块 T4 GPU 的分散式 Petal 集群，并且在某些情况下甚至可以实现更低的延迟。

通过聚合来自 GPU、CPU 和磁盘的内存和计算，FlexGen 可以在各种硬件资源限制下灵活配置。通过线性规划优化器，它搜索存储和访问张量的最佳模式，包括权重、激活和注意力键 / 值 (KV) 缓存。FlexGen 将权重和 KV 缓存进一步压缩到 4 位，精度损失可以忽略不计。

FlexGen 的一个关键思想是进行延迟 - 吞吐量权衡。实现低延迟对于卸载方法来说本来就具有挑战性，但对于面向吞吐量的场景，可以极大地提升卸载效率（见下图）。FlexGen 利用块调度来重用权重并将 I/O 与计算重叠，如下图 (b) 所示，而其他基线系统使用低效的逐行调度，如下图 (a) 所示。

目前，该研究作者的下一步计划包括对苹果 M1、M2 芯片的支持和 Colab 部署的支持。

FlexGen 自发布后在 GitHub 上的 Star 量很快上千，在社交网络上热度也很高。人们纷纷表示这个项目很有前途，似乎运行高性能大型语言模型的障碍正在被逐渐克服，希望在今年之内，单机就能搞定 ChatGPT。

有人用这种方法训练了一个语言模型，结果如下：

虽然没有经过大量数据的投喂，AI 不知道具体知识，但回答问题的逻辑似乎比较清晰，或许未来的游戏中，我们能看见这样的 NPC？

后台回复关键词【 入群 】

加入卖萌屋NLP、CV、搜推广与求职讨论群

[1]https://news.ycombinator.com/item?id=34869960_

除了媒体的大肆报道，国内外各个科技公司、科研机构、高等院校都在跟进，不到半年时间，就跑出了非常多的大模型应用的创业公司，做得优秀的如midjourney、jasper、runway等，都获得了上亿美元的融资，估值达数十亿美金规模。如果你觉得本文有价值，请分享给需要的人，大家一起推动新一轮人工智能浪潮的暴发。国内也不甘落后，各个大厂、创业公司、科研院校都相继发布了大模型产品（如百度的文心一言、复旦的MOSS等），也有不少大佬亲自下场做大模型（如李开复、王慧文、王小川等）。作者 | gongyouliu。 更加重要的是，chatgpt的使用开启了一种新的内容创作方式，让更多的人可以轻松地分享他们的知识和经验，对人类社会的发展产生积极影响。例如，如果你想写一篇关于"法国巴黎旅行的最佳景点"的文章，你可以给chatgpt一个提示，比如"写一篇关于法国巴黎旅行的最佳景点的文章。同样，如果你试图写一个关于最新时尚趋势的文章，你可以给chatgpt一个提示，如"讨论2022年春季的最热时尚趋势，并提供一些穿着建议。"然后，你可以根据你的目标受众进行修改，或者添加一些你自己的想法。首先，你需要思考你的主题。 Transformer八子现在全部“出逃”了！彭博社消息，Transformer协作者Llion Jones将于本月底离开谷歌。目前他本人在谷歌日本任职，提到离开原因，他本人表示：离开谷歌并不是一个容易的决定，但考虑到AI的发展势头，是时候尝试一些不同的东西了。根据报道，他本人计划先休息一段时间，然后创办一家公司。网友听闻直言：像Llion Jones这种大牛自己创业太棒了，祝他一切顺利！ 这里 Claude 2 用上了 100K token 文本处理功能，可以在 prompt 窗口上传几百页的文档。除了以上，机器之心也尝试了一些文本分析、数学推理和编写代码方面的示例。 夕小瑶科技说 分享来源 | 量子位ACL 2023获奖论文现已公布！。其中杰出论文奖共有39篇成果被收录。而去年所有获奖论文加起来也才只有12篇，可以说今年是相当热闹了。今年最佳论文奖共有3篇，华人学者怒刷存在感。2篇最佳论文的一作为华人面孔，其中1篇还有西安交通大学学者参与研究。Demo Track Awards方面，清华、智谱AI、北京彩智科技组成的团队拿下了唯一一篇最佳论文奖。Area Chair Awards部分，有两个领域的最佳论文由中国团队获得。 一觉醒来，万众期待的，它来了！这里推荐一个gpt4测试站，国内可以试用，无需翻墙，如果遇浏览器警告点高级/继续访问即可。OpenAI老板Sam Altman直接开门见山地介绍说：这是我们迄今为止功能最强大的模型！有多强？根据OpenAI官方的介绍，GPT-4是一个超大的，也就是说，它的输入可以是文字（上限2.5万字），还可以是图像。（看图）手套掉下去会怎样？它会掉到木板上，并且球会被弹飞。 例如，如果你想写一篇关于养宠物的文章，你可以这么设置prompt：“写一篇关于新手如何养狗的文章”。ChatGPT就会根据这个提示，生成相关的文本。最近，我身边的朋友都在说ChatGPT，说它是写作的神器，能够帮助他们创作出优质的文章。不仅提供详细的操作步骤，还会分享具体的实例和些许提示，帮助你更好地理解和使用这个神奇的工具。越具体的提示会得到越具体的回复，例如，“写一个关于寿司制作步骤的段落”，而不是只是说，“写一篇关于日本食品的文章”。尝试给它一些创意的提示，比如，“写一个设在未来世界的短故事”。 例如，如果你想写一篇关于养宠物的文章，你可以这么设置prompt：“写一篇关于新手如何养狗的文章”。最近，我身边的朋友都在说ChatGPT，说它是写作的神器，能够帮助他们创作出优质的文章？不仅提供详细的操作步骤，还会分享具体的实例和些许提示，帮助你更好地理解和使用这个神奇的工具。越具体的提示会得到越具体的回复，例如，“写一个关于寿司制作步骤的段落”，而不是只是说，“写一篇关于日本食品的文章”。这里有一些提示为你的写作带来更多的火花：。尝试给它一些创意的提示，比如，“写一个设在未来世界的短故事”。 来源 | 新智元就在刚刚，OpenAI的GPT-4又被业内人士「开源」了！其中包括GPT-4的架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型（Mixture of Experts，MoE）等非常具体的参数和信息。尤其是，在不同工程背后，OpenAI究竟是怎样权衡的。以及在巨型模型推理时，如何跨越其中最大的瓶颈。如此重磅的爆料，出自何许人也？ 来源 | 量子位作者 | 金磊完全胡扯。这么一句简短犀利评论，竟是出自深度学习三巨头之一的之口。而让他如此怒怼的事情，则是在日内瓦召开的世界首场。顾名思义，在这场新闻发布会中，一共由九个人形机器人和它们的创造者共同参与。▲图源：路透社。 夕小瑶科技说 分享来源 | 新智元Code Interpreter解禁后，可谓游戏规则的改变者。与Midjourney联动做大片，表情包生成，动嘴做表，各种潜能全被一众网友们挖掘出来了。前段时间，GPT-4变笨引爆舆论，有人甚至把3小时25条额度一口气用完，也没有解决代码问题。然鹅，Code Interpreter（代码解释器）昨天正式解禁后，网友们纷纷觉得ChatGPT又行了！即便是不写/运行代码，也要比GPT-4强太多。把它叫做「插件」简直低估了，应该称作GPT-4.5。 该文用中国小学数学题测试了GPT-4、ChatGPT与国产大模型。实验结果表明，GPT-4可以较好地解答中文小学数学题，但和人类相比还有差距；即使是面对中文试题，国产大模型与OpenAI的产品之间还有很大距离，我们还需要进一步加强国产大模型的研究。 来源 | 腾讯科技7月6日，第六届世界人工智能大会(WAIC 2023)在上海举办，大会主题为“智联世界 生成未来”。在会议开幕式上，特斯拉首席执行官马斯克在视频致辞中表示，未来机器人的数量将超过人类，特斯拉愿意将自动驾驶技术许可给其他的汽车制造商使用。马斯克认为，我们已经见到了数字计算能力的爆炸式增长，机器和生物算力之间的差距在进一步的扩大，机器人的计算能力要强得多，未来地球上机器人的数量将会超过人类的数量。这会使人类计入到“后稀缺”时代，富足的时代下不会再有短缺的情况。 文 | 小戏、ZenMoore要说当下制约大模型释放更大规模潜力的桎梏，除了机器幻觉，肯定当属受限的上下文长度，前两天微软的 LongNet 正将 Transformer 的上下文长度扩展到夸张的 10 亿量级，要说 LongLLaMa 到底有多 Long，从这个贯穿全文的 Logo 就可以看出来（吐槽：整个长颈鹿不好吗？为什么要拉长身子玩行为艺术？？？），如下图所示，。而对比原始 LLaMA，在上下文长度为 2k 时性能就已经出现了断崖式的下降，完全无法处理长文本的 Prompt 输入。 欢迎来到chatGPT中文版入口！在这里，您将迈入一段令人兴奋的智能对话之旅。chatGPT是一款基于人工智能技术的强大工具，它能够模拟人类对话，为您提供个性化、智能化的交流体验。无论您是想与chatGPT进行闲聊、寻求帮助、获取信息，还是进行创作和娱乐，这里都是您的最佳选择。chatGPT是由OpenAI开发的一款基于大规模预训练模型的自然语言处理工具。它通过学习大量的文本数据，掌握了丰富的知识和语言表达能力，能够理解并生成人类语言。 Chat GPT是一种基于人工智能技术的自然语言处理模型，它能够生成逼真的对话内容，使得与机器的交流更加流畅和自然。无论您是想与Chat GPT进行闲聊、寻求帮助，还是进行创作和创意思考，它都能为您提供准确、有趣的回答和建议。 7个小时，1000万用户。这是Meta对标推特产品，上线7个小时的成绩。现在，Threads的用户数量已经超过3000万，在多个国家与地区的App Store占据下载量榜首。要知道，科技圈顶流ChatGPT，也花了5天时间才达到100万用户量。 标题生成，乍一看似乎并不是一个复杂的任务，要数据简单的爬虫就可以获得许多标题-文本对，要评价通过用户点击与浏览的次数就多少可以区分“好标题”与“坏标题”，万事俱备使用一些经典的监督学习方法似乎就可以将这个问题完美解决。然而，目前现有的标题生成器似乎都不那么尽如人意，先不说有没有恰如其分的总结文章的核心内容，单是几乎套用固定标题党的夸张句式一点就让人们失去了使用甚至是参考的欲望。 犹豫很久要不要把读代码这个事情专门挑出来写成一篇推文。毕竟读代码嘛，大家可能都会读。而且笔者个人读的和写的代码量也并不足以到指导大家读代码的程度。但笔者还是决定大胆地写一点：就当是给自己设立今后读代码的标准，也将一些之前未能践行的方法给写下来供大家参考。不当之处，还请各位指教。。读论文的方法参见上一条，但如何读用什么技巧读每个人都有不同的见解，这里不多说。读代码跟读论文、读书多少有相似的地方，毕竟都是读的性质。 ​我们不缺少论文，我们缺少的是鉴别哪些应该读。无论是泛读还是精度，海量论文总是让我们迷失双眼，Github搜索awesome有成百上千个repo，但是缺少比较和注解。我们应该去哪里找值得读的论文，我们打开pdf论文的姿势正确吗？