从算力、算法、数据和应用看AIGC【48页】
来源:雪球App,作者: 价值目录,(https://xueqiu.com/7697110006/245051826)
01、核心观点
AIGC未来已来,超预期持续出现。从2018到2023年,四代GPT模型高速进步,从简单的问答、阅读理解、文本总结,到在众多测试 中获得“人类级别表现”评级,AI迭代进化的速度越来越快。可以预期,AI达到人类智能水平、乃至超 越人类智能水平的时代会以超预期的形态和速度出现。
数据、算力、算法为AIGC核心要素,海内外厂商各占鳌头。数据,通过算力,最后产生了算法或者应用。数据作为新兴生产要素,数据的拥有者、加工者是产 业发展的基础。算力作为基础设施,是AIGC资本开支的主要受益者,核心参与者 英伟达 、AMD竞争优 势显著。AIGC的技术壁垒主要体现在算法上,当前通用型AI由GPT领跑,而在细分领域上,行业内的主 要参与者包括谷歌、Meta、Anthropic、Hugging Face和 百度 等公司。随着细分龙头竞相研发创新算 法和优化现有技术、以及模型迭代下对数据、算力的需求高速膨胀,AIGC行业技术壁垒将不断提高,现 有优秀参与者护城河极深。
AIGC市场潜力巨大,应用领域迎来生产力解放。全球AI软件市场规模将在2025年达到1260亿美元,2021年到2025 年年复合增长率为41.02%。一级市场的火热也反映了AIGC发展的确定性趋势。在大模型的快速迭代推 动下,搜索引擎、办公软件、汽车、媒体、AI绘画设计、AI广告营销、智能工作助理等应用率先落地的 行业将具备较强商业化机会。
02、生成式AI:ChatGPT引燃市场, 数字经济 未来已至
生成式AI:自然语言处理演变十余年,迎来变现阶段
AIGC(AI Generated Content)即生成式AI,多领域应用逐渐成熟。AIGC涉及无监督和半监督学习算 法,截至目前其发展历程主要分为三个阶段:统计机器学习方法阶段(2010年前):首先对数据进行手工标注,然后构建其重要特征,最后构建概率 模型并进行参数优化,从而将概率最大的输出作为结果;基于深度学习的神经网络模型(2010年-2017年):深度学习算法被引入,本质上是通过大量数据训练 神经网络,主要表现形式为:CNN(卷积神经网络)、RNN(循环神经网络)等。相比统计学习方法, 省去了复杂且手工的特征构建;基于Transformer结构的预训练模型(2017年至今):利用大量无标注数据进行自监督学习,然后再使 用少量的标注数据对下游任务进行微调(即迁移学习)。
生成式AI:GPT模型迭代四大版本,进化速度不断提升
OpenAI创立于2015年12月,发布ChatGPT引燃AI行业热度。GPT系列是OpenAI打造的自然语言处 理模型,采用以Transformer结构为核心的模型,其最大特点是使用了大量的未标注的语料进行无监督的 预训练,然后在各种有监督的任务上进行微调。OpenAI于2022年11月先后推出了GPT-3.5和ChatGPT,GPT-3.5使用了更新的语料进行预训练,而 ChatGPT是基于GPT-3.5的对话机器人,能够根据用户的输入生成流畅、有逻辑的回答,以及完成撰写论 文报告、翻译文字、编写代码等文本生成任务,并且能根据聊天的上下文进行互动。
生成式AI:AI产品全面开花,生产力将达新高度
GPT模型稳定进步,AI已是成熟生产工具。从GPT-1到最新发布的GPT-4模型,其应用已经不仅局限 于问答、阅读理解等文本处理,虽然目前GPT-4在现实场景中的能力可能不如人类,但在各种专业和学术 考试上表现出明显超越人类水平的能力,GPT-4在模拟律师考试中,分数排在前10%;相比之下,GPT3.5的得分则在倒数10%附近。随着算力、算法、数据量的演进,行业内不断出现高质量的AI产品,微软New Bing、AI绘画、智能 驾驶等等,体现出AI未来在多个领域的应用潜力。ChatGPT版Office、 百度 “文心一言”两大产品正式推 出,或将AI的生产力推向新的高度。
生成式AI:AI进化加速, 数字经济 未来已至
AI行业星辰大海, 数字经济 未来已至。从2018到2023年,四代GPT模型高速进步,从简单的问答、 阅读理解、文本总结,到在众多测试中获得“人类级别表现”评级,此外近期AI衍生产品的层出不穷,显 现出背后AI行业的星辰大海。2020年,马斯克预言五年内人工智能将比人类更聪明,当前AI迭代进化的速度越来越快,虽然GPT 还未通过图灵测试,距离真正的“智能”还有距离,但我们认为,AI达到人类水平、乃至超越人类的时代 即将到来。
生成式AI:算力、算法、数据三位一体
数据,通过算力,最后产生了算法或者应用。AIGC是人工智能、大数据、云计算、5G等多个技术领 域的整合,是一种跨领域的合作发展模式。在AIGC行业中,算力、算法、数据是三个核心概念,它们共同 构成了这个领域的基础设施。未来随着技术的进步和应用场景的不断拓展,这三个概念将继续发挥重要作 用,推动整个行业的创新和发展。
算力(Computing Power):算力是指计算设备执行算法、处理数据的能力,包括CPU、GPU、 FPGA、ASIC等。云计算技术和5G通信技术的发展使得算力的分布和调度更加灵活,有助于满足各种 场景下对高性能计算的需求。算法(Algorithm):算法是一系列解决问题、实现特定功能的有序指令和步骤。在AIGC行业中,算 法是模型的基础,用于实现数据分析、人工智能模型训练等功能。数据(Data):在AIGC行业中,数据是支撑决策和优化的基础,是算法发挥作用的前提。大数据技术 可以对海量数据进行有效处理、分析和存储,而人工智能技术可以通过对数据进一步学习,实现各种智 能化应用,如图像识别、自然语言处理等。
03、数据:大模型训练的基础资源
数据:大模型训练的基础资源,需求不断扩大
数据是训练大模型的基础资源,以GPT系列模型为例,对比三代模型间使用的数据集,训练所需的 数据集在质量和数量方面均不断提升。随着人工智能模型迭代发展,高质量数据集的需求将进一步增长。从自然数据源简单收集取得的原料数据并不能直接用于有监督的深度学习算法训练,必须经过专 业化的采集、加工,形成相应的工程化训练数据集后才能供深度学习算法等训练使用。目前,带有监督学习的算法对于训练数据的需求远大于现有的标注效率和投入预算,基础数据服 务将持续释放其对于算法模型的基础支撑价值。
04、算力:大模型发展带来高算力需求
算力:算力需求不断攀升,GPU行业市场巨大
AIGC模型硬件以GPGPU为主,GPU市场规模有望在2030年超过4000亿美元。GPU在并行计算方 面具有性能优势,在AI领域分化成两条分支:一条是传统意义的GPU,专门用于图形图像处理用途;另一 条是GPGPU,作为运算协处理器,增加了专用指令来满足不同领域的计算需求。使用GPGPU在云端进行 模型训练算法能够显著缩短海量训练数据的训练时长,减少能源消耗,从而降低人工智能的应用成本,目 前全球人工智能相关处理器解决方案仍以GPGPU为主。根据VerifiedMarketResearch报告,2021年全球GPU芯片市场规模已经达到了334.7亿美元,并预 计到2030年将达到4,773.7亿美元,CAGR高达33.3%。GPU市场保持着高速增长态势,其在人工智能领域 中仍然是不可或缺的计算资源之一。
算力: 英伟达 芯片龙头市场地位稳固
英伟达 :高算力芯片龙头,AI芯片市场地位领先。人工智能平台需要巨大的数据处理能力,英伟达的 A100显卡适合于支持ChatGPT、Bard等工具的机器学习模型,这款芯片能够同时执行众多简单的计算,而 这对于训练和使用神经网络模型很重要,使得A100显卡成为目前主流AI芯片。长期展望,AI芯片市场快速增长将带动英伟达营收快速增长,根据中商产业研究院数据显示,预计全 球AI芯片市场规模有望从2020年的约175亿美元提升到2025年的726亿美元,年复合增长率32.9%。根据花 旗集团预估,ChatGPT 的使用可能会在 12 个月内为英伟达带来 30 亿至 110 亿美元的销售额。
算力:AMD封装理念Chiplet领先,推出高性能APU
AMD:高算力芯片代表企业,即将推出世界首款集成数据中心CPU和GPU的APU产品。在2023年的 CES上,AMD预览了AI推理加速器AMD Alveo V70,主打高能效,峰值AI算力可达到400TOPS,TDP仅 75W。AMD称这是最强AI算力的75W TDP级产品。AMD还预览了其首款集成数据中心CPU和GPU的APU产品AMD Instinct MI300。该款产品采用了 Chiplet封装理念。Chiplet策略是一项重要的硬件创新,摆脱了单芯片微缩的限制,同时能够优化设备的性 能、功耗和性价比。MI300加速器专为领先的高性能计算(HPC)和AI性能而设计,借助3D封装技术将 CPU和加速计算单元集成在一起,总共有1460亿个晶体管。
算力: 英伟达 、AMD垄断全球,国产芯片奋起直追
全球GPU市场中英伟达和AMD占据96%份额,国内GPU主要研发企业为 海光信息 、 寒武纪 等。根据 Wccftech,2022Q3独立GPU市场中英伟达和AMD分别占据88%、8%市场份额。根据海光信息招股书公 布技术指标数据,当前国内高端GPU相比国际巨头在显存频率、带宽等参数上还有一定差距,但在典型应 用场景下,深算一号已基本能够达到国际上同类型高端产品的水平。在国际市场上, 英伟达 和AMD在高性能计算和人工智能领域具有丰富的产品线和完善的生态系统, 叠加长期积累的技术优势和市场地位,预计仍将长期维持AI算力芯片领域的龙头地位。
算力:国产芯片发展迅速,填补AI市场空缺
高端芯片进口受限,国产芯片需求加速扩大。在NVIDIA、AMD高端产品被限制向中国出售的情况下, 国产大模型算力需求将快速推动国产芯片市场增长,当前国产GPGPU芯片的研发和生产已经取得了一定的 进展,海光、炬芯、 寒武纪 等企业均拥有具备自主知识产权的GPU芯片,为国内高性能计算和人工智能领 域的发展提供了重要支持。根据前瞻产业研究院,国产人工智能芯片自2020年来呈爆发式增长,2023年市场空间预计将超过 1,300亿元,2020-2023年CAGR为95.86%。总体而言,在国际关系紧张、芯片进口受限的前提下国产人 工智能芯片市场未来的发展前景广阔,随着国内厂商加大研发投入和技术创新力度,进一步提升产品性能, 看好其在国内乃至国际市场中获得更多的份额和竞争优势。
05、算法:大模型算法助力AIGC突破
算法:微软Azure超算为GPT提供保障
Azure算力支持,数亿投入始现回报。GPT系列是OpenAI打造的自然语言处理模型,基于文本 预训练的GPT-1,GPT-2,GPT-3三代模型都采用以Transformer结构为核心的模型。微软在2019年向OpenAI投资10亿美元,并为OpenAI建造了一台由数万个A100 GPU组成的大 型AI超级计算机,成本或超过数亿美元。GPT模型正是由这台超级计算机提供支持,OpenAI试图训 练更多需要学习海量数据、拥有超大参数规模的AI模型,需要长期访问强大的云计算服务,GPT-3的 参数量达到了1,750亿,微软构建了一个可在非常大的范围内运行且可靠的系统架构,这使得 ChatGPT成为可能。
算法:ChatGPT引入最新模型GPT-4具备识图能力
OpenAI正式发布多模态预训练大模型 GPT-4,识图能力强大,实现多模态能力。相较前一代GPT3.5,其主要在两方面实现飞跃式提升:(1)具备了强大的识图能力,可以接受图像和文本输入;(2)回 答准确性显著提高。OpenAI目前已升级ChatGPT,ChatGPT Plus 订阅者可以获得具有使用上限的 GPT-4 访问权限,开发者则可以通过注册等待以获取GPT-4的API访问权限。GPT-4 可以接受文本和图像形式的 prompt,新能力与纯文本设置并行,允许用户指定任何视觉或语 言任务。具体来说,它能在用户给定由散布的文本和图像组成的输入的情况下生成相应的文本输出(自然 语言、代码等)。
算法:GPT-4模型回答准确性显著提高
相较GPT-3.5,回答准确性显著提高。根据OpenAI公布数据显示,GPT-4在专业和学术方面表现优 异,在诸多标准化考试中均取得了优秀的分数。比如其能通过模拟律师考试,且分数在应试者的前10% 左 右,相比之下,GPT-3.5的得分在倒数 10% 左右。GPT-4在GRE(Graduate Record Examination)数 学考试中取得应试者前20%左右成绩,而GPT-3.5仅能排在应试者后25%。GPT-4在大部分语言上的准确性均超过了GPT-3.5在英语上的表现。OpenAI使用 Azure Translate 将 MMLU 基准 —— 一套涵盖 57 个主题的 14000 个多项选择题 —— 翻译成多种语言。在测试的 26 种 语言的 24 种中,GPT-4 优于 GPT-3.5 和其他大语言模型(Chinchilla、PaLM)的英语语言性能。
算法:最大视觉语言模型PaLM-E,可操控机器人
谷歌:发布目前最大视觉语言模型PaLM-E,有望率先落地智能机器人相关产品。PaLM-E是一种多 模态视觉语言模型(VLM),具有 5620 亿个参数,是全球已知的最大视觉语言模型。根据谷歌公布的演示 视频显示 ,只需要给 PalM-E 下达一条高级命令,比如“把抽屉里的薯片拿给 我”,它就可以给一个带机械臂的移动机器人平台(由谷歌机器人开发)生成行动计划,然后自行执行。PaLM-E 通过分析来自机器人摄像头的数据来实现这一点,整个过程不需要对场景表示进行预处理。并且,PaLM-E表现出了“正迁移”,又称助长式迁移,它能把一项任务中学到的知识和技能迁移至另一项 任务,而且与单任务机器人模型相比具有“明显更高的性能水平”。
算法:针对研究群体的模型“LLaMA”,目标明确
Meta:“LLaMA”致力于辅助学术研究人员完成研究工作。LLaMA (Large Language Model Meta AI)模型参数相对少,意味着运行模型算力要求较低,但基准测试表现优秀。同ChatGPT、New Bing不同,LLaMA是一个开源的“研究工具”,旨在完成在文本生成、问题回答、书面材料总结,以及自 动证明数学定理、预测蛋白质结构等工作帮助研究人员推进研究工作。根据Meta发布的信息,LLaMA包含4个基础模型,参数分别为70亿、130亿、330亿和650亿。其中, LLaMA 65B 和 LLaMA 33B在1.4万亿个tokens上训练,而最小的模型LLaMA 7B也经过了1万亿个tokens 的训练。在大多数基准测试中,参数小的多的LLaMA-13B的性能优于GPT3.5的前身GPT3-175B,而 LLaMA-65B更可与业内最佳的Chinchilla-70B和PaLM-540B竞争。
算法:对人工智能的安全性监督日益重要
Anthropic:聚焦“安全”的人工智能,或将成为AI安全领域专家。随着大语言模型的发展,AI在很 多任务上的能力将会超过人类,这将让人类无法监督模型。为了确保 AI 在超过人类能力后仍保持安全性, 需要开发一种可扩展的模型监督技术。CAI( Constitutional AI )技术即是这种模型监督技术,原理是人类可以指定一套行为规范或原则, 而不需要手工为每个有害输出打标签,模型根据这套行为规范和准则选择最佳结果。Anthropic所开发的 聊天机器人Claude,在对话安全领域上做得更为突出,更擅长拒绝有害词或有害的引导,与人类价值观更 加相符。并且CAI技术有望对未来所有人工智能模型实施有效安全性监督。
算法:构建AI开发平台,加速AI模型迭代更新
Hugging Face:与 亚马逊 旗下云计算部门AWS扩大合作,将在AWS上构建下一个版本语言模型。近日,AWS宣布与美国明星AI创企Hugging Face扩大合作,以加速构建生成式AI应用的大型语言模型和 大型视觉模型的训练、微调和部署。Hugging Face是OpenAI的主要竞争对手之一,其主要业务包括生产 AI产品和托管其他公司开发的产品,已发展成AI开发者共享开源代码和模型的在线中心之一。据AWS数据库、分析和机器学习副总裁Swami Sivasubramanian透露,Hugging Face将在AWS上 构建其语言模型的下一个版本BLOOM。该开源AI模型在规模和范围上将与OpenAI用于研发ChatGPT的大 型语言模型竞争,将运行在AWS自研AI训练芯片Trainium上。
算法:国产大模型奋力追赶,行业布局广泛
百度 :国内首个类GPT产品,有望在外部压力驱动下快速推动国内应用结合落地。“文心一言”尽管模 型能力水平上与ChatGPT等有一定差距,但在下游应用逐步对接后,有望依靠合作伙伴的高质量数据集快速 提升模型能力。由于国内无法使用ChatGPT的API接口,且出于数据安全等角度考虑,势必需要国产大模型, 百度“文心一言”作为国产大模型的先行者,在国内政策扶持和产业链协同发展的背景下,将进一步加速国 内AI技术进步和产业化进程,填补市场空缺。根据百度文心大模型的布局全景,“文心一言”有望通过飞桨开源开放平台、百度智能云等赋能到工业 、能源、金融、通信、媒体、教育等各行各业,通过接入合作伙伴的方式,进一步获取高质量数据集以强化 模型训练调整,快速提升模型性能。
06、产业应用:各领域应用加速落地,商业化前景广阔
产业应用:AIGC市场潜力巨大,落地领域迎来生产力解放
AIGC市场潜力巨大,即将实现多领域应用。根据Tractica的预测数据显示,全球AI软件市场规模将在 2025年达到1260亿美元,2021年到2025年年复合增长率为41.02%。在大模型的快速迭代推动下,AIGC 市场预计将保持高速增长,市场潜力巨大。生成式AI领域在一级市场同样受到青睐,全球早期资金调研机构 CB Insights最新报告显示,2022年有110笔创投交易和ChatGPT概念有关,投资资金超过26亿美元。我们预计搜索引擎、办公软件、汽车、媒体、AI绘画设计、AI广告营销等应用率先落地的行业将具备 较强商业化机会,AI服务将极大解放生产力,带来行业新模式。
【搜索引擎】微软(MSFT.O):高质量广告更加符合用户需求
搜索引擎的主要代表为微软Bing。根据用户搜索内容,必应将生成相应问题答案的方案,比如当用户 输入“计划一次为期五天的墨西哥之旅”的命令时,除了返回一些网址链接供你参考之外,跟使用 ChatGPT 一样,必应对话框会直接给你写出一个方案,用户可以直接复制这个答案,不满意的话也可以要 求它再生成一个另外的方案,而必应可能会在回复中给出与搜索内容相关的广告。由于生成式搜索下回复将 对用户具有更高的匹配度,因此广告也将更符合用户需求。
【办公软件】微软(MSFT.O):AI助手解放生产力,办公模式迎来变革
微软于3月6日表示,其 Power Platform 平台上的一系列商业智能和应用程序开发工具,包括 Power 虚拟代理(Power Virtual Agent)和 AI Builder,均已更新 ChatGPT 功能。Power 虚拟代理是一款供企 业构建聊天机器人的工具,如今可以连接到公司内部资源,生成周报和客户查询的摘要。而用 AI Builder, 则可以很容易地使用 GPT 模型创建文本。比如,研究人员可以从每周发布的报告中总结文本,发到自己的邮 箱里,一遍快速提供信息,识别当前趋势。
【汽车】Mobileye(MBLY.O):自动驾驶或达新高度
自动驾驶:Mobileye自动驾驶 技术领先 ,若能加入AIGC大模型将如虎添翼。根据Guidehouse Insights的报告,以技术成熟度、产品能力等因素评价,自动驾驶领域由Mobileye、Waymo、 百度 和 Cruise 领先。基于Transformer架构设计的模型思路对自动驾驶领域有很强的借鉴作用,比如ViT(Vision Transformer)模型,它是一种基于Transformer的视觉模型,可以在不使用CNN卷积神经网络的情况下进行 图像分类,在自动驾驶图像识别中应用;生成式AI技术有望进一步推动自动驾驶技术的快速发展,为未来的 出行带来更加安全、便捷和智能的解决方案,实现更高等级的自动驾驶系统。
【媒体】Buzzfeed(BZFD.O):率先落地AI,互动更加个性化
根据CBS消息,美国知名媒体BuzzFeed宣布与OpenAI合作,将从“Quizzes”栏目入手,引入生成式 AI进行内容创作。该栏目主要由一系列有趣的问题测试组成,比如包括“测测你是 迪士尼 里的哪位公主”, “你最像复仇者联盟里的哪位超级英雄”之类等,根据用户回答生成个人报告。ChatGPT接入到Buzzfeed后,将被用于为每位客户生成个性报告的编写过程中,AI的自动化生产内容 将为这一工作缩减不必要的人工劳动,从而降低内容生产的成本,有望迎来人力成本的解放。根据Buzzfeed 同创办人兼执行长Jonah Peretti表示,AI将会被应用在建立测验、集思广益,并协助为阅听众提供客制化内 容,帮助媒体作者提高效率。
【设计绘画】Stability AI:AI高效绘图,改变行业工作模式
目前该行业领域暂无对应上市公司,主要公司之一为Stability AI。Stability AI是一家元宇宙及数字媒 体工具开发商,构建了可制作数字艺术的AI绘画平台“Stable Diffusion”,该工具是一种根据描述生成图片 的AI技术模型。只需输入简单的文字描述,其就能在几秒钟内自动生成一幅真实的画作。AI技术的发展让人们的想象逐 渐成为现实。无论是需要一个角色立绘,还是设计场景背景,均可以通过AI绘图工具迅速完成。该类AI绘图 应用有望为设计绘画行业带来效率的极大提升,释放大量人工劳动力,人类所扮演得角色将更倾向于提出意 见,而不是亲自做图。
【游戏】Scenario、 网易 (9999.HK):生成游戏素材,增强交互体验
游戏资产生成:Scenario 允许创建由游戏开发人员或游戏艺术家训练的自定义生成器,以仅匹配他们 自己图像的风格。在用户上传了一组定义给定游戏或项目的角色、物品、环境或其他资产的视觉效果后, Scenario平台可以根据用户上传数据快速生成相应游戏资产,大大降低了游戏开发成本。增强交互体验:近期 网易 旗下手游《逆水寒》官方宣布,实装国内首个游戏内类GPT技术,采用了大量 来自网易伏羲人工智能实验室以及网易雷火事业群的 AI 技术。从官方公布演示视频来看,《逆水寒》手游已 经能让智能 NPC 和玩家自由生成对话,同时也能基于对话内容做出合适的逻辑行为反馈,包括声音和形体动 作。生成式AI在游戏中的应用可以大大增强玩家剧情代入感,大幅提高游戏交互体验,提升玩家对游戏的探 索欲望。
【广告营销】Jasper AI:快速创建各类广告内容,降低营销成本
Jasper AI是一个AI文本生成工具,用户可以通过其自动创建博客文章、社交媒体文章、广告、电子书 、登陆页面副本、故事、小说等等。一旦用户给出一些输入文本(关于需要生成的内、标题、相关关键词等 的简介),它就会生成对应的原创内容。其深耕广告营销领域,有望成为垂直领域行业龙头,主要具备以下 三个优势:
精细的营销模板:用户可以根据想要生成的内容形式,选择更加符合需求的模板,平台提供50个简短的文 案模板,可帮助用户为各种日常任务创建文案,其中包括用于为电子邮件、网站、博客、广告、电子商 务、社交媒体、视频等编写内容的 AI 模板。产品交互体验优秀:该平台工具交互界面清晰易上手,产品符合用户使用逻辑,且会根据用户反馈频繁更 新优化。优秀的配套培训体系:Jasper AI提供名为 "Jasper BootCamp" 的培训,帮助新用户快速了解该软件的工 作原理,并且获得营销基本知识。
$百度(BIDU)$ $川大智胜(SZ002253)$ $光云科技(SH688365)$
研报来源和作者: 华西证券 [朱芸]
研报原文PDF: 从算力、算法、数据和应用看AIGC:奇点将至,探他山之石-华西证券[朱芸]-20230319【48页】
报告节选: