2023最新8篇AIGC领域综述！
作者： @ https://www. zhihu.com/people/Sing-F /posts （已授权转载）
链接： https:// zhuanlan.zhihu.com/p/61 9025497
点击关注 @LiteAI ，跟进最新Efficient AI & 边缘AI & 模型轻量化技术，跟进最新DL & CV技术。
1. A Survey of Large Language Models
论文地址：
摘要：
语言本质上是一种由语法规则支配的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。语言建模作为一种主要的语言理解和生成方法，在过去的二十年中得到了广泛的研究，从统计语言模型发展到神经语言模型。近年来，通过大规模语料库上的预训练Transformer模型提出了预训练语言模型(PLMs)，在解决各种NLP任务方面表现出强大的能力。由于研究人员发现模型缩放可以提高性能，他们通过将模型尺寸增加到更大的尺寸来进一步研究缩放效应。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显著的性能提升，而且还显示出一些小规模语言模型不存在的特殊能力。为了区分参数规模上的差异，研究团体创造了术语大型语言模型(LLM)来描述具有显著规模的plm。近年来，学术界和业界对llm的研究得到了很大的推进，其中一个显著的进展是ChatGPT的推出，引起了社会的广泛关注。llm的技术发展对整个AI社区产生了重要影响，这将彻底改变我们开发和使用AI算法的方式。 在本调查中，我们通过介绍llm的背景、主要发现和主流技术，回顾了llm的最新进展。我们特别关注llm的四个主要方面，即预培训、适应调优、利用和能力评估。此外，我们还总结了开发llm的可用资源，并讨论了未来发展方向的剩余问题。
2. On the Opportunities and Risks of Foundation Models
论文地址：
摘要：
随着模型(如BERT、DALL-E、GPT-3)的兴起，人工智能正在经历范式转变，这些模型在大规模的广泛数据上进行训练，并适用于广泛的下游任务。我们称这些模型为基础模型，以强调它们至关重要但不完整的特征。本报告全面介绍了基础模型的机会和风险，包括它们的能力(例如，语言、视觉、机器人、推理、人类交互)和技术原则(例如。例如，模型架构、培训程序、数据、系统、安全性、评估、理论)到其应用(例如，法律、医疗保健、教育)和社会影响(例如，不平等、滥用、经济和环境影响、法律和道德考虑)。尽管基础模型是基于标准的深度学习和迁移学习，但它们的规模导致了新的紧急能力，而且它们在许多任务中的有效性激励了同质化。同质化提供了强大的杠杆作用，但需要谨慎，因为基础模型的缺陷会被下游所有适应的模型所继承。尽管基础模型即将广泛部署，但我们目前对它们如何工作、何时失效，以及由于它们的涌现属性，它们甚至能够做什么，缺乏清晰的理解。为了解决这些问题，我们相信，许多关于基金会模型的批判性研究将需要与其基本社会技术性质相称的深入跨学科合作。
3. A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to GPT-5 All You Need?
论文地址：
摘要：
随着ChatGPT的走红，生成式人工智能(AIGC，又名人工智能生成内容)因其分析和创建文本、图像等的能力而成为各地的头条新闻。在如此铺天盖地的媒体报道下，我们几乎不可能错过从某个角度一睹AIGC的机会。在人工智能从纯分析过渡到创造的时代，值得注意的是，ChatGPT及其最新的语言模型GPT-4只是众多AIGC任务中的一个工具。对ChatGPT的能力印象深刻的是，许多人都想知道它的局限性:GPT-5(或其他未来的GPT变体)能否帮助ChatGPT统一所有AIGC任务以进行多样化的内容创建?为了回答这个问题，需要对AIGC现有的任务进行全面审查。因此，我们的工作通过提供AIGC从技术到应用的初步了解来迅速填补这一空白。现代生成式AI依赖于各种技术基础，从模型架构和自我监督预训练到生成式建模方法(如GAN和扩散模型)。在介绍了基本技术之后，本文根据各种AIGC任务的输出类型，包括文本、图像、视频、3D内容等，重点介绍了各种AIGC任务的技术发展，描绘了ChatGPT未来的全部潜力。此外，我们还总结了它们在一些主流行业中的重要应用，如教育和创意内容。最后，我们讨论了目前面临的挑战，并展望了生成式人工智能在不久的将来如何发展。
4. Foundation Models for Natural Language Processing -- Pre-trained Language Models Integrating Media
论文地址：
摘要：
这本开放获取的书全面概述了基础模型的研究和应用的艺术状态，适用于熟悉基本自然语言处理(NLP)概念的读者。近年来，一种革命性的新范式已经发展为NLP的训练模型。这些模型首先在大量文本文档集合上进行预训练，以获得一般的语法知识和语义信息。然后，它们会针对特定的任务进行微调，它们通常能以超人的准确性解决这些任务。当模型足够大时，它们可以通过提示来解决新任务，而无需任何微调。此外，它们可以应用于广泛的不同媒体和问题领域，从图像和视频处理到机器人控制学习。因为它们为解决人工智能中的许多任务提供了蓝图，所以它们被称为基础模型。在简要介绍了基本的NLP模型之后，介绍了主要的预训练语言模型BERT、GPT和序列到序列转换器，以及自注意和上下文敏感嵌入的概念。然后，讨论了改进这些模型的不同方法，如扩大预训练标准，增加输入文本的长度，或包括额外的知识。然后概述了大约20个应用领域的最佳表现模型，例如，问答、翻译、故事生成、对话系统、从文本生成图像等。针对每个应用领域，讨论了现有模型的优缺点，并对未来的发展进行了展望。此外，还提供了免费获取程序代码的链接。最后一章总结了人工智能的经济机会、风险缓解和潜在发展。
5. Summary of ChatGPT/GPT-4 Research and Perspective Towards the Future of Large Language Models
论文地址：
摘要：
本文对ChatGPT和GPT-4进行了全面的调查，这是GPT系列中最先进的大型语言模型(LLM)，以及它们在不同领域的潜在应用。事实上，诸如通过整个万维网获取知识的大规模预训练、指令微调和来自人类反馈的强化学习(RLHF)等关键创新在增强llm的适应性和性能方面发挥了重要作用。我们对arXiv上的194篇相关论文进行了深入分析，包括趋势分析、词云表示和跨各个应用领域的分布分析。研究结果表明，人们对ChatGPT/GPT-4研究的兴趣日益浓厚，主要集中在直接自然语言处理应用上，同时也显示出在教育、历史、数学、医学和物理等领域的巨大潜力。本研究旨在深入了解ChatGPT的功能、潜在影响、伦理问题，并为该领域的未来发展提供方向。
6. AI-Generated Content (AIGC): A Survey
论文地址：
摘要：
为了应对数字经济中数字智能的挑战，人工智能生成内容(AIGC)应运而生。AIGC使用人工智能辅助或取代人工生成内容，根据用户输入的关键字或需求生成内容。大模型算法的发展极大地增强了AIGC的能力，使AIGC产品成为一个很有前途的生成工具，为我们的生活增加了便利。作为上游技术，AIGC具有支持不同下游应用的无限潜力。分析AIGC当前的功能和缺点对于理解如何在未来的应用程序中最好地利用它是很重要的。因此，本文提供了AIGC的广泛概述，包括其定义、基本条件、前沿能力和高级特性。此外，还讨论了大规模预训练模型的效益和AIGC的产业链。此外，本文还探讨了AIGC中辅助生成和自动生成之间的区别，并提供了文本生成的示例。本文还探讨了AIGC与元宇宙的潜在整合。最后，文章指出了存在的问题，并对未来的应用方向提出了建议。
7. One Small Step for Generative AI, One Giant Leap for AGI: A Complete Survey
on ChatGPT in AIGC Era
论文地址：
摘要：
OpenAI最近发布了GPT-4(又名ChatGPT plus)，这被证明是生成式人工智能(GAI)的一小步，但却是人工通用智能(AGI)的一大步。自2022年11月正式发布以来，ChatGPT迅速吸引了众多用户，并获得了广泛的媒体报道。这种前所未有的关注也促使众多研究者从各个方面对ChatGPT进行研究。根据谷歌scholar的数据，有超过500篇文章在标题中使用了ChatGPT，或者在摘要中提到了它。考虑到这一点，迫切需要进行审查，而我们的工作填补了这一空白。总的来说，这项工作是第一个全面回顾ChatGPT的底层技术、应用和挑战的研究。此外，我们还展望了ChatGPT如何发展到实现通用的AIGC(即人工智能生成的内容)，这将是AGI发展的一个重要里程碑。
8. A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT
论文地址：
摘要：
最近，ChatGPT与DALL-E-2和Codex一起受到了社会的极大关注。因此，许多人对相关资源产生了兴趣，并试图揭开其令人印象深刻的表现背后的背景和秘密。事实上，ChatGPT和其他生成式AI (GAI)技术属于人工智能生成内容(AIGC)的范畴，它涉及通过AI模型创建数字内容，如图像，音乐和自然语言。AIGC的目标是使内容创建过程更加高效和易于访问，从而允许以更快的速度生产高质量的内容。AIGC是通过从人类提供的指令中提取和理解意图信息，并根据其知识和意图信息生成内容来实现的。近年来，大规模模型在AIGC中变得越来越重要，因为它们提供了更好的意图提取，从而改善了生成结果。随着数据的增长和模型的规模，模型可以学习的分布变得更加全面和接近现实，从而生成更加真实和高质量的内容。本文从单峰相互作用和多峰相互作用两方面对生成模型的历史、基本组成、AIGC的最新进展进行了综述。从单一性的角度，介绍了文本和图像的生成任务和相关模型。从多模态的角度，我们介绍了上述模态之间的交叉应用。最后，讨论了AIGC存在的问题和未来面临的挑战。
