|
|
致力于学术传播和科学普及，重点关注AI、生命科学等前沿科学。
前沿论文｜AI模型学会了“自我防卫” | 今日值得关注的人工智能新动态
【大型语言模型和知识图谱：机遇与挑战】
大型语言模型（LLMs）已在知识表示领域乃至全球掀起了一场风暴。这一拐点标志着从显式知识表示到重新关注显式知识和参数知识混合表示的转变。该研究讨论了知识图谱（显性知识）和大词表（参数知识）社区内的一些共同争论点，并推测重新聚焦带来的机遇和愿景，以及相关的研究课题和挑战。
论文：Large Language Models and Knowledge Graphs: Opportunities and Challenges
【AI模型开始“自我防卫”：知道自己上当了】
大型语言模型（LLMs）因其能够根据人类提示生成高质量文本，正在各行各业落地应用。同时，这些模型也已被证明有可能根据用户提示生成有害内容。
通过强化学习使模型与人类价值观保持一致等方法，是当前 AI 行业的热门研究方向之一。然而，即使是对齐的语言模型也容易受到对抗性攻击，这些攻击会绕过对生成有害文本的限制。该研究提出了一种简单的方法，通过让大型语言模型过滤自身的响应来抵御这些攻击。
研究结果表明，即使模型没有微调到与人类价值观一致，也可以通过使用语言模型验证内容来阻止它向用户展示有害内容。
论文：LLM Self Defense: By Self Examination, LLMs Know They Are Being Tricked
【Natural Language is All a Graph Needs】
该研究提出了 InstructGLM（指令微调图语言模型），基于自然语言指令系统地设计了高度可扩展的提示，并使用自然语言描述图的几何结构和节点特征，以便指令调整 LLM 来执行学习以及以生成方式对图进行推理。此研究方法超越了 ogbn-arxiv、Cora 和 PubMed 数据集上的所有 GNN 基线，这证明了方法的有效性，并揭示了生成语言模型取代 GNN 作为图机器学习的基础模型的前景。
论文：Natural Language is All a Graph Needs
【IP-Adapter：用于文本到图像扩散模型的文本兼容图像提示适配器】
该研究提出了一种名为 IP-Adapter 的方法，用于在预训练的文本到图像扩散模型中实现图像提示功能。IP-Adapter 的关键设计是解耦的交叉注意机制，它将文本特征和图像特征的交叉注意层分开，实现了有效且轻量级的适配器设计。尽管方法简单，仅拥有 22M 参数的 IP-Adapter 在性能上可以媲美或超越完全微调的图像提示模型。
论文：IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
【VisIT-Bench：受现实世界应用启发的视觉语言指令跟踪基准】
该研究介绍了 VisIT-Bench（视觉指令基准），这是用于评估实际使用的指令跟踪视觉语言模型的基准。研究人员的出发点是策划 70 个“指令系列”，他们认为指令调整视觉语言模型应该能够处理这些指令。在 VQAv2 和 COCO 等评估之外，他们的任务范围还包括基本识别、游戏和创意生成。经过整理，数据集包括 592 个测试查询，每个查询都有一个由人类撰写的指令条件说明。
论文：VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use
#人工智能 #AI #论文 #学术论文 #ChatGPT #AIGC 日报
【大型语言模型和知识图谱：机遇与挑战】
大型语言模型（LLMs）已在知识表示领域乃至全球掀起了一场风暴。这一拐点标志着从显式知识表示到重新关注显式知识和参数知识混合表示的转变。该研究讨论了知识图谱（显性知识）和大词表（参数知识）社区内的一些共同争论点，并推测重新聚焦带来的机遇和愿景，以及相关的研究课题和挑战。
论文：Large Language Models and Knowledge Graphs: Opportunities and Challenges
【AI模型开始“自我防卫”：知道自己上当了】
大型语言模型（LLMs）因其能够根据人类提示生成高质量文本，正在各行各业落地应用。同时，这些模型也已被证明有可能根据用户提示生成有害内容。
通过强化学习使模型与人类价值观保持一致等方法，是当前 AI 行业的热门研究方向之一。然而，即使是对齐的语言模型也容易受到对抗性攻击，这些攻击会绕过对生成有害文本的限制。该研究提出了一种简单的方法，通过让大型语言模型过滤自身的响应来抵御这些攻击。
研究结果表明，即使模型没有微调到与人类价值观一致，也可以通过使用语言模型验证内容来阻止它向用户展示有害内容。
论文：LLM Self Defense: By Self Examination, LLMs Know They Are Being Tricked
【Natural Language is All a Graph Needs】
该研究提出了 InstructGLM（指令微调图语言模型），基于自然语言指令系统地设计了高度可扩展的提示，并使用自然语言描述图的几何结构和节点特征，以便指令调整 LLM 来执行学习以及以生成方式对图进行推理。此研究方法超越了 ogbn-arxiv、Cora 和 PubMed 数据集上的所有 GNN 基线，这证明了方法的有效性，并揭示了生成语言模型取代 GNN 作为图机器学习的基础模型的前景。
论文：Natural Language is All a Graph Needs
【IP-Adapter：用于文本到图像扩散模型的文本兼容图像提示适配器】
该研究提出了一种名为 IP-Adapter 的方法，用于在预训练的文本到图像扩散模型中实现图像提示功能。IP-Adapter 的关键设计是解耦的交叉注意机制，它将文本特征和图像特征的交叉注意层分开，实现了有效且轻量级的适配器设计。尽管方法简单，仅拥有 22M 参数的 IP-Adapter 在性能上可以媲美或超越完全微调的图像提示模型。
论文：IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
【VisIT-Bench：受现实世界应用启发的视觉语言指令跟踪基准】
该研究介绍了 VisIT-Bench（视觉指令基准），这是用于评估实际使用的指令跟踪视觉语言模型的基准。研究人员的出发点是策划 70 个“指令系列”，他们认为指令调整视觉语言模型应该能够处理这些指令。在 VQAv2 和 COCO 等评估之外，他们的任务范围还包括基本识别、游戏和创意生成。经过整理，数据集包括 592 个测试查询，每个查询都有一个由人类撰写的指令条件说明。
论文：VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use
#人工智能 #AI #论文 #学术论文 #ChatGPT #AIGC 日报
发布