DNN-Defender：一种DRAM深度神经网络对抗性权重攻击防御机制

Ranyang Zhou,Sabbir Ahmed,Adnan Siraj Rakin,Shaahin Angizi-- 2023-05-14

摘要：随着深度学习在许多安全敏感领域的部署，机器 学习安全正变得越来越重要。最近的研究 演示攻击者可以利用系统级技术利用 DRAM的RowHammer漏洞，用于确定和精确地翻转比特 深度神经网络(DNN)模型的权值影响推理精度。这个 现有的防御机制是基于软件的，例如权重重建 需要昂贵的培训开销或性能降级。另一方面 手工，基于通用硬件的以受害者/侵略者为中心的机制强制 昂贵的硬件开销，并保留受害者之间的空间连接 和侵略者的行列。在本文中，我们提出了第一个基于DRAM的 为量化DNN量身定做的以受害者为中心的防御机制，名为 DNN-利用DRAM内交换的潜力来抵御 有针对性的比特翻转攻击。我们的结果表明，DNN-Defender可以提供 高级别保护降低了目标RowHammer的性能 攻击达到随机攻击级别。此外，拟议的抗辩没有 CIFAR-10和ImageNet数据集的精度下降，不需要任何软件 培训或产生额外的硬件开销。

增强视觉变形金刚的稳健性：防御性扩散

Raza Imam,Muhammad Huzaifa,Mohammed El-Amine Azz-- 2023-05-14

摘要：医疗数据的隐私性和保密性在 医疗保健设置。VITS，SOTA视觉模型，依赖于大量的 患者数据用于培训，这引发了对数据安全和 有可能进行未经授权的访问。攻击者可能会利用 VITS用于提取敏感的患者信息并危及患者隐私。 这项工作解决了这些漏洞，以确保可信性和 VITS在医疗应用中的可靠性。在这项工作中，我们介绍了一个 作为对抗性净化器的防御性扩散技术 攻击者在原始图像中引入的对抗性噪音。通过利用 对于扩散模型的去噪能力，我们采用了反向 扩散过程，有效地消除了来自 攻击样本，生成更干净的图像，然后将其送入VIT 街区。我们的研究结果证明了扩散模型的有效性 消除图像中与攻击无关的对抗性噪声。此外，我们 建议将知识提炼与我们的框架相结合，以获得 计算高效且健壮的轻量级学生模型 抵御灰盒攻击。我们的方法与SOTA基线方法的比较， SEViT，表明我们的工作能够超过基线。广泛性 在公开可用的结核病X射线数据集上进行的实验 验证我们的计算效率和改进的健壮性 建议的体系结构。

在不牺牲语言能力的情况下学习非语言技能

Mandar Sharma,Nikhil Muralidhar,Naren Ramakrishnan-- 2023-05-14

摘要：数学-自然语言处理领域近年来有了长足的发展， 其动机是希望将LLM绩效扩展到 非语言概念(数字，以及随后的算术推理)。 然而，非语言技能的注入对LLMS来说通常是有代价的：IT 导致对核心语言技能的灾难性遗忘，其后果是 在文学作品中常常没有被提及。因为数学-NLP已经能够 创建的LLM可以接近于 小学生或计算器的算术推理技能， 如果这些模型同时摆脱了语言上的缺陷，那么它们的实用性就会失败 能力。在这项工作中，我们更仔细地观察到 灾难性的遗忘，因为它与LLM有关，并随后提供了一部小说 基于信息的LLMS非语言技能注入框架 理论干预和技能特定损失，使学习 严格的算术推理。我们的型号在以下两个方面都优于最先进的 注入非语言技能和语言知识保留，并做到了 因此，对于非语言训练数据的一小部分(1/4)和零 附加的合成语言训练数据。

多智能体系统中用于异步动作协调的Stackelberg决策转换器

Bin Zhang,Hangyu Mao,Lijuan Li,Zhiwei Xu,Dapeng Li,Rui Zhao,Guoliang Fan-- 2023-05-13

摘要：异步操作协调是一个普遍存在的挑战 多智能体系统(MAS)，可以表示为Stackelberg博弈(SG)。 然而，现有的多智能体强化学习(MAIL)的可扩展性 基于SG的方法受到网络结构的严重限制，或者 环境限制。为了解决这个问题，我们提出了Stackelberg Decision Transformer(STEER)，这是一种启发式方法，可以解决 代理之间层级协调的困难。高效驾驶 通过以下方式管理空间和时间环境中的决策流程 结合SG的层次化决策结构，对模型进行了建模 自回归序列模型的能力与探索性学习 Marl的方法论。我们的研究为智能网的发展做出了贡献 一种高效、自适应的异步动作协调方法 广泛应用于MAS中的各种任务类型和环境配置。 实验结果表明，该方法能够收敛到Stackelberg。 均衡解，并优于其他现有的方法在复杂

基于联邦学习的基于匹配特征提取的异类边缘设备工业健康预测

Anushiya Arunan,Yan Qin,Xiaoli Li,Chau Yuen-- 2023-05-13

摘要：数据驱动的工业健康预测需要丰富的训练数据来 开发准确可靠的预测模型。然而，严格的数据 隐私法和EDGE工业数据的丰富使得 分散的数据利用。因此，工业健康预测领域 非常适合显著受益于联合学习(FL)， 去中心化和隐私保护的学习技术。然而，以FL为基础的 由于健康预测任务的复杂性，很少有人对其进行研究。 将从异类数据训练的模型参数有意义地聚合到 形成高性能的联邦模型。具体地说，数据异构性在 边缘器件，源于不同的退化机制和不平等 数据集大小，对开发准确的数据构成了关键的统计挑战 联合模特。我们提出了一个开创性的基于FL的健康预测模型 一种特征相似度匹配的参数聚合算法 从不同种类的边缘数据中有区别地学习。该算法搜索 跨异类本地训练模型，并将神经元与 概率相似的特征提取函数先，然后 选择性地对它们进行平均以形成联合模型参数。作为 算法只平均相似的神经元，而不是传统的朴素算法 局部特征提取因子--坐标方向神经元的平均 模型在对结果联邦模型的稀释较少的情况下继续进行。 使用锂离子电池的循环退化数据和非循环数据 以涡扇发动机为例，我们证明了所提出的方法的准确性。 健康状况评估的改进分别高达44.5%和39.3% 分别进行剩余使用寿命估算。

利用轻量级All-ConvNet和Transfer学习的基于表面肌电信号的会话间/主题间手势识别

Md. Rabiul Islam,Daniel Massicotte,Philippe Y. Massicotte,Wei-Ping Zhu-- 2023-05-13

摘要：基于低分辨率瞬时高清表面肌电信号的手势识别开启 为开发更多流质和自然的肌肉开辟新途径-计算机 接口。然而，会话间和会话之间的数据可变性 跨主题的场景是一个巨大的挑战。现有的方法 采用超大规模复杂深度ConvNet或基于2SRNN的领域适配 方法来近似由这些会话间和 研究对象间的数据可变性。因此，这些方法也需要不断学习 数以百万计的训练参数和大的预先训练和目标领域 训练前和适应阶段的数据集。因此，它使 高端资源受限且计算成本非常高的部署 实时应用程序。为了克服这个问题，我们提出了一个轻量级的 利用轻量级All-ConvNet和Transfer的All-ConvNet+TL模型 用于增强会话间和主题间手势的学习(TL) 识别性能。All-ConvNet+TL模式仅包含 卷积层，一种简单而高效的学习不变量的框架 和歧视性表示，以解决由以下因素引起的分配转移 会议间和主题间数据的可变性。在四个数据集上的实验 证明我们提出的方法比现有的最复杂的方法性能更好 方法，并在以下方面取得最先进的成果 会话间和主题间场景，并按标准或竞争方式执行 关于会话内手势识别。这些性能差距进一步扩大 当目标上有少量(例如，单个试验)可用数据时 适应领域。这些杰出的实验结果提供了证据 当前最先进的模型可能被过度参数化 基于表面肌电信号的会话间和子集间

DAC-MR：基于数据增强一致性的元正则化元学习

Jun Shu,Xiang Yuan,Deyu Meng,Zongben Xu-- 2023-05-13

摘要：元学习近年来得到了广泛的研究，并帮助推动了 当代机器学习。然而，实现良好的元学习 模型需要大量的训练任务和高质量的元数据 表示底层任务泛化目标，这有时是 对于实际应用来说，获得这种产品既困难又昂贵。当前 然而，元数据驱动的元学习方法相当难训练 元模型令人满意，但训练任务不完善。为了解决这个问题， 我们提出了一个元知识信息元学习(MKIML)框架来改进 通过额外地将补偿的元知识整合到 元学习过程。我们初步将元知识整合到 元目标通过使用适当的元正则化(MR)目标来实现 正规化元模型函数类的容量复杂度，便于 更好地对看不见的任务进行泛化。作为一个实际的实现，我们 引入数据扩充一致性，将不变性编码为元知识 用于实例化MR目标，由DAC-MR表示。拟议的DAC-MR是 希望从嘈杂的训练任务中学习性能良好的元模型， 稀疏或不可用的元数据。我们从理论上证明了DAC-MR可以 被视为用于评估元模型的代理元目标，而不 高质量的元数据。此外，元数据驱动的元损失目标组合 使用DAC-MR能够实现更好的元级泛化。10 使用不同网络架构和基准的元学习任务 证实我们的DAC-MR在辅助元模型学习方面的能力。很好 DAC-MR的性能在所有设置中均可获得，并且非常一致 凭借我们的理论见解。这意味着我们的DAC-MR是 问题不可知，并有望应用于广泛的元学习 问题和任务。

异质数据联合学习中模型平均的理解

Tailin Zhou,Zehong Lin,Jun Zhang,Danny H.K. Tsang-- 2023-05-13

摘要：模型平均是联邦学习中广泛采用的一种技术， 聚合针对异类数据训练的多个客户端模型，以获得 表现出色的全球模型。然而，其成功背后的理由并不是 很好理解。为了阐明这个问题，我们研究了几何 通过可视化损失/错误情况来实现模型平均的特性。这个 几何可视化显示，客户端模型围绕着全局 一个共同盆地内的模型，而全球模型可能偏离底部 尽管它比客户模型表现得更好。为了进一步 为了理解这一现象，我们对模型的预期预测误差进行分解 全球模型分为五个与客户模型相关的因素。具体来说，我们发现 早期训练后的全局模型误差主要来自i) 客户端数据集和之间的非重叠数据上的客户端模型错误 全局数据集和ii)全局和客户端之间的最大距离 模特们。受这些发现的启发，我们建议采用迭代移动 对全局模型进行平均(IMA)以减少预测误差和限制 客户探索，控制训练后期的最大距离。我们的 实验表明，IMA显著提高了识别的准确率和识别率 现有FL方法在具有不同数据的基准数据集上的训练速度

用于结构模拟和桥梁健康监测的神经算子

Chawit Kaewnuratchadasorn,Jiaji Wang,Chul-Woo Kim-- 2023-05-13

摘要：将深度学习融入结构工程已受到广泛关注。 既要注意正问题(结构模拟)也要注意反问题 问题(结构健康监测)。基于傅里叶神经算子，这是 研究提出用VINO(车桥交互神经算子)作为 桥梁结构的数字孪生。Vino学习结构之间的映射 响应字段和损坏字段。在本研究中，VBI-FE数据集是 通过运行参数有限元(FE)模拟建立，考虑了 结构初始损伤场的随机分布。随后，VBI-EXP 数据集是通过在四种损伤下进行实验研究而产生的 场景。在Vino通过VBI-FE进行预培训并通过VBI-EXP进行微调之后 桥梁处于健康状态，模型实现了以下两点 改进。首先，正向维诺可以预测结构对损伤的反应。 现场输入比有限元模型更准确。第二，逆维诺可以 确定、定位和量化所有情况下的损害，建议 数据驱动方法的实用性。

相扑-K向高阶集合论的转换

Chad Brown,Adam Pease,Josef Urban-- 2023-05-13

摘要：我们描述了从相扑(相扑-K)到高阶相扑的一种翻译 集合论。该翻译为相扑的部分提供了正式的语义 它们超出了一阶的范围，以前只有一个非正式的 释义。它还首次嵌入了一个大型常识本体论 变成一个非常安全的交互式定理证明系统。我们进一步延长了我们的 相扑从一阶构造到相扑矛盾求解的研究 包括部分相扑的更高层次的构造。最后，使用 翻译，我们可以创造一些问题，这些问题可以用更高的阶数来证明 交互式和自动化的定理证明器。这在几个系统中进行了测试 并可用于形成高阶常识推理语料库

学会遗忘：机器遗忘研究综述 Youyang Qu,Xin Yuan,Ming Ding,Wei Ni,Thierry Rakotoarivelo,David Smith--2023-05-12 摘要：机器学习(ML)模型包含私有信息，并实现了 在许多数据中，被遗忘权是一个具有挑战性的隐私问题 申请。机器遗忘已经成为一种替代消除 来自训练过的模型的敏感数据，但完全重新训练ML模型是 通常是不可行的。这项调查提供了对机器的简明评估 忘却技术，包括精确方法和近似方法， 可能的攻击，以及验证方法。这项调查比较了两种方法的优点 并对每种方法进行限制，并使用Deltag rad评估它们的性能 精确的机器遗忘方法。调查还强调了一些挑战，如 迫切需要一种稳健的非IID删除模式，以减轻公平性 问题。总体而言，这项调查提供了关于机器遗忘的全面概要 技术和应用，

Sustain.AI：一个分析可持续发展报告的推荐系统 Lars Hillebrand,Maren Pielka,David Leonhard,Tobias Deußer,Tim Dilmaghani,Bernd Kliem,Rüdiger Loitz,Milad Morad,Christian Temath,Thiago Bell,Robin Stenzel,Rafet Sifa--2023-05-15 摘要：我们介绍了这个http URL，这是一个智能的、上下文感知的推荐系统 协助核数师和财务投资者以及一般公众 高效分析公司的可持续发展报告。该工具利用 耦合基于BERT的编码模块的端到端可训练体系结构 具有多标签分类头以匹配来自 可持续发展报告来自全球各自的法律法规 报告倡议(GRI)标准。我们在两个新颖的德国人身上对我们的模型进行了评估 可持续发展报告数据集并持续实现显著 与多条强基线相比，