近年来,神经排序模型 (NRM) 取得了显着的成功,尤其是在预训练语言模型方面。然而,深度神经模型因容易受到对抗性示例的影响而臭名昭著。鉴于我们越来越依赖神经信息检索模型,对抗性攻击可能成为一种新型的网络垃圾邮件技术。因此,重要的是研究潜在的对抗性攻击,以便在部署之前识别 NRM 的漏洞。 在本文中,我们介绍了针对 NRM 的单词替换排名攻击 (WSRA) 任务,该任务旨在通过向其文本添加对抗性扰动来提升目标文档的排名。我们专注于基于决策的黑盒攻击设置,攻击者无法直接访问模型信息,而只能查询目标模型以获得部分检索列表的排名位置。这种攻击设置在现实世界的搜索引擎中是现实的。我们提出了一种新颖的基于伪相关性的对抗性排序攻击方法 (PRADA),该方法学习基于伪相关性反馈 (PRF) 的替代模型以生成用于寻找对抗性扰动的梯度。 在两个网络搜索基准数据集上进行的实验表明,PRADA 可以胜过现有的
最近,基于知识图谱(KGs)的推荐系统成为一个热门的研究方向。图神经网络(GNN)是基于知识图谱的推荐系统的关键技术。然而,现有的 GNN 有一个重大缺陷:它们无法明确地模拟用户在推荐中的意图。意图在用户的行为中起着至关重要的作用。例如,用户可能首先产生购买某组商品的意向,然后根据他们的偏好从该组中选择特定商品。因此,显式建模意图对于提高推荐性能和为推荐提供解释具有积极意义。在本文中,我们提出了一种称为主题感知意图网络 (TIN) 的新模型,用于使用 KG 进行可解释的推荐。TIN 从偏好和意图视图中对用户表示进行建模。具体来说,我们设计了一个关系注意力图神经网络来选择性地聚合 KG 中的信息以学习用户偏好,并提出了一个知识增强的主题模型来学习用户意图,这被视为隐藏在用户行为序列中的主题。最后,我们通过注意力网络融合用户偏好和意图来获得用户表示。实验结果表明,我们提出的模型优于最先进的
在新闻推荐中,用户每天都会被数千条新闻淹没,这使得用户的行为数据具有很高的稀疏性。因此,仅仅考虑单个用户的个性化偏好是无法支持新闻推荐的。如何提高新闻与用户的相关性,降低数据稀疏性成为研究热点。最近的研究试图使用图模型来丰富用户与新闻之间的关系,但它们仍然局限于对单个用户的历史行为进行建模。为了填补这个空白,我们整合了用户-新闻关系和整体用户历史点击新闻序列来构建一个全局异构转换图。并提出了一种改进方法来识别图中的新闻转换模式。基于全局异构转移图,我们提出了一个异构转换图注意力网络来捕获大多数用户的共同行为模式,以增强用户兴趣的表示。融合用户的个性化和共同兴趣,我们提出GAINRec模型有效推荐新闻。在两个公共新闻推荐数据集上进行了大量实验,结果表明所提出的GAINRec模型与最先进的新闻推荐模型相比具有优越性。我们模型的实现可在 https://github.com/newsrec/GAINRec
点击率 (CTR) 估计在现代在线个性化服务中起着至关重要的作用。通过对连续的用户行为进行建模以构建准确的 CTR 预估模型来捕捉用户的漂移兴趣至关重要。然而,由于用户在在线平台上积累了大量的行为数据,目前的CTR模型不得不截断用户行为序列并利用最近的行为,这导致了周期性或长期依赖性等序列模式的问题。不包含在最近的行为中,而是包含在很久以前的历史中。然而,由于两个原因,直接使用它来对整个用户序列进行建模并非易事。首先,非常长的输入序列会使在线推理时间和系统负载不可行。其次,很长的序列包含很多噪音,从而使 CTR 模型难以有效地捕捉有用的模式。为了解决这个问题,我们从输入数据的角度考虑它,而不是设计更复杂的模型。由于整个用户行为序列包含较多的噪声,因此没有必要输入整个序列。相反,我们可以仅检索其中的一小部分作为 CTR 模型的输入。在本文中,我们提出了用户行为检索( UBR )框架,旨在根据每个
情绪-原因对提取(ECPE)是最近提出的一项任务,旨在提取文档中潜在的情绪子句对及其相应的原因。在本文中,我们为 ECPE 任务提出了一种新的范式。我们将该任务作为两轮机器阅读理解 (MRC) 任务,即将情绪和原因的提取转换为从特定于查询的输入文档中识别答案子句的任务。这种两轮 MRC 形式化带来了几个关键优势:首先,QA 方式提供了一种明确的配对方式来识别特定于目标情绪的原因;其次,它提供了一种自然的方式来联合建模情感提取、原因提取以及情感和原因的配对;第三,它允许我们利用成熟的 MRC 模型。基于双转 MRC 形式化,我们提出了一种双 MRC 框架,以双向方式提取情绪-原因对,从而更全面地覆盖所有配对案例。此外,我们为第二轮查询提出了一致的训练策略,以便模型能够过滤第一轮在推理时产生的错误。在两个基准数据集上的实验表明,我们的方法优于以前的方法并实现了最先进的性能。本工作的所有代码和数据都可以在
为项目推荐合适的标签可以促进内容组织、检索、消费和其他应用,其中混合标签推荐系统已被用来整合协作信息和内容信息以获得更好的推荐。在本文中,我们提出了一种用于标签推荐的多辅助增强协作变分自动编码器 (MA-CVAE),它通过定义生成过程来耦合项目协作信息和项目多辅助信息,即内容和社交图。具体来说,该模型使用变分自动编码器 (VAE) 从不同的项目辅助信息中学习深度潜在嵌入,通过引入由深度神经网络参数化的潜在变量,可以在每个辅助信息上形成生成分布。而且,为了为新项目推荐标签,项目多辅助潜在嵌入被用作通过项目解码器预测每个标签的推荐概率的代理,其中在训练阶段添加重建损失以通过不同的辅助嵌入来约束反馈预测的生成. 此外,归纳变分图自动编码器被设计用于在测试阶段推断新项目的潜在嵌入,以便可以为新项目利用项目社会信息。MovieLens 和 citeulike 数据集上的大量实验证明了我们方法的有效性
顺序推荐模型旨在根据用户的历史行为预测用户感兴趣的项目。为了训练顺序推荐器,隐式反馈数据被广泛采用,因为它比显式反馈数据更容易获得。在隐式反馈的设置中,用户的历史行为可以表征为按时间顺序排列的交互项序列。从机器学习的角度来看,历史交互序列和推荐项目可以分别视为上下文和标签,它们通常在推荐模型中以one-hot表示。 然而,由于离散性,one-hot representations 很难充分反映潜在的用户偏好,并且还可能包含来自隐式反馈的噪声,这些噪声会误导模型训练。为了解决这些问题,我们提出了一个通用的优化框架,多视图平滑度(MVS),以增强顺序推荐模型在数据表示和模型学习中的平滑度。具体来说,在互补模型的帮助下,我们平滑和丰富了上下文和标签的单热表示,以更好地描述潜在的用户偏好(即上下文平滑度和标签平滑度),并设计了一种模型正则化策略来加强邻域模型本身的平滑度(即模型平滑度)。基于这些策
使用随机数据集的去偏推荐在减轻系统引起的偏差方面显示出非常有希望的结果。然而,与没有随机数据集的其他更深入研究的路线相比,它仍然缺乏更多的理论见解或理想的优化目标函数。为了弥合这一差距,我们从一个新的角度研究了去偏问题,并提出直接最小化理想目标函数的上限,这有助于更好地解决系统引起的偏差。首先,我们用随机数据集制定了一个新的理想优化目标函数。其次,根据采用的损失函数可能满足的先验约束,我们推导出目标函数的两个不同上界,即 与三角不等式相关的泛化误差和与可分离性相关的泛化误差。第三,我们表明大多数现有的相关方法都可以被视为对这两个上限的优化不足。第四,我们提出了一种使用随机数据集 (DUB) 去除近似上限的新方法,该方法实现了对这些上限的更充分优化。最后,我们在公共数据集和真实产品数据集上进行了大量实验,以验证我们 DUB 的有效性。这实现了对这些上限的更充分的优化。最后,我们在公共数据
词汇和语义匹配捕获了不同的成功文本检索方法,并且它们的结果融合已被证明比单独使用任何一种方法更有效和稳健。先前的工作通过使用不同系统(例如,分别是 Lucene 和 Faiss)进行词汇和语义匹配,然后融合它们的模型输出来执行混合检索。相比之下,我们的工作通过将高维词汇表示密集化为我们所说的低维密集词汇表示 (DLR),将词汇表示与密集语义表示相结合。我们的实验表明,DLR 可以有效地逼近原始词汇表示,在提高查询延迟的同时保持有效性。此外,我们可以结合密集的词汇和语义表示来生成密集的混合表示(DHR),与现有的混合技术相比,它更灵活并产生更快的检索。此外,我们探索在单个模型中联合训练词汇和语义表示,并根据经验表明生成的 DHR 能够结合各个组件的优势。我们最好的 DHR 模型在域内和零样本评估设置中与最先进的单向量和多向量密集检索器竞争。此外,我们的模型既更快又需要更小的索引,使我们的密集
推荐系统目前广泛应用于帮助人们过滤信息的各种应用中。现有模型总是将丰富的推荐信息,如物品、用户、上下文等嵌入到实值向量中,并根据这些向量进行预测。从因果推理的角度来看,表示向量和用户反馈之间的关联不可避免地混合了描述用户为什么喜欢某个项目的因果部分和仅反映统计依赖关系的非因果部分,例如,显示排名位置和促销。然而,大多数推荐系统都假设用户-项目交互仅受用户偏好的影响,而忽略了这两种关联之间的显着差异。为了解决这个问题,我们提出了一个名为 IV4Rec+ 的与模型无关的因果学习框架,它可以有效地将嵌入向量分解为这两部分。此外,还提出了两种将搜索查询用作工具变量的策略:IV4Rec+(I) 仅分解项目嵌入,而 IV4Rec+(UI) 分解用户和项目嵌入。IV4Rec+ 是一种与模型无关的设计,可以应用于许多现有的推荐系统,例如 DIN、NRHUB 和 SRGNN。在三个数据集上进行的大量实验表明,IV4Rec+
基于位置的服务的流行产生了大量的签到,使人类流动性理解的任务成为可能。在与签到地点相关的各种类型的信息中,类别(例如,酒吧和博物馆) 对任务至关重要,因为它们通常用作场地的出色语义表征。尽管意义重大,但签到服务中的很大一部分场馆甚至没有一个类别标签,例如 Foursquare 系统中多达 30% 的场馆没有类别标签。因此,我们解决了语义场所注释的问题,即用语义类别标记场所。现有方法要么无法充分利用签到序列中的上下文信息,要么不考虑相关类别之间的语义相关性。因此,我们设计了一个树引导的多任务嵌入模型(简称 TME)来学习语义注释的场所和类别的有效表示。TME 通过对签到的多上下文进行建模来共同学习一个公共特征空间,并利用预定义的类别层次结构来规范类别之间的相关性。我们评估 TME 在两个签到数据集上的语义场所注释任务。实验结果表明 TME 优于几个最先进的基线。
团队形成涉及识别一组专家,这些专家很可能彼此有效合作以满足输入技能的集合。该任务的解决方案主要采用图操作,至少有以下局限性:(1)它们对计算要求很高,因为它们需要在大型协作网络上寻找最短路径;(2) 他们使用各种类型的启发式方法来减少协作网络上的探索空间,以使其变得切实可行;因此,他们的结果不一定是最优的;(3) 鉴于这些网络的稀疏性,它们不太适合协作网络结构。我们的工作提出了一种变分贝叶斯神经网络架构,该架构可以学习其成员在过去相互合作的团队的表示。学习到的表示允许我们提出的方法来挖掘具有过去合作历史的团队,并共同涵盖所要求的所需技能集。通过我们的实验,我们从定量和定性的角度证明,与一系列强大的团队组建技术相比,我们的方法表现出更强的性能。
从海量在线评论中有策略地选择有价值的小子集,有利于提高消费者在电子商务中的决策效率。现有的评论选择方法主要关注评论的信息量,旨在找到能够反映原始评论集信息属性的评论子集。然而,没有充分考虑消费者在两阶段决策过程中审查饮食的变化。在这项研究中,我们提出了一个新的评论选择问题,即寻找一个具有高多样性和代表性的饮食匹配评论子集,它可以更好地适应消费者在两个决策阶段之间从面向属性的评论到面向体验的评论的饮食转换。进一步提出了一种新的基于决策阶段的评论选择方法DPRS,它包括两个步骤:评论分类和评论选择。在评论分类步骤中,通过先验知识感知的注意力神经网络估计评论是属性导向或体验导向的概率。在第二步中,引入了一种新的启发式算法,即具有优势策略的逐步非支配选择,以寻求评论选择问题的解决方案。在真实世界的数据集上进行的大量实验表明,DPRS 在评论分类和评论选择方面都优于最先进的方法。即采用优势策略的逐步
基于图学习的协同过滤(GLCF)建立在图神经网络(GNN)的消息传递机制之上,最近受到了极大的关注,并在推荐系统中表现出卓越的性能。然而,尽管如先前的工作所示,GNN 很容易受到对抗性攻击的破坏,但很少有人关注 GLCF 的脆弱性。诸如 GLCF 模型能否像 GNN 一样容易被愚弄的问题在很大程度上仍未得到探索。在本文中,我们建议研究 GLCF 的脆弱性。具体来说,我们首先提出针对 CLCF 的对抗性攻击。考虑到攻击 GLCF 的独特挑战,我们建议在搜索局部最优扰动时采用贪心策略,并设计合理的攻击效用函数来处理不可微分的面向排序的指标。接下来,我们提出了一种防御措施来加强 GCLF。防御基于这样的观察,即攻击通常会在图中引入可疑交互以操纵消息传递过程。然后,我们建议测量每次交互的可疑分数,并进一步降低可疑交互的消息权重。我们还为其稳健性提供了理论上的保证。三个基准数据集的实验结果显示了我们
TikTok、YouTube 和 Kwai 等媒体共享平台的爆发使普通用户能够创建内容并与全球观众共享。最受欢迎的 YouTuber 最多可以吸引 1 亿粉丝。由于有多个流行平台,YouTuber 将同一媒体发布到多个平台,或者将所有媒体从一个平台复制到另一个平台是很常见的。但是,不同平台的用户有不同的口味。在一个平台上流行的媒体可能在其他平台上并不流行。观察这种跨平台差异,我们提出了一项新任务:根据媒体在其他平台上的受欢迎程度,估计该媒体在一个平台上的用户参与度得分。这项任务对 YouTube 用户和平台都有好处。一方面,YouTubers 可以使用预测的参与度来指导媒体重新制作;另一方面,平台可以使用预测的参与度来制定促销和广告计划。因此,本课题具有很大的实用价值。为了解决这个任务,我们提出了一个解缠结的神经网络,可以将一般媒体的可爱程度与平台倾向分开。以这种方式,通过替换从源平台到目
基于时间排序的用户-项目交互捕获动态用户兴趣的推荐系统在现实世界中起着至关重要的作用。尽管现有的基于深度学习的推荐系统表现出良好的性能,但这些方法有两个主要缺点。首先,用户兴趣是多种因素共同作用的结果。然而,现有方法没有充分挖掘潜在的影响因素,忽略了用户-项目交互的形成过程。粗粒度的建模模式不能准确反映复杂的用户兴趣,导致推荐结果不理想。此外,这些方法是隐式的,并且主要以黑盒方式运行。很难解释他们的建模过程和推荐结果。第二,推荐数据集通常呈现无标度分布,一些现有的推荐系统利用双曲线空间来匹配数据分布。但他们忽略了双曲空间中的运算比欧几里得空间中的运算更复杂,这进一步增加了模型解释的难度。针对上述缺点,我们提出了一个乙可解释的H双曲线的吨暂时的P药膏P用户项目交互序列生成(EHTPP)的过程。具体来说,EHTPP 将每个用户-项目交互视为双曲空间中的事件,并采用时间点过程框架来模拟事件发生的
数据稀疏性一直是准确可靠的推荐系统 (RS) 的一个长期存在的问题。为了缓解这个问题,许多研究人员非常关注跨域推荐(CDR),它旨在从相关源域迁移丰富的知识,以提高稀疏目标域的推荐性能。为了达到知识转移的目的,最近的 CDR 工作总是专注于设计源域和目标域之间不同的成对有向或无向信息转移策略。然而,这种成对迁移的思想很难直接适应多目标 CDR 场景,例如在多个域之间迁移知识并同时提高它们的性能,因为这种策略可能会导致以下问题:(1)当域数量增加时,传输模块的数量将呈指数增长,这会导致大量的计算复杂度。(2) 单个成对传输模块只能捕获两个域的相关信息,而忽略其他域的相关信息,这可能会限制传输效果。(3) 在成对迁移过程中,当一个稀疏域作为源域时,很容易导致负迁移问题,不可信信息可能会损害目标域推荐性能。在本文中,我们考虑了多目标 CDR 任务的关键挑战:如何在多个域中识别最有价值的可信信息并
由于从预训练任务中获得了卓越的语言理解,神经文档排名模型表现出色。然而,由于它们的复杂性和大量参数,这些(通常是基于转换器的)模型通常是不可解释的,因为排名决策不能清楚地归因于输入文档的特定部分。 在本文中,我们提出了排序模型,这些模型通过生成解释作为预测决策的副产品而具有内在的可解释性。我们介绍了用于文档排名的Select-And-Rank范例,我们首先将解释输出为文档中选定的句子子集。此后,我们仅使用解释或选择来进行预测,使解释成为排名过程中的一等公民。从技术上讲,我们将句子选择视为与最终输出中的排序器联合训练的潜在变量。为此,我们提出了一种端到端的训练技术,用于使用Gumbel-max 技巧利用可重参数化子集采样的Select-And-Rank模型。 我们进行了大量实验,以证明我们的方法与最先进的方法相比具有竞争力。我们的方法广泛适用于众多排名任务,并进一步实现了构建可通过设计解释的
联合推荐系统 (FRS),它使许多本地设备能够在不传输本地原始数据的情况下联合训练共享模型,已成为具有隐私保护优势的流行推荐范例。然而,之前关于 FRS 的工作是通过连续嵌入空间中的内积进行相似性搜索,当项目规模非常大时,这会造成效率瓶颈。我们认为,联邦设置中的这种方案忽略了资源受限用户设备的有限容量(即存储空间、计算开销和通信带宽),并使其更难部署在大规模推荐系统中。此外,已经表明,在服务器和客户端之间以实值形式传输局部梯度可能会泄露用户的隐私信息。为此,LightFR,它能够在联邦设置下利用学习哈希技术生成高质量的二进制代码,从而享受快速的在线推理和经济的内存消耗。此外,我们设计了一种高效的联邦离散优化算法,在服务器和客户端之间协同训练模型参数,可以有效防止恶意方的实值梯度攻击。通过对四个真实世界数据集的广泛实验,我们表明我们的 LightFR 模型在推荐准确性、推理效率和数据隐私方面优于几种最先进的
跨域推荐旨在利用来自数据充足域(源域)的异构信息将知识转移到数据稀缺域(目标域)。大多数现有方法都侧重于利用域共享信息促进目标域推荐的单向传输。然而,通过双迁移学习模式同时提高两个域的推荐性能更为有益,这被称为双向跨域推荐(BCDR)。现有的 BCDR 方法有其局限性,因为它们仅基于域共享表示执行双向迁移学习,而忽略了每个域私有的丰富信息。在本文中,我们认为,由于该域的特征,用户可能具有域偏向偏好。也就是说,特定领域的偏好信息在推荐中也起着至关重要的作用。为了有效地利用特定领域的信息,我们提出了一个多层次的基于注意力的域纠缠框架,称为MADD对于 BCDR,它明确利用注意力机制来构建个性化偏好,该偏好具有通过解开原始用户嵌入获得的域不变和域特定特征。具体来说,领域不变特征被领域对抗学习利用,而领域特定特征是通过施加正交损失来学习的。然后,我们对分离的特征进行重建过程,以确保语义充足。之后,
提供用户可以理解的解释来证明推荐的合理性可以帮助用户更好地理解推荐的项目,增加系统的易用性,并获得用户的信任。实现它的典型方法是自然语言生成。然而,以前的工作大多采用递归神经网络来达到目的,而没有充分探索可能更有效的预训练 Transformer 模型。事实上,用户和项目 ID 作为推荐系统中的重要标识符,与预训练模型已经训练过的词一样,本质上位于不同的语义空间中。因此,如何有效地将 ID 融合到此类模型中成为一个关键问题。受即时学习的最新进展启发,我们提出了两个解决方案:找到表示 ID 的替代词(称为离散提示学习)并将 ID 向量直接输入预训练模型(称为连续提示学习)。在后一种情况下,ID 向量是随机初始化的,但模型是预先在大型语料库上训练的,因此它们实际上处于不同的学习阶段。为了弥合差距,我们进一步提出了两种训练策略:顺序调整和推荐作为正则化。大量实验表明,我们配备训练策略的持续快速学
知识追踪的目标是根据学生过去的问题回答序列来预测他们未来的表现,以追踪他们的知识状态,对于计算机辅助教育和智能辅导系统来说至关重要。尽管许多技术努力致力于根据学生的问答序列对学生进行建模,但每个序列中的问答对之间的细粒度交互建模尚未得到充分探索。这会导致问答表示的语境化程度降低,并进一步限制学生建模。为了解决这个问题,我们首先进行了数据分析,揭示了序列中不同问答对之间复杂交叉效应的存在。因此,我们提出了 MRT-KT,一种用于知识追踪的多关系转换器,以启用问题-响应对之间的细粒度交互建模。它引入了一种基于知识概念和学生表现的新型关系编码方案。综合实验结果表明,MRT-KT 在四个广泛使用的数据集上优于最先进的知识追踪方法,验证了考虑细粒度交互进行知识追踪的有效性。
已经提出了许多点击模型来解释与搜索引擎的自然交互日志,并提取无偏见的信息以进行评估或学习。用于评估它们的实验设置通常涉及测量两个指标,即点击预测的测试困惑和相关性估计的归一化折扣累积增益。在这两种情况下,假设用于训练和测试的数据是使用相同的排名策略收集的。我们质疑这个假设。 基于点击模型的重要下游任务涉及评估与训练策略不同的策略——也就是说,点击模型需要在策略分布转移(PDS) 下运行。我们表明点击模型对此很敏感。这会严重阻碍他们在目标任务上的表现:传统的评估指标不能保证点击模型在分布转移下同样表现出色。 为了更可靠地预测 PDS 下的点击模型性能,我们提出了一种新的评估协议。它使我们能够比较六种类型的点击模型在各种班次、训练配置和下游任务下的相对稳健性。我们深入了解使 PDS 敏感性恶化的因素,并制定指南以降低基于点击模型部署策略的风险。
顺序推荐 (SR) 旨在根据用户的历史交互预测用户的下一个交互项。大多数现有的顺序推荐系统仅使用项目级表示对用户偏好进行建模,其中用户的交互序列通常使用顺序或基于图形的方法建模,以推断用户的顺序交互模式。然而,由于用户的偏好因素可能会随时间变化,因此基于项目级别的用户建模很难准确充分地代表用户的偏好,从而导致推荐性能欠佳。此外,基于项目级用户表示的推荐结果缺乏偏好因素的可解释性。为了解决这些问题,我们在本文中提出了一种具有双视图用户表示的新颖 SR 模型,即 DUVRec,项目视图和因素视图. 具体来说,item-view user representation 像以前的 SR 模型一样被学习来编码 item level 的用户偏好,而 factor-view user representation 是通过粗粒度图嵌入方法学习的,以在偏好方面明确地表示用户因素。因此,这种双视图用户表示比以前的
相似文本搜索的目的是从数据库中找到与给定查询相关的文本,这在许多信息检索应用程序中都是基础的,例如问题搜索和练习搜索。由于实际搜索引擎系统背后总是存在数百万文本,因此一个完善的文本搜索系统通常由召回和排名阶段组成。具体来说,召回阶段作为系统的基础,主要目的是准确高效地找到一小组相关候选人。为了实现这一目标,将原始文本投影为紧凑的哈希码的深度语义哈希可以支持良好的搜索性能。然而,由于以下问题,学习所需的文本哈希码非常困难。首先,紧凑的哈希码(长度较短)可以提高检索效率,但是由于严重的信息丢失,学习紧凑哈希码的需求不能保证准确性。其次,现有方法总是从局部角度学习空间中分布不均匀的代码,导致代码平衡结果不尽如人意。第三,很大一部分文本数据在实际应用中包含各种类型的噪声,这导致哈希码中语义的偏差。为此,在本文中,我们首先提出了一种通用的无监督编码器-解码器语义哈希框架,即 MASH(Memory-based
研究人员最近在基于所谓的由变换器生成的学习稀疏表示的模型排名方面取得了成功。这种方法的一个关键优势是此类模型可以利用倒排索引进行 top- k检索,从而利用数十年来在高效查询评估方面的工作。然而,关于这些学习到的表示如何适应现有文献,仍然存在许多悬而未决的问题,我们的工作旨在使用四种具有代表性的学习稀疏模型来解决这些问题。我们发现,在经过充分研究的一次文档 ( DaaT ) 方法中,转换器生成的影响权重似乎大大减少了跳过和提前退出优化的机会。同样,“现成的”一次评分应用程序 ( SaaT) 处理表现出这些权重与累加器管理策略背后的假设之间的不匹配。在这些观察的基础上,我们提出解决方案来解决DaaT和SaaT方法的缺陷,从而显着加快查询评估。我们详细的实证分析表明,这两种方法都位于有效性-效率帕累托边界上,表明部署的最佳选择取决于操作约束。
数字实验通常用于测试相对于现状控制设置的治疗价值——例如,网站的新搜索相关性算法或移动应用程序的新结果布局。随着数字实验在组织和广泛的研究领域中变得越来越普遍,它们的增长为实验平台带来了一系列新的挑战。一个挑战是,实验通常侧重于平均治疗效果 (ATE),而没有明确考虑主要亚组之间的差异:异质治疗效果 (HTE)。这尤其成问题,因为随着更明显的好处已经实现,许多组织中的 ATE 已经减少。然而,关于用户 HTE 的普遍性以及如何最好地检测它们的问题比比皆是。我们提出了一个在数字实验中检测和分析用户 HTE 的框架。我们的框架结合了一系列用户特征和双重机器学习。对跨越 17.6 亿个会话的 27 个真实世界实验和模拟数据的分析证明了我们的检测方法相对于现有技术的有效性。我们还发现,在 10% 到 20% 的真实世界实验中,交易、人口统计、参与度、满意度和生命周期特征在统计上表现出显着的 HTE
推荐系统在信息过滤中起着重要作用,并已在电子商务和社交媒体等不同场景中得到应用。随着深度学习的繁荣,深度推荐系统通过捕获非线性信息和项目-用户关系显示出优越的性能。然而,深度推荐系统的设计在很大程度上依赖于人类经验和专家知识。为了解决这个问题,引入了自动机器学习 (AutoML) 来自动为深度推荐系统的不同部分搜索合适的候选者。该调查对该领域的文献进行了全面审查。第一的,我们为深度推荐系统 (AutoRecSys) 的 AutoML 提出了一个抽象概念,该概念描述了其构建块并将其与传统的 AutoML 技术和推荐系统区分开来。其次,我们将分类法作为一个分类框架,包含特征选择搜索、嵌入维度搜索、特征交互搜索、模型架构搜索和其他组件搜索。此外,我们特别强调搜索空间和搜索策略,因为它们是连接每个类别中所有方法的共同线索,并使从业者能够分析和比较各种方法。最后,我们提出了四个未来有前途的研究方向,
基于设备上会话的推荐系统由于低能耗/资源消耗和隐私保护而受到越来越多的关注,同时提供有前途的推荐性能。为了在资源受限的移动设备中适应强大的基于神经会话的推荐模型,张量序列分解及其变体已被广泛应用于通过将嵌入表分解为更小的张量来减少内存占用,显示出压缩推荐模型的巨大潜力。然而,由于生成索引列表和一系列张量乘法以形成项目嵌入的复杂过程,这些模型压缩技术显着增加了局部推理时间。由此产生的设备上推荐器无法提供实时响应和推荐。为了提高在线推荐效率,我们建议学习基于组合编码的紧凑项目表示。具体来说,每个项目都由一个由几个码字组成的组合代码表示,我们学习嵌入向量来表示每个码字而不是每个项目。然后来自不同嵌入矩阵(即代码本)的码字嵌入向量的组合形成项目嵌入。由于码本的大小可以非常小,因此推荐模型能够适应资源受限的设备并保存码本以进行快速本地推理。此外,为了防止压缩导致的模型容量损失,我们提出了双向自监督知
多行为推荐利用多种类型的用户-项目交互,例如视图和购物车,以了解用户偏好,并已被证明是缓解传统模型所面临的数据稀疏问题的有效解决方案,传统模型通常仅使用一种类型的交互进行推荐。在真实场景中,用户往往会采取一系列动作与物品进行交互,以获取更多关于物品的信息,从而准确评估物品是否符合自己的个人喜好。这些交互行为往往遵循一定的顺序,更重要的是,不同的行为揭示了用户对目标项目的不同信息或偏好方面。现有的多行为推荐方法大多采用先分别从不同行为中提取信息,然后融合进行最终预测的策略。然而,他们没有利用不同行为之间的联系来了解用户偏好。此外,他们经常引入复杂的模型结构和更多的参数来对多种行为进行建模,大大增加了空间和时间的复杂性。在这项工作中,我们提出了一个轻量级的多行为推荐模型,名为级联剩余 图卷积网络_ _ _ _ _ (简称CRGCN)用于多行为推荐,它可以在不引入任何额外参数的情况下明确利用不同
当推荐算法只考虑用户的偏好和兴趣时,会导致严重的项目长尾问题。因此,由此问题导致的推荐商品不公平曝光现象近年来引起了广泛关注。我们首次揭示了基于会话的推荐系统 (SRS) 存在更严重的不公平暴露问题这一事实,该系统从匿名会话中学习用户的短期和动态偏好。考虑到在 SRS 中多次提供推荐并且项目曝光在会话中的交互中累积这一事实,我们为项目曝光的公平性和会话之间的推荐质量定义了新的指标。此外,我们设计了一个动态的F airness- A基于s E ssion 的R ecommender 系统 ( FASTER )的保证ST率。FASTER是一种后处理策略,试图在项目曝光公平性和推荐质量之间保持平衡。它还可以保持会话之间推荐质量的公平性。FASTER的有效性在三个真实世界的数据集和五个原始算法上得到了验证。实验结果表明,FASTER总体上可以减少不同基于会话的推荐算法的不公平暴露,同时仍能保证高水平的推荐质量。
下一个购物篮推荐系统的目标是根据用户先前购物篮的顺序为用户推荐下一个购物篮的商品。我们检查了文献中报道的下一个篮子推荐 (NBR) 方法的性能增益是否在公平和全面的比较下保持不变。为了澄清我们比较中出现的混合情况,我们提供了一个关于 NBR 方法评估的新角度,以重复和探索之间的区别为中心:下一个篮子通常由以前消费过的物品(即重复物品)和新的物品组成项目(即探索项目)。我们提出了一组衡量 NBR 模型的重复/探索率和性能的指标。使用这些新指标,我们提供了对最先进的 NBR 模型的第二次分析。结果有助于阐明现有 NBR 方法取得的实际进展的程度,以及我们观察到的任何改进的根本原因。总的来说,我们的工作阐明了 NBR 的评估问题,提供了一个新的评估协议,并为该任务的模型设计提供了有用的见解。
个性化新闻推荐旨在帮助用户找到自己感兴趣的新闻,近年来受到越来越多的关注。新闻推荐有两个核心问题:学习新闻表示,以及将候选新闻与用户兴趣进行匹配。由于预训练语言模型(PLM)优越的自然语言理解能力,最近的工作利用PLM(如BERT)来加强新闻建模,进一步获得更准确的用户兴趣匹配,并在新闻推荐方面取得显着改进。然而,由于 PLM 带来的大量计算成本,现有的基于 PLM 的方法通常无法充分探索用户行为与候选新闻之间的细粒度(例如,词级)相关性。在本文中,我们提出了一种基于群体的个性化新闻推荐方法,该方法具有基于 PLM 的用户与候选新闻之间的长期和短期匹配机制,以高效且有效地学习细粒度匹配。在我们的方法中,我们设计根据用户点击的时间戳将用户历史点击新闻分组为具有更短新闻序列的块,这可以减轻 PLM 的计算问题。PLM 与候选新闻一起应用于每个组,以捕获它们的词级交互,并在不同组之间学习全局组级
图分类是许多领域应用的一个重要问题,图神经网络 (GNN) 一直是最先进的 (SOTA) 方法。在文献中,采用 GNN 进行图分类任务,有两组方法:全局池化和层次池化。全局池化方法通过在几个 GNN 层的末端将所有节点嵌入全局池化在一起来获得图表示向量,而层次池化方法在 GNN 层之间提供一个额外的池化操作来提取层次信息并改进图表示。全局池化和分层池化方法在不同场景下都有效。由于应用程序高度多样化,利用人类专业知识设计特定于数据的池化方法具有挑战性。为了解决这个问题,我们提出了 PAS(Pooling Architecture Search),通过使用神经架构搜索(NAS)来设计自适应池化架构。为了实现搜索空间设计,我们提出了一个由四个模块组成的统一池化框架:聚合、池化、读出和合并。提供了两种变体 PAS-G 和 PAS-NE 来设计不同规模的池化操作。在此框架之上的搜索空间中设计了一组候
最近,基于知识的对话系统越来越受到关注。已经做出了巨大的努力来建立利用所有对话内容和知识句子的响应匹配模型。然而,基于知识的对话中经常存在知识冗余和无关对话内容的干扰,这可能会影响匹配过程并导致性能下降。此外,由于输入长度的限制,不相关的对话历史和过多的知识也阻碍了流行的预训练语言模型(PLM)的开发。为了应对这些挑战,我们提出了一种新的基于 PLM 的基于知识的对话模型,其中设计了一个知识选择器和一个上下文选择器,分别用于过滤掉不相关的知识句子和冗余的对话历史。考虑到缺乏用于学习两个选择器的标记数据,我们用弱监督任务对它们进行预训练,然后联合进行知识和上下文选择的优化以及 PLM 的微调以通过强化学习进行响应排序。通过这种方式,对话模型可以为后续的响应排序模块提炼出更准确、更简洁的知识和对话内容,整体模型可以更好地收敛和表现。我们对两个基准进行了实验,评估结果表明我们的模型可以显着优于最
去偏推荐最近引起了工业界和学术界越来越多的关注。传统模型主要依赖于逆向倾向得分 (IPS),这可能难以估计并且可能存在高方差问题。为了缓解这些问题,在本文中,我们提出了一种基于用户特征平衡的新型去偏推荐框架。总体思路是引入投影函数来调整用户特征分布,使得理想的无偏学习目标可以由纯粹基于离线数据集的可解目标作为上限。在上限中,预计用户分布在给定不同项目的情况下是相等的。从因果推理的角度来看,该要求旨在消除用户与物品之间的因果关系,这使我们能够绕过 IPS 的计算来实现无偏推荐。为了有效地平衡每个项目对上的用户分布,我们提出了三种策略,包括裁剪、采样和对抗性学习来改进训练过程。为了更稳健的优化,我们部署了一个显式模型来捕获推荐系统中潜在的潜在混杂因素。据我们所知,本文是第一份基于混杂因素平衡的去偏推荐工作。在实验中,我们将我们的框架与许多基于合成、半合成和真实世界数据集的最先进方法进行比较。大
大量个人数据的产生为数据中心提供了足够的资源来从私人记录中挖掘特质。长期以来,用户建模一直是一项基本任务,其目标是从用户的行为中捕捉他们的潜在特征。然而,对收集到的数据进行集中式用户建模引发了人们对数据滥用和隐私泄露风险的担忧。因此,联邦用户建模受到青睐,因为它希望通过联邦学习为用户建模提供安全的多客户端协作。不幸的是,据我们所知,现有的忽略客户端不一致性的联邦学习方法不能直接应用于实际的用户建模场景,而且它们面临以下关键挑战:1)统计异质性。不同客户端的用户数据分布并不总是独立同分布(IID),这导致具有所需个性化信息的唯一客户端;2)隐私异质性。用户数据包含公共信息和私人信息,具有不同的隐私级别,表明我们应该平衡共享和保护的不同信息;3)模型异质性。使用客户端记录训练的本地用户模型是异构的,因此需要在服务端进行灵活聚合;4)质量异质性. 来自不一致客户端的低质量信息毒害了用户模型的可靠
在信息搜索和检索过程中(ISR) 流程、用户系统交互(例如提交查询、检查结果和处理信息)对用户资源提出了一定程度的需求。在 ISR 中,这些需求得到了很好的认可,并且大量研究表明,搜索过程中的成本、工作量和负载 (CEL) 受到多种因素的影响。尽管有这种认识,但在 ISR 领域内,对于 CEL 的构造没有普遍接受的定义。最终,这导致了如何解释和随后测量这些结构的问题。这篇系统综述对文献进行了综合,总结了过去 50 年来研究人员如何在 ISR 中定义和测量 CEL 的主要发现。人工筛选 1109 篇文章后,我们详细介绍并分析了 91 篇在 ISR 中检查 CEL 的文章。在确定当前命名法的局限性之前,讨论的重点是比较 CEL 定义和测量之间的异同。还确定了未来研究的机会。展望未来,我们提出了一个 CEL 分类法,它整合了 CEL 与其相关结构之间的关系,这将有助于集中和消除这一重要领域未来研究的歧义。
对冷用户的点击率 (CTR) 预测是推荐系统中的一项具有挑战性的任务。最近的研究采用元学习来解决冷用户挑战,这些挑战要么执行少样本用户表示学习,要么采用基于优化的元学习。然而,现有方法存在信息丢失或优化过程效率低下的问题,并且无法显式建模全局用户偏好知识,这对于补充冷用户稀疏和不足的偏好信息至关重要。在这篇文章中,我们提出了一种名为 RESUS 的新颖有效的方法,它将集体用户贡献的全局偏好知识的学习与个人用户的剩余偏好学习分离开来。具体来说,我们使用共享预测器来推断基本用户偏好,它从不同用户的交互中获取全局偏好知识。同时,我们开发了两种基于最近邻和岭回归预测器的高效算法,它们通过从一些特定于用户的交互中快速学习来推断剩余用户偏好。在三个公共数据集上进行的大量实验表明,与各种最先进的方法相比,我们的 RESUS 方法在提高冷用户的 CTR 预测准确性方面是高效且有效的。
基于位置的社交网络(LBSN)已成为用户与朋友和家人分享活动的流行平台,这为我们利用签到数据的特性研究团体场所推荐问题提供了丰富的信息。尽管有一些关于场地群体推荐的研究,但很少有研究考虑群体在不同时间模式下的场地偏好。在这篇文章中,我们发现群体的活动场地具有时间效应,即群体在不同时间对活动场地的偏好是不同的。例如,一对恋人喜欢在冬天去热带地区旅行,晚上在酒吧放松一下。基于这一发现,我们提出了一个时间感知多模式 (TaMp) 主题模型,以多种时间模式(包括每日模式、每周模式、每月模式和每季度模式)来捕捉群体对活动场所的兴趣。TaMp模型考虑了群体活动的主题、成员、时间性和地点信息以及它们之间的潜在关系,特别是活动时间与相应活动地点之间的强相关性。然后,我们提出了一种基于TaMp模型的群组场地推荐方法。此外,提出了一种改进的LBSNs分组算法(iGA),以提高分组的合理性和组场地推荐的准确性。我们进行了全面的实验来评估
法律案例检索旨在在给定查询案例的情况下检索相关案例,近年来引起了越来越多的研究关注。虽然很多研究都致力于开发自动检索模型,但如何表征这种专门的信息检索 (IR) 任务的相关性仍然是一个悬而未决的问题。为了深入了解相关性判断,我们进行了一项实验室用户研究,涉及 72 名不同领域专业知识的参与者。在用户研究中,我们收集相关性得分以及对相关性判断和判断过程的各种措施的详细解释。从收集的数据中,我们观察到主观(例如,领域专业知识)和客观(例如,查询/案例属性)因素都会影响相关性判断过程。通过调查收集到的用户解释,我们确定用户注意力分布的特定任务模式,并重新考虑相关性判断的标准。此外,我们调查了模型和用户之间注意力分布的相似性。此外,我们提出了一个两阶段框架,利用用户注意力来改进法律案件检索的相关性估计。我们的研究阐明了理解法律案件检索中的相关判断,并为改进相应检索系统的设计提供了启示。
推荐系统是缓解信息过载挑战的重要工具,在人们的日常生活中发挥着重要作用。由于推荐涉及社会资源的分配(如工作推荐),一个重要的问题是推荐是否公平。不公平的推荐不仅不道德,还会损害推荐系统自身的长远利益。因此,推荐系统中的公平性问题最近引起了越来越多的关注。然而,由于多重复杂的资源分配过程和各种公平性定义,关于推荐公平性的研究比较分散。为了填补这一空白,我们审查了 60 多篇发表在顶级会议/期刊上的论文,包括 TOIS、SIGIR 和 WWW。第一的,我们在建议中总结了公平性定义,并提供了几种观点来对公平性问题进行分类。然后,我们回顾了公平性研究中的推荐数据集和测量,并在推荐中提供了公平方法的详细分类。最后,我们通过概述一些有希望的未来方向来结束本次调查。
在推荐系统中,一些特征直接影响交互是否会发生,使得发生的交互不一定表示用户偏好。例如,短视频客观上更容易完成,即使用户可能不喜欢该视频。我们将这种特征称为混杂特征,视频长度是视频推荐中的混杂特征。如果我们在这样的交互数据上拟合一个模型,就像大多数数据驱动的推荐系统所做的那样,该模型将偏向于更多地推荐短视频,而偏离用户的实际需求。 这项工作从因果关系的角度阐述和解决了这个问题。假设有一些因素同时影响混杂特征和其他项目特征,例如视频创作者,我们发现混杂特征在用户-项目匹配背后打开了一条后门路径并引入了虚假相关。为了消除后门路径的影响,我们提出了一个名为Deconfounding Causal Recommendation (DCR)的框架,它使用do-calculus进行干预推理。然而,评估do-calculus需要对混杂特征的所有可能值的预测求和,显着增加了时间成本。为了应对效率挑战,我们进
深度跨模态哈希检索模型继承了深度神经网络的脆弱性。它们很容易受到对抗性攻击,特别是对于输入的微妙扰动形式。尽管已经提出了许多对抗性攻击方法来处理哈希检索模型的鲁棒性,但它们仍然存在两个问题:(1)它们大多基于白盒设置,这在实际应用中通常是不现实的。(2) 对其中生成对抗样本的迭代优化导致计算量大。为了解决这些问题,我们提出了一种基于高效查询的黑盒攻击(EQB 2A)针对深度跨模态哈希检索,可以有效地为黑盒攻击生成对抗样本。具体来说,通过向被攻击的检索系统发送少量查询请求,基于检索结果与查询的邻接关系进行跨模态检索模型窃取,从而获得仿冒品来替代被攻击系统。提出了一种多模式仿冒品驱动的对抗生成,以实现有效的对抗示例生成。在整个网络训练收敛的同时,EQB 2 A 可以通过只给定良性图像的前向传播有效地生成对抗样本。实验表明,EQB 2 A 在黑盒设置下实现了卓越的攻击性能。
推荐系统在许多领域都很流行。研究人员通常关注推荐的有效性(例如,精确度),而忽略可能影响推荐公平性的流行度偏差,这也是可能影响用户和项目提供者利益的重要考虑因素。已经提出了一些研究来处理流行偏差,但它们通常面临两个局限性。首先,大多数研究只考虑一方的公平性——用户或物品,而没有实现双方的共同公平。其次,现有方法不足以针对每个单独的用户或项目量身定制,无法应对流行度偏差的不同程度和性质。为了减轻这些限制,在本文中,我们提出公平的,一个以公平为中心的模型,它可以自适应地减轻用户和推荐项目的流行度偏差。具体来说,我们设计了显式的公平鉴别器来减轻本地每个用户和项目的流行度偏差,并设计了一个隐式的鉴别器来保持全局的公平性。此外,我们动态调整模型以适应不同的输入用户和项目,以处理它们流行度偏差的差异。最后,我们进行了大量实验,以证明我们的模型在公平性指标方面明显优于最先进的基线,同时在有效性方面保持竞争力。
推荐系统可以自动向用户推荐他们可能喜欢的项目。它们的目标是通过有效地表示用户和项目来模拟用户-项目交互。现有方法主要通过矢量化嵌入来学习用户的偏好和项目的特征,并通过它们的交互来建模用户对项目的一般偏好。事实上,用户对物品属性有其特定的偏好,不同的偏好通常是相关的。因此,探索细粒度的偏好以及对用户不同偏好之间的关系进行建模可以提高推荐性能。为此,我们提出了一个双重偏好分布学习框架(DUPLE),旨在联合学习给定用户的一般偏好分布和特定偏好分布,其中前者对应于用户对物品的一般偏好,后者是指用户对物品属性的特定偏好。值得注意的是,每个高斯分布的均值向量可以捕获用户的偏好,而协方差矩阵可以了解它们之间的关系。此外,我们可以为每个用户总结一个偏好的属性配置文件,描述他/她的偏好项目属性。然后,我们可以通过检查其属性与用户首选属性配置文件之间的重叠来为每个推荐项目提供解释。在六个公共数据集上进行的大量定量和定性实验证明了
现代推荐系统经过训练,可以根据用户的历史行为数据预测用户未来潜在的互动。在交互过程中,尽管数据来自用户端,但推荐系统也会生成曝光数据,为用户提供个性化的推荐板。与稀疏的用户行为数据相比,系统曝光数据的体积要大得多,因为只有极少数的曝光项目会被用户点击。此外,用户历史行为数据对隐私敏感,通常通过谨慎的访问授权进行保护。然而,服务提供者自身产生的大量推荐暴露数据通常受到的关注较少,并且可以在相对较大范围内被各种信息寻求者甚至潜在对手访问。 在本文中,我们研究了推荐系统领域的用户行为数据泄露问题。我们表明,可以通过系统暴露的建模来推断对隐私敏感的用户过去的行为数据。换句话说,仅通过观察该用户当前的系统曝光,就可以推断出 用户点击了哪些项目 . 鉴于系统暴露数据可以从相对较大的范围内广泛访问这一事实,我们认为用户过去的行为隐私在推荐系统中具有很高的泄漏风险。更准确地说,我们进行了一个攻击模型,其输
随着图神经网络 (GNN) 的最新进展,基于 GNN 的推荐系统 (gRS) 在过去几年取得了显着的成功。尽管取得了这一成功,但现有研究表明,gRS 仍然容易受到毒药攻击,其中攻击者注入虚假数据以按照他们的意愿操纵推荐结果。这可能是由于现有的毒药攻击(和对策)要么与模型无关,要么专门为传统推荐算法(例如,基于邻域的、基于矩阵分解的或基于深度学习的 RS)设计的,这些算法是不是 gRS。随着gRSs在业界的广泛应用,如何设计gRSs的Poison attacks成为了对健壮用户体验的需求。在此,我们专注于使用毒攻击来操纵 gRSs 中的项目推广。与标准 GNN 相比,由于网络结构的异构性和用户与项目之间的纠缠,攻击 gRSs 更具挑战性。为了克服这些挑战,我们建议GSP攻击-gRSs 的基于生成代理的毒药攻击框架。GSP攻击定制学习过程来替代推荐模型并生成虚假用户和用户-项目交互,同时保留用
神经图协同过滤由于其通过主干图神经网络对高阶邻域进行编码的能力,最近受到了极大的关注。然而,它们对嘈杂的用户-项目交互的鲁棒性在很大程度上仍未得到探索。现有关于鲁棒协同过滤的工作主要是通过对图结构进行去噪来提高鲁棒性,而其他领域的最新进展表明,直接在嵌入空间中加入对抗性扰动可以显着提高模型的鲁棒性。在这项工作中,我们建议通过结构空间中的去噪和嵌入空间中的扰动来提高神经图协同过滤的鲁棒性。具体来说,在结构空间中,我们测量交互的可靠性,并进一步用它来影响主干图神经网络的消息传播过程;在嵌入空间中,我们通过模仿对抗性攻击的行为来添加分布扰动,并进一步将其与对比学习相结合以提高性能。对四个基准数据集进行了广泛的实验,以评估所提出方法的有效性和效率。结果表明,所提出的方法优于最近的神经图协同过滤方法,尤其是在训练数据中注入噪声交互时。我们通过模仿对抗性攻击的行为来添加分布扰动,并进一步将其与对比学习
最近,依赖用户个人数据的网络服务中的隐私问题引起了极大的关注。尽管最近的法规迫使公司为每个用户提供选择加入或退出数据披露的选择,但现实世界的应用程序通常只为用户提供“全有或全无”的二元选择,要么披露所有数据,要么保留所有数据没有个性化服务成本的数据。 在本文中,我们认为这种二元机制对于消费者和平台而言都不是最佳选择。为了研究不同的隐私机制如何影响用户对信息披露的决定以及用户的决定如何影响平台的收入,我们提出了一个隐私感知的推荐框架,让用户可以很好地控制他们的数据。在这个新框架中,用户可以根据预期隐私风险和潜在效用之间的权衡,主动控制要披露的数据。然后,由于现实世界实验的高成本,我们通过强化学习模拟研究了不同数据披露机制的影响。
对排名的点击会受到位置偏差的影响:通常,较低排名的项目不太可能被用户检查并因此被点击,尽管他们对项目之间的实际偏好。无偏见的基于点击的学习排序 (LTR) 的普遍方法是基于反事实逆向倾向评分 (IPS) 估计。与一般强化学习相比,反事实双重稳健(DR)估计在之前的文献中并未应用于基于点击的 LTR。 在本文中,我们介绍了一种新颖的 DR 估计器,这是第一个专门为位置偏差设计的 DR 方法。位置偏差的困难在于处理(用户检查)不能直接在点击数据中观察到。作为一种解决方案,我们的估计器使用每个等级的预期处理,而不是现有 DR 估计器使用的实际处理。我们新颖的 DR 估计器比现有的 IPS 方法具有更稳健的无偏条件,此外,还提供了方差的巨大减少:我们的实验结果表明它需要更少几个数量级的数据点才能收敛到最佳性能。对于无偏 LTR 领域,我们的 DR 估计器有助于提高最先进的性能和所有已知 LTR 估计器的最稳健的理论保证。
顺序推荐 (SR) 通过捕获用户行为演变中的顺序模式来学习用户的偏好。正如许多作品中所讨论的那样,SR 的用户-项目交互通常呈现出内在的幂律分布,可以上升到类层次结构。以前的方法通常通过在欧几里德空间下根据经验对用户-项目进行分段来处理此类层次信息,这可能会导致真实在线场景中的用户-项目表示失真。在本文中,我们提出了一种基于 Poincaré 的异构图神经网络,名为 Poincaré 异构图神经网络用于顺序推荐 (PHGR),以同时对 SR 场景数据中包含的序列模式信息和层次信息进行建模。具体来说,为了明确捕获层次信息,我们首先通过疏远所有用户-项目交互来构建一个加权的用户-项目异构图,以从全局角度改善每个用户的感知域。然后全局表示的输出将用于补充局部有向项-项齐次图卷积。通过定义一种新颖的双曲内积算子,全局和局部图表示学习直接在庞加莱球中进行,而不是常用的庞加莱球和欧几里得空间之间的投影
最近,用户冷启动推荐引起了业界和学术界的广泛关注。在用户冷启动推荐系统中,由于用户行为数据的不可用,现有方法通常使用用户属性信息来学习用户偏好。然而,大多数现有的推荐方法往往忽略了冷启动推荐系统中用户属性的稀疏性。为了解决这一局限性,本文提出了一种新颖的归纳异构图神经网络 (IHGNN) 模型,该模型利用用户冷启动推荐系统中的关系信息来缓解用户属性的稀疏性。我们的模型将新用户、物品、和关联的多模态信息转换成模态感知异构图(M-HG),保留它们之间丰富和异构的关系信息。具体来说,为了利用 M-HG 中丰富和异构的关系信息来丰富新用户的稀疏属性信息,我们设计了一种基于随机游走操作的策略,通过多次采样操作收集新用户的关联邻居。然后,提出了一个由类型内和类型间注意力聚合模块组成的精心设计的多层次注意力聚合模型,专注于有用的连接邻居,忽略无意义和嘈杂的连接邻居,为用户冷启动推荐生成高质量的表示.
由于其设计上的可扩展性和隐私性,联邦学习 (FL) 在去中心化深度学习中受到越来越多的关注。FL 还促进了最近关于升级和私有化个性化推荐服务的研究,使用设备上的数据在本地学习推荐模型。然后将这些模型在全球范围内聚合以获得更高性能的模型,同时保持数据隐私。通常,联合推荐系统 (FRS) 不会考虑终端设备资源和数据可用性的缺乏。此外,他们假设用户和项目之间的交互数据在终端设备(即用户)之间是独立同分布的并且是固定的,并且所有本地推荐模型都可以直接平均而不考虑用户的行为多样性。然而,在真实场景中,必须针对具有稀疏交互数据和有限资源的终端设备提出建议。此外,用户的偏好是异质的,他们经常访问新项目。这使得他们的个人偏好高度倾斜,因此直接聚合模型不适用于此类非 iid 数据。在这篇文章中,我们提出Resource Efficient Federated Recommender System (ReFRS)
下一个兴趣点 (POI) 推荐已成为基于位置的社交网络 (LBSN) 中不可或缺的功能,因为它可以有效地帮助人们决定下一个要访问的 POI。然而,准确的推荐需要大量的历史签到数据,由于位置敏感数据需要由云服务器处理,因此威胁用户隐私。尽管已经有多个用于保护隐私的 POI 推荐的设备上框架,但它们在存储和计算方面仍然是资源密集型的,并且对用户-POI 交互的高度稀疏性显示出有限的鲁棒性。在此基础上,我们提出了一个新的d分散的C合作的升POI 的收入框架recommendation (DCLR),它允许用户以协作的方式在本地训练他们的个性化模型。DCLR显着降低了本地模型对云端训练的依赖,可用于扩展任意集中式推荐模型。为了在学习每个本地模型时抵消设备上用户数据的稀疏性,我们设计了两个自我监督信号来预训练服务器上的 POI 表示与 POI 的地理和分类相关性。为了促进协作学习,我们创新地提出将来
近年来,推荐系统(RS)的研究论文迅速增长,大多数论文都专注于发明机器学习模型以更好地拟合用户行为数据。然而,用户行为数据是观察性的而不是实验性的。这使得数据中广泛存在各种偏差,包括但不限于选择偏差、位置偏差、曝光偏差和流行度偏差。盲目拟合数据而不考虑内在偏差会导致许多严重的问题,例如离线评估与在线指标之间的差异,损害用户对推荐服务的满意度和信任等。为了将大量的研究模型转化为实际的改进,探索偏差的影响并在必要时进行去偏差是非常紧迫的。在回顾考虑 RS 偏差的论文时,我们发现,令我们惊讶的是,这些研究比较零散,缺乏系统的组织。术语“偏见”在文献中被广泛使用,但它的定义通常是模糊的,甚至在论文中不一致。这促使我们对 RS 偏差的现有工作进行系统调查。在本文中,我们首先总结了推荐中的七种类型的偏差,以及它们的定义和特征。然后,我们提供了一个分类法来定位和组织现有的推荐去偏工作。最后,我们确定了一
了解数据工作者如何与数据交互,以及与数据准备相关的各种信息,是设计能够更好地支持他们探索数据集的系统的关键。然而,迄今为止,研究数据工作者在进行数据准备活动时所采用的策略的研究很少。在这项工作中,我们调查了一个特定的数据准备活动,即数据质量发现,旨在 (i) 了解数据工作者在发现数据质量问题时的行为,(ii) 探索哪些因素(例如,先前的经验)会影响他们的行为,以及 (iii) 了解这些行为观察与他们的行为之间的关系表现。为此,我们通过数据驱动的实验收集多模态数据集,该实验依赖于眼动追踪技术的使用以及基于 iPython Notebook 构建的专门设计的平台。实验结果表明:(i)“复制-粘贴-修改”是编写代码完成任务的典型策略;(ii) 编写代码的熟练程度对任务执行质量有重大影响,而感知难度和效率会影响任务完成模式;(iii) 搜索外部资源是一种普遍的行为,可以用来实现更好的性能。此外,我
利用与实体(即用户和项目)关联的辅助信息来增强推荐系统已被广泛认为是基本的建模维度。大多数现有方法通过基于集成的方案来解决此任务,该方案通过将推荐目标与额外的边信息感知目标相结合来合并实体边信息。尽管现有的基于集成的方法取得了越来越大的进展,但它们在很大程度上受到两个目标之间潜在冲突的限制。此外,实体之间的异构辅助信息在这些系统中仍未得到充分探索。在本文中,我们提出了一种新颖的预训练方案通过使用多图神经网络预训练实体嵌入来利用实体边信息。我们的预训练方案不是用两个目标联合训练首先在由它们的边信息构建的实体多/单关系图下预训练两个表示模型,然后在现有的基于一般表示的推荐模型下微调它们的嵌入。我们提出的多图和单图神经网络可以生成实体内知识封装嵌入,同时从实体边信息中捕获异质性,从而提高底层推荐模型的性能。对我们的预训练方案进行了广泛的评估,这些方案在四种基于一般表示的推荐模型下进行了微调,即 MF、NCF、NGCF
推荐模型很难评估,尤其是在离线设置下。在本文中,我们对推荐系统离线评估中的数据泄漏问题进行了全面而批判性的分析。数据泄漏是由于在评估推荐系统时没有遵守全局时间线造成的,例如,训练/测试数据拆分不遵循全局时间线。因此,模型从预计在预测时间不可用的用户-项目交互中学习。我们首先展示了用户-项目交互沿全局时间线的时间动态,然后解释了为什么协同过滤模型存在数据泄漏。通过精心设计的实验,我们表明所有模型确实推荐了在测试实例的时间点不可用的未来项目,这是数据泄漏的结果。1我们进一步表明,数据泄漏确实会影响模型的推荐准确性。因此,随着训练中泄漏的未来数据量不同,它们的相对性能顺序变得不可预测。为了在离线环境中以现实的方式评估推荐系统,我们提出了一个时间线方案,该方案要求重新审视推荐模型的设计。