属性推理攻击考虑的是一个能够访问训练模型的对手,并试图提取训练数据的一些全局统计数据。在这项工作中,我们研究了在敌手可以恶意控制部分训练数据(中毒数据)的场景下的属性推理,目的是增加泄漏。
以往关于中毒攻击的工作主要集中在试图降低模型在整个群体或特定子群体或实例上的准确性。在这里,我们首次研究了以增加模型的信息泄露为目标的中毒攻击。我们的研究结果表明,中毒攻击可以显著提升信息泄露量,在敏感应用中应该考虑将其作为一个更强的威胁模型,因为在敏感应用中,一些数据源可能是恶意的。
我们描述了我们的\emph{属性推理中毒攻击},它允许对手学习它选择的任何属性在训练数据中的流行度。我们从理论上证明,只要使用的学习算法具有良好的泛化特性,我们的攻击总是可以成功的。
然后,我们通过在两个数据集上实验评估来验证我们攻击的有效性:一个人口普查数据集和安然电子邮件数据集。在所有的实验中,我们都能在9-10%的中毒情况下达到90%以上的攻击
原文:Property inference attacks consider an adversary who has access to the trained model and tries to extract some global statistics of the training data. In this work, we study property inference in scenarios where the adversary can maliciously control part of the training data (poisoning data) with the goal of increasing the leakage.
Previous work on poisoning attacks focused on trying to decrease the accuracy of models either on the whole population or on specific sub-populations or instances. Here, for the first time, we study poisoning attacks where the goal of the adversary is to increase the information leakage of the model. Our findings suggest that poisoning attacks can boost the information leakage significantly and should be considered as a stronger threat model in sensitive applications where some of the data sources may be malicious.