ASFGNN：自动分离联邦图神经网络,arXiv - CS - Distributed, Parallel, and Cluster Computing

相关文章推荐

暴躁的闹钟 · 神经网络复杂度_matlab神经网络的计算复 ...· 3 周前 ·

闷骚的伤疤 · 试驾体验智己L7 豪华舒适智能轿车· 1 年前 ·

忐忑的啄木鸟 · 冒险岛200版本游侠 - 抖音· 1 年前 ·

精明的菠菜 · 《赎罪》影评 - 知乎· 1 年前 ·

独立的草稿本 · 《蓝焰突击》5大看点+剧情评价，任嘉伦陈小纭 ...· 1 年前 ·

捣蛋的土豆 · 拥有一双透视眼_拥有一双透视眼的小说_拥有一 ...· 1 年前 ·

图神经网络 (GNN) 通过利用图数据取得了显着的性能。GNN 模型的成功总是取决于丰富的特征和相邻关系。然而，在实践中，这些数据通常被不同的数据所有者（客户端）隔离，因此很可能是非独立和相同分布的（Non-IID）。同时，考虑到数据所有者有限的网络状态，协作学习方法的超参数优化在数据隔离场景中是耗时的。为了解决这些问题，我们提出了一种自动分离联邦图神经网络 (ASFGNN) 学习范式。ASFGNN 由两个主要部分组成，即 GNN 的训练和超参数的调整。具体来说，解决数据Non-IID问题，我们首先提出了一个分离联邦的 GNN 学习模型，它将 GNN 的训练解耦为两部分：由客户端单独完成的消息传递部分，以及由客户端联邦学习的损失计算部分。为了处理耗时的参数调整问题，我们利用贝叶斯优化技术自动调整所有客户端的超参数。我们在基准数据集上进行了实验，结果表明 ASFGNN 在准确性和参数调整效率方面都明显优于朴素联合 GNN。我们利用贝叶斯优化技术自动调整所有客户端的超参数。我们在基准数据集上进行了实验，结果表明 ASFGNN 在准确性和参数调整效率方面都明显优于朴素联合 GNN。我们利用贝叶斯优化技术自动调整所有客户端的超参数。我们在基准数据集上进行了实验，结果表明 ASFGNN 在准确性和参数调整效率方面都明显优于朴素联合 GNN。 Graph Neural Networks (GNNs) have achieved remarkable performance by taking advantage of graph data. The success of GNN models always depends on rich features and adjacent relationships. However, in practice, such data are usually isolated by different data owners (clients) and thus are likely to be Non-Independent and Identically Distributed (Non-IID). Meanwhile, considering the limited network status of data owners, hyper-parameters optimization for collaborative learning approaches is time-consuming in data isolation scenarios. To address these problems, we propose an Automated Separated-Federated Graph Neural Network (ASFGNN) learning paradigm. ASFGNN consists of two main components, i.e., the training of GNN and the tuning of hyper-parameters. Specifically, to solve the data Non-IID problem, we first propose a separated-federated GNN learning model, which decouples the training of GNN into two parts: the message passing part that is done by clients separately, and the loss computing part that is learnt by clients federally. To handle the time-consuming parameter tuning problem, we leverage Bayesian optimization technique to automatically tune the hyper-parameters of all the clients. We conduct experiments on benchmark datasets and the results demonstrate that ASFGNN significantly outperforms the naive federated GNN, in terms of both accuracy and parameter-tuning efficiency.