1、文章信息

《Inductive Graph Neural Networks for Spatiotemporal Kriging》。麦吉尔大学发表在AAAI 2021上的一篇文章。

原文和代码链接：

https://github.com/Kaimaoge/IGNNK

时间序列预测和时空Kriging是时空数据分析中最重要的两项任务。近年来，GNN在时间序列预测方面取得了长足的进展，但对于Kriging问题——恢复未采样位置或传感器的信号的研究却很少。大多数现有的可扩展Kriging方法(例如，矩阵/张量补全)是Transductive learning（直推式学习），因此当一个新的传感器要插入时，需要再训练。本文提出了一个归纳图神经网络Kriging——Inductive Graph Neural Network Kriging (IGNNK) 模型恢复图/网络中未采样的传感器数据。为了泛化距离和可达性的影响，本文生成随机子图作为样本，并对每个样本重构邻接矩阵。通过泛化每个样本子图上的所有信号，IGNNK可以有效地学习空间消息传递机制。在真实时空数据集上证明了提出的模型的有效性。此外，本文还发现学习到的模型可以成功地转移到看不见的数据上的相同类型的Kriging任务。实验结果表明: (1) GNN是一种有效的空间Kriging方法；(2) 归纳式GNN可用于动态邻接矩阵训练；(3) 经过训练的模型可以转化为新的图结构；(4) 提出的 IGNNK可以生成虚拟传感器。

(1) 对于一般的时空Kriging问题（例如在欧几里得域中），一种方法是高斯过程回归，它使用灵活的核结构来表征时空相关性，但有两个局限性：1) 该模型计算量大，因此无法处理大规模数据集；2) 难以使用现有的图核 (Graph kernal) 建模网络系统。为了解决网络系统中的大规模Kriging问题，图正则化的矩阵/张量补全已成为一种有效的解决方案。这些模型结合了低秩结构和时空图正则化方法，可以同时表征数据的全局一致性和局部一致性。然而，矩阵/张量补全本质上是直推式学习。对于引入到网络中的新传感器/节点，本文不能直接应用先前训练过的模型。相反，本文必须为新的图结构重新训练完整的模型，即使只有很小的变化(即在引入一个新的传感器后)。另外，低秩方案不能适应时变/动态图结构。

(2) 最近的研究使用GNN对时空数据进行建模。GNN通过其消息传递机制在表征复杂的空间依赖性方面具有强大的功能。它们还展示了将消息传递机制推广到看不见的节点甚至是全新的子图上的能力和归纳式能力。受这些工作的启发，本文提出了一个归纳图神经网络Kriging（IGNNK）模型，以解决动态网络结构上的实时时空Kriging问题。与推荐系统中的图不同，本文的空间图实际上包含有价值的位置信息，这使本文可以量化除“hops”之外的成对“距离”。特别地，对于诸如高速公路网络的有向网络，距离矩阵将是不对称的，并且实际上捕获了从一个传感器到另一个传感器的“可达性”程度。

4、问题定义

时空Kriging是指在未采样传感器位置给定从采样传感器位置得到的信号后，对时间序列信号进行插值的任务。本文的重点是网络上的时空Kriging：空间域由二维平面变为不规则的网络结构。以高速公路网络上的一组交通传感器为例：本文可以将传感器建模为网络中的节点，并且可以根据高速公路网络的类型定义网络的边。在这种情况下，时空Kriging的目标是恢复无传感器位置的交通状态时间序列。因此，Kriging可以看作是建立虚拟传感器的过程。

图1   IGNNK的Kriging过程

本文在图1(b) 中说明了实时的Kriging过程，假设本文有 n=8 个在[1, p ]时间段内的传感器，本文用多元时间序列矩阵

训练一个GNN模型来重构子图上的完整矩阵X。

为了表征空间和方向依赖性的随机性质，采用DCRNN中的扩散图卷积（DGCN）作为本文结构的基本构建块。与使用固定空间结构的传统GNN不同，在IGNNK中，每个样本都有其自己的子图结构。因此，捕获邻域信息和消息传递方向的邻接矩阵W在不同的样本中也不同。图2说明了IGNNK的GNN结构，它是一个简单的3层DGCN。

图2 IGNNK中GNN结构

第一次的输入是掩码信号

(3) 损失函数

从方法论的角度来看，本文倾向于将IGNNK推广到动态图结构和看不见的节点。为了使学习到的消息传递机制对所有节点更加通用，使用观测节点和看不见的节点上的总重构误差作为损失函数:

6、数值实验

本文使用了5个数据集：

(1) METR-LA：四个月（2012年3月1日至2012年6月30日）洛杉矶207个传感器的交通速度数据集。

(2) NREL：2006年阿拉巴马州137个光伏发电厂的太阳能输出。

(3) USHCH：1899 - 2019年，1218个地点的月降水量。

(4) SetData：从西雅图公路网的323个环路检测器收集的交通速度数据集。

(5) PeMS-Bay：从2017年1月1日到2017年5月13日湾区325个传感器的交通速度时间序列。

本文选择RMSE、MAE和R2三个评价指标。在图3中提供了一个关于IGNNK和其他对比模型的空间可视化的例子。可以看出，与kNN和GLTL相比，IGNNK的重构更接近ground truth。

图3 METR-LA数据集在拥挤的晚高峰时间点(2012-05-22 17:45) 的Kriging空间表示。Ground truth、IGNNK、kNN和GLTL的速度值分别显示在左上角、右上方、左下角和右下角

表1  不同模型在4个数据集上的Kriging性能比较

除此之外，本文还分析了PeMSBay数据集未知节点的Kriging性能、PeMS-Bay数据集上不同模型的Kriging性能。可视化了虚拟传感器上的Kriging结果。

本文中介绍了IGNNK作为Kriging的新框架。该训练方案为IGNNK提供了额外的推广和归纳式能力，而不是直推的潜在特征。因此，本文可以直接应用经过训练的模型来对任何新的感兴趣位置执行Kriging，而无需重新训练。数值实验表明，IGNNK在五个真实的时空数据集上始终优于其他对比模型。此外，IGNNK在交通数据Kriging任务示例中演示了显著的可移植性。实验结果还表明，图中的“距离”信息在Kriging中起着至关重要的作用，这与推荐系统中的应用不同，在推荐系统中图本质上是编码拓扑信息。IGNNK的灵活性能够为时变系统建模，例如移动传感器（例如探测车）或众包系统，这将创建动态网络结构。

未来的工作有几个方向。首先，可以使用IGNNK作为时空张量来适应多元数据集。其次，更好的时间模型，如RNNs和TCNs，以表征复杂的时间依赖性。这将使得在更长的时间窗口内执行Kriging成为可能，并具有更好的时间动态。第三，可以进一步将时间序列预测与Kriging结合在一个集成的框架中，为现有和虚拟传感器提供预测结果，以更好地制定决策。

关于时空Kriging和Inductive learning 的相关学习资料：

https://zhuanlan.zhihu.com/p/77317842

https://dreamhomes.top/posts/202005162008.html

http://www.aas.net.cn/fileZDHXB/journal/article/zdhxb/2020/8/PDF/zdhxb-46-8-1681.pdf

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流量群！希望我们共同进步！

1、文章信息《Inductive Graph Neural Networks for Spatiotemporal Kriging》。麦吉尔大学发表在AAAI 2021上的一篇文章。原文和... 一个简单，无参数的二分之一编码层，可最大程度地提高哈希通道的容量 不同设置下的数据集和体系结构 在5个 图 像数据集上进行了实验：Flickr25k，Nus-wide，Cifar-10，Mscoco，Mnist，以及2个视频数据集：Ucf-101和Hmdb-51。 根据不同的设置，我们将其分为：i）在Mnist上训练自动编码器； ii）使用预训练的Vgg在Nus-wide，Cifar-10，Mscoco的Flickr25k上进行 图 像哈希处理； iii）使用预先训练的3D模型在Ucf-101和Hmdb-51上进行视频哈希处理。 3 settings ── AutoEncoder ── ── ── ── ImageHashing ── ── ── ── Video SCNet解决了现有的级联方法用于实例分割的训练推断样本分布不匹配的局限性。 SCNet加强了子任务之间的关系：分类，检测和分段。 最先进的技术：SCNet在没有响声的情况下，在ResNext-101上实现了44.7盒 式 AP和42.3面罩AP。 可以使用众所周知的插件和技巧（例如Group Norm，DCN，多尺度培训/测试）来进一步改善此功能。 快速的培训和测试：与和相比，SCNet可以实现更好的性能，同时可以更快地进行培训/推理，并且需要更少的内存。 请参阅下面的比较。 SCNet需要COCO和COCO-stuff数据集进行培训。 您需要下载并解压缩到COCO数据集路径中。 目录应该是这样的。 mmdetection ├── mmdet ├── tools ├── configs ├── data │ ├── c 可以从以下链接下载所有必需的数据文件。 对于生物学数据集，请从和下载（提取代码：j97n），将其解压缩，然后将其放在data/bio/ 。 从和下载新的书目 图 汇编，即 （代码：j97n），将其解压缩，然后将dblp.graph文件移至data/dblp/unsupervised/processed/并将dblpfinetune.graph文件移至data/dblp/supervised/processed/ 。 另外，为避免压缩文件引起的“文件不完整”错误，我们还将未压缩的dblp数据集上载到了百度（提取代码：j97n）。 要在带有 GIN 模型的生物学数据集上对L2P-GNN进行预训练，请运行以下命令： python