机器之心专栏

作者:j.t.chen

来自浙大睿医人工智能研究中心的研究者提出了一个全新的概念:心电全景图,并提出了一个能够通过少数几个导联的 ECG 信号输入来生成心电全景图的神经网络模型 Nef-Net。

当前,心电图(ECG)一般仅展示 8-12 导联记录的心电信号(ECG),每条导联的 ECG 信号都是一个金属贴片记录得到的心脏跳动信息,并显示在一个视图上;而这个视图的「观察视角」可以通过金属贴片的位置和心电终端的连接线表达,如下图 (a) 所示。下图 (b) 展示了 6 个导联贴片的位置,心外科医生可以通过 6 个金属贴片接收到这 6 个「视角」的 ECG 信号。但实际上,仅靠这几个有限的导联不能覆盖医生所需的心电信息,例如在进行射频消融手术时,需要精细的心电信号以定位病灶。

论文地址:https://arxiv.org/pdf/2105.06293.pdf

项目地址:https://github.com/WhatAShot/Electrocardio-Panorama

该研究提出的 Nef-Net 经过训练后,只要使用者输入一个或几个已知的 ECG 信号及其对应「视角」,Nef-Net 就能编码出该 ECG 信号对应的心电场的底层特征。然后只需再给定一个想要的心电图视角,Nef-Net 就能将心电场的底层特征转换生成该「视角」下的 ECG 信号(视图),其功能如下图所示。

因此,有了 Nef-Net,使用者仅需获得少数有限「视角」下的 ECG 视图,就能观察到任意「视角」下的 ECG 信号。

Nef-Net 本质上是一个 auto-encoder 模型。它能够从「视角」信息相关的 ECG 视图信号中提取出「视角」无关的底层心电场特征;并把该底层特征用于生成任意「视角」的 ECG 信号。

Nef-Net 的模型结构如下图所示。该研究提出了一个名为 Angular Encoding 的「视角」编码算子,以更好地建模「视角」信息。

该研究还提出了一种称为 Standin Learning 的自监督方法,用于引导模型从 ECG 视图特征中剥离「视角」信息而只留下心电场信息。此外,由于模型能够很好地捕捉到心电场特征,Nef-Net 稍作改动之后,还能用于心电图的从头生成任务。

心电全景图生成可视化

心电全景图理论上有无穷个视图,由于空间限制,研究者展示了 24 个均匀分布在球面上的视图来展示实验效果。心电专家认为这些心电全景图具有较高的可信度。

心电从头生成可视化

如下图所示,该研究的方法的效果显著好于专门的心电从头生成 SOTA 模型 SimGAN:

该研究表示,后续还有许多值得进一步探索的问题:

Nef-Net 模型的输入是归一化之后的 ECG 样本,忽略了 ECG 信号振幅的影响。实际上,ECG 信号的振幅在实际临床中是十分重要的。「如何利用模型对无归一化的 ECG 样本进行处理,同时保持良好的真实性」是未来的一个探索方向。

Nef-Net 本身不是专门用于心电从头生成的模型,但却能生成比专门的心电生成模型(如 SimGAN)更真实的心电信号。「如何将 Nef-Net 的经验用于生成 ECG 的 GAN 和 VAE 模型,以生成更真实的 ECG 样本」也是一个值得探索的问题。

当前 Nef-Net 没有考虑到疾病对心电全景图生成的影响,与疾病相关的 ECG 信号从头生成问题和心电全景图生成问题也值得进一步探究。

感兴趣的读者可以查看论文原文,了解更多研究细节。

WAIC AI开发者论坛:后深度学习的AI时代