The .gov means it’s official. Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site. The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely. As a library, NLM provides access to scientific literature. Inclusion in an NLM database does not imply endorsement of, or agreement with, the contents by NLM or the National Institutes of Health.
Learn more: PMC Disclaimer
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi. 2023 Apr 25; 40(2): 202–207.
PMCID: PMC10162920

Language: Chinese | English

基于关键点的超声图像与磁共振图像多分辨率离散优化配准方法

Multiresolution discrete optimization registration method of ultrasound and magnetic resonance images based on key points

振霖 谭

华南理工大学 材料学院(广州 510640), School of Material Science and Engineering, South China University of Technology, Guangzhou 510640, P. R. China

Find articles by 振霖 谭

圣文 郭

华南理工大学 材料学院(广州 510640), School of Material Science and Engineering, South China University of Technology, Guangzhou 510640, P. R. China 华南理工大学 材料学院(广州 510640), School of Material Science and Engineering, South China University of Technology, Guangzhou 510640, P. R. China 华南理工大学 自动化学院(广州 510640), School of Automation Science and Engineering, South China University of Technology, Guangzhou 510640, P. R. China

corresponding author Corresponding author.
郭圣文,Email: nc.ude.tucs@ougwhs

其中, equation M6 为高斯核, equation M7 为图像 F x y z 轴三个方向的灰度梯度 equation M8equation M9 ,将灰度梯度向量及其转置相乘后得到梯度的协方差矩阵,将梯度的协方差矩阵求逆后,与 equation M10 进行卷积运算,trace为矩阵的迹计算。角点特征的定义为图像灰度梯度 equation M11equation M12 的值同时尽可能地大,而梯度协方差矩阵的逆的迹越小表示 equation M13equation Z-20230411182513equation Z-20230411182519 的值越大,以此来对图像的角点进行检测。其中高斯核卷积的作用为对图像梯度进行平滑处理,可以使图像的边缘模糊,抑制US图像中斑点噪声的响应值,使得获取的关键点更有意义,增加配准的稳定性。 equation M14 值代表每个体素的特征响应值,值越高表示该点越符合角点的特征,而角点往往是重要的解剖结构。为了确保角点的有效性和提高计算效率,对之进行了非极大值抑制,即在每个边长为 equation M15 的立方体区域,选择响应值最大者作为关键点。

1.3. 相似性测度

为了在 F 中搜索到和 M 中关键点在空间上最匹配的点,采用基于三维立方体区域(子块)的自相似性上下文SSC,定义两个子块的相似性测度 [ 7 ] ,其中SSC计算公式如下:

x 为图像对应坐标点, y 定义为与 x 相邻的6个点,对这6个点中相邻的点对计算像素灰度差的平方和(sum of squared differences,SSD),得到12个值,以反映对应点 x 领域的自相似性信息, equation M16 为该12个SSD的标准差。根据SSC,两个子块的相似性测度计算公式如下:

其中 equation M17equation M18 分别对应 F M 中子块的SSC值, k l 分别为 F M 的子块中心, p 为位移, equation M19 P 表示局部立方体搜索区域。式(2)中的相似性测度,实际上是搜索区域内两个子块SSC值之差的绝对值均值,它不仅适合量度不同模态图像块之间的相似性,而且受噪声影响小。

1.4. 离散优化算法

根据 F 中关键点的空间位置( k x , k y , k z ),以 M 中相同位置点为中心,在其邻域内搜索与之相匹配的点,用 equation M20 表示该邻域,位移(步长)分别用 d x d y d z 表示,则有:

将关键点的搜索位移空间定义为密集采样的三维集合 d L = equation M21 ,其中, l max 为采样点数, q 为搜索步长。通过对 equation M22 的值进行设置,就可以覆盖两幅图像之间潜在的所有位移运动。当进行大范围的搜索时,采用较多的采样点数和较大的搜索步长,并随着搜索范围的一步步减少,采样点数和搜索步长也相应减少,该方法称为密集位移采样离散优化算法。

本研究将关键点采样和块相似性离散优化策略相结合,如在大范围搜索时,采用少量的关键点及较大图像块 P ,从而获取大的感受野范围来保证配准精度,而较少的关键点可提高计算速度;反之,在小范围搜索时使用较多的关键点及较小图像块 P ,可获取较小的感受野范围,从而更精准地捕捉局部微小形变,此时使用较多的关键点,可提升配准精度。在进行大范围搜索时,图像块感受野较大,配准的计算复杂度也随之加大。为了解决该问题,采用多分辨率配准的方法,在大范围搜索时使用分辨率较低的图像,得到粗略的位置偏移;随着范围搜索的减少,图像分辨率提高,以感知精细的局部形变,确保配准精度。

1.5. 位移向量的正则化

在图像经局部相似性搜索和离散优化后,所有关键点都获得了密集位移采样的相似性损失矩阵。为了进一步消除配准误差,采用最小卷积和均值场推理的位移正则化方法 [ 14 ]

该方法采用了最小池化和平均池化两个操作来对点的相似性损失进行正则化,首先使用最小池化找到局部相似性损失D的近似最小值,然后使用两个平均池化操作进行二次平滑来进行正则化。为了实现上述池化操作,本文将整个相似性损失矩阵排列成了一个6维的矩阵,其中1~3维按照关键点 equation M23 采样位置排列,4~6维按照密集位移采样 d 对应位置进行排列。首先对4~6维进行最小池化(最小卷积)和平均池化操作,来找到搜索空间上的近似局部最小值和平滑,接着对1~3维进行平均池化(均值场推理),来对相邻关键点的位移进行约束。由于池化操作可以在GPU上进行并行运算,故可大大提升计算速度。

2. 实验数据与配准结果

2.1. 实验数据

数据来源于公共数据集RESECT [ 15 ] ,该数据集使用1.5T Siemens Magnetom Avanto对22名患者进行T1w和T2-FLAIR两种序列MRI扫描,体素大小为1 mm × 1 mm × 1 mm,分辨率为256 × 256 × 192。使用12FLA-L线性超声探头分别对患者肿瘤切除前、切除中和切除后进行扫描,体素大小为0.14 mm × 0.14 mm × 0.14 mm~0.24 mm × 0.24 mm × 0.24 mm。本研究选择手术前T2-FLAIR MR图像和术中US图像进行配准实验,在每对MR图像和US图像之间,均事先由人工确定了15~16个对应的标记点,以供各种配准算法进行性能评估和比较。

2.2. 关键点检测

角点是图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算速度,有利于图像的可靠匹配。 图2 显示了US图像的角点检测的响应图、用局部最高响应值筛选后的关键点,以及配准后MR图像中对应的关键点。

Visualization of key points

关键点可视化

从图中可以看出,在US图像上检测到的关键点,大部分位于重要解剖结构上,如脑脊液、灰质和肿瘤边缘等。

2.3. 实验结果与分析

2.3.1. 配准实验环境及参数设置

实验使用Dell precision tower 7910工作站,CPU为Intel Xeon E5-2690 v4,配置NVIDIA GeForce GTX 1080 Ti显卡的GPU。整个配准流程的计算工作在GPU上实现。采用对应标记点之间的平均欧氏距离,作为平均配准误差(mean target registration error of landmarks,mTRE),对配准结果进行评估。

配准参数选取如下:在仿射配准进行了3个阶段的从粗到细的配准,分别将图像的分辨率大小采样为原图的0.5、0.75和1,关键点的非极大值抑制的参数 equation M24 。该阶段只使用了角点特征响应值最高的部分关键点,关键点数量的参数为64、128、216,密集搜索空间的搜索点数 equation M25 ,搜索步长 equation M26 。在弹性配准时,图像已经进行了仿射的预配准,图像之间只有微小的误差,因此只进行了单个阶段的精细配准,关键点非极大化抑制的参数 equation M27 。该阶段使用了所有的关键点,并对关键点进行了阈值化处理,阈值化处理采用的是Otsu算法 [ 16 ] ,密集搜索空间的搜索点数 equation M28 ,搜索步长 equation M29

2.3.2. 配准结果和对比分析

为证明本文所提出配准方法MRDOR-KP的配准效果,我们在RESECT数据集的22个病例中进行了验证。该数据集的初始配准误差为(5.41 ± 4.19)mm,使用MRDOR-KP方法经过仿射配准后数据的配准误差为(1.57 ± 0.30)mm,平均配准时间为1.36 s,弹性配准后的配准误差为(1.40 ± 0.28)mm,平均配准时间为1.53 s。对于仿射配准,MRDOR-KP方法能够有效地对不同大小形变的图像进行配准,即使图像存在比较大的形变,如病例12有19.74 mm的初始误差,该方法依旧有效。通过弹性形变进行拟合后,绝大部分患者脑图像的配准误差在2 mm以内,最大配准误差为2.02 mm,表明对于所有案例的配准结果都比较好。

为了验证多分辨率策略和正则化方法的有效性, 表1 列出了使用/不使用多分辨率分解和正则化策略的配准误差及运算时间:

表 1

Performance comparison of different modules

不同模块性能比较

方法 平均配准误差/mm 时间/s
单分辨率仿射配准 1.60 4.47
多分辨率仿射配准 1.57 1.36
无正则化弹性配准 1.80 1.34
正则化弹性配准 1.40 1.53

表1 可以看出,仿射配准阶段使用多分辨率策略来进行配准,不仅可以显著提高配准的速度,并且能够提升配准精度;弹性配准阶段,正则化操作能有效降配准误差,因采用了并行运算,故正则化计算时间仅增加了0.19 s。

为了评估本文方法的性能,我们将本文的配准结果与CuRIOUS2018挑战赛 [ 17 ] 排名前3的算法ImFusion [ 18 ] 、DeedsSSC [ 19 ] 和cDRAMMS [ 20 ] 进行了比较,结果如 表2 所示。

表 2

Performance comparison of different methods

不同方法性能比较

方法 平均配准误差/mm 时间/s
ImFusion 1.75 ± 0.62 20
DeedsSSC 1.67 ± 0.54 25
cDRAMMS 3.35 ± 1.39 450
MRDOR-KP 1.40 ± 0.28 2.89

表2 的配准结果比较可以看出,本文方法成功地将配准时间降低到了2.89 s,比其他方法大幅缩短,并且取得了最低的配准误差。结果表明,我们的方法可以自动精准地对US与MR图像进行配准,只需要几秒就能实现,能够满足医生对于临床手术精度和时间的需求。

2.3.3. 结果可视化

图3 展示了RESECT数据集中三名不同患者(case#12、case#17和case#23)的MR到US的配准结果,为了进一步评估配准结果的好坏,具有临床经验的神经外科医生对配准前后的MR图像和US图像对关键区域(脑沟和肿瘤边界)进行了标记。其中白色和蓝色箭头分别指出US和MR的肿瘤边界,黄色和红色箭头分别指出US和MR的脑沟。从配准前后箭头的对齐效果可以看出经过我们的方法配准后,图像关键区域得到了明显的对齐。

Partial registration results

部分配准结果

白色和黄色箭头分别指向US图像的肿瘤边界和脑沟,蓝色和红色箭头分别指向MR图像的肿瘤边界和脑沟

the white and yellow arrows point to the tumor boundary and sulcus of the US image respectively, and the blue and red arrows point to the tumor boundary and sulcus of the MR image respectively

图4 展示了患者#25在本文算法的配准结果与CuRIOUS2018挑战赛给出的配准结果的对比。该病例的初始配准误差为10.06 mm,ImFusion、cDRAMMS和DeedsSSC算法的配准误差分别为2.12、2.76、1.45 mm,而本文算法的配准误差仅为1.37 mm。图中使用箭头指向了脑沟区域的对齐情况,可以看出我们的算法取得了更好的对齐效果和更小的配准误差。

Registration results of multiple algorithms

多算法配准结果

白色箭头指向US图像的脑沟,右下角为不同算法的mTRE

the white arrow points to the sulcus of the US image, and the lower right corner is the mTRE of different algorithms

3. 结论

本文提出了一种基于关键点的多分辨率离散优化两阶段图像配准算法,采用自相似性上下文描述子定义图像间相似性测度,并对关键点的位移向量进行正则化处理,以减少配准误差。实验证明,本文提出的配准方法,具有良好的配准精度和速度,能有效实现MR图像和US图像的实时配准。本文的创新点包括:① 采用一种基于角点作为关键特征点的策略,根据运动特性不同,分别在仿射配准和弹性配准阶段采用不同数量的关键点,以充分利用有效的解剖结构信息,并加速配准;② 在仿射配准阶段,对图像进行多分辨率分解,实施由粗到精的配准,以提高配准精度;③ 在弹性配准阶段,采取最小卷积和均值场推理策略对位移向量进行正则化处理,有效地减少配准误差。

重要声明

利益冲突声明:本文全体作者均声明不存在利益冲突。

作者贡献声明:谭振霖负责算法研究、实验、分析及论文撰写,郭圣文负责总体设计、方法与论文撰写指导和审校。

Funding Statement

广州市科技计划项目(202102010421);广东省基础与应用基础研究基金项目(2021A1515220113)

Funding Statement

Science and Technology Program of Guangzhou; Science and Technology Program of Guangdong

References

1. Gerard I J, Kersten-Oertel M, Hall J A, et al Brain shift in neuronavigation of brain tumors: an updated review of intra-operative ultrasound applications. Front Oncol. 2021; 10 :618837. doi: 10.3389/fonc.2020.618837. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
2. Bastos D C D A, Juvekar P, Tie Y, et al Challenges and opportunities of intraoperative 3D ultrasound with neuronavigation in relation to intraoperative MRI. Front Oncol. 2021; 11 :656519. doi: 10.3389/fonc.2021.656519. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
3. Reinertsen I, Lindseth F, Unsgaard G, et al Clinical validation of vessel-based registration for correction of brain-shift. Med Image Anal. 2007; 11 (6):673–684. doi: 10.1016/j.media.2007.06.008. [ PubMed ] [ CrossRef ] [ Google Scholar ]
4. Coupé P, Hellier P, Morandi X, et al 3D rigid registration of intraoperative ultrasound and preoperative MR brain images based on hyperechogenic structures. Int J Biomed Imaging. 2012; 2012 (3):531319. [ PMC free article ] [ PubMed ] [ Google Scholar ]
5. Farnia P, Makkiabadi B, Ahmadian A, et al. Curvelet based residual complexity objective function for non-rigid registration of pre-operative MRI with intra-operative ultrasound images// 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Orlando: IEEE, 2016: 1167-1170.
6. Wein W, Ladikos A, Fuerst B, et al. Global registration of ultrasound to MRI using the LC2 metric for enabling neurosurgical guidance// Mori K, Sakuma I, Sato Y, et al. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Berlin, Heidelberg: Springer Berlin Heidelberg, 2013: 34-41.
7. Heinrich M P, Jenkinson M, Papież B W, et al. Towards realtime multimodal fusion for image-guided interventions using self-similarities// Mori K, Sakuma I, Sato Y, et al. International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Heidelberg: Springer Berlin Heidelberg, 2013: 187-194.
8. Rivaz H, Chen S J S, Collins D L Automatic deformable MR-ultrasound registration for image-guided neurosurgery. IEEE Trans Med Imaging. 2015; 34 (2):366–380. doi: 10.1109/TMI.2014.2354352. [ PubMed ] [ CrossRef ] [ Google Scholar ]
9. Machado I, Toews M, George E, et al Deformable MRI-Ultrasound registration using correlation-based attribute matching for brain shift correction: Accuracy and generality in multi-site data. NeuroImage. 2019; 202 :116094. doi: 10.1016/j.neuroimage.2019.116094. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
10. Ou Y, Sotiras A, Paragios N, et al DRAMMS: Deformable registration via attribute matching and mutual-saliency weighting. Med Image Anal. 2011; 15 (4):622–639. doi: 10.1016/j.media.2010.07.002. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
11. Arun K S, Huang T S, Blostein S D Least-squares fitting of two 3-D point sets. IEEE Trans Pattern Anal Mach Intell. 1987; PAMI-9 (5):698–700. doi: 10.1109/TPAMI.1987.4767965. [ PubMed ] [ CrossRef ] [ Google Scholar ]
12. Bookstein F L Principal warps: Thin-plate splines and the decomposition of deformations. IEEE Trans Pattern Anal Mach Intell. 1989; 11 (6):567–585. doi: 10.1109/34.24792. [ CrossRef ] [ Google Scholar ]
13. Rohr K On 3D differential operators for detecting point landmarks. Image Vis Comput. 1997; 15 (3):219–233. doi: 10.1016/S0262-8856(96)01127-4. [ CrossRef ] [ Google Scholar ]
14. Heinrich M P. Closing the gap between deep and conventional image registration using probabilistic dense displacement networks// Shen Dinggang, Liu Tianming, Peters T M, et al. International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer International Publishing, 2019: 50-58.
15. Xiao Y, Fortin M, Unsgård G, et al REtroSpective Evaluation of Cerebral Tumors (RESECT): A clinical database of pre-operative MRI and intra-operative ultrasound in low-grade glioma surgeries. Med Phys. 2017; 44 (7):3875–3882. doi: 10.1002/mp.12268. [ PubMed ] [ CrossRef ] [ Google Scholar ]
16. Otsu N A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern. 1979; 9 (1):62–66. doi: 10.1109/TSMC.1979.4310076. [ CrossRef ] [ Google Scholar ]
17. Xiao Y, Rivaz H, Chabanas M, et al Evaluation of MRI to ultrasound registration methods for brain shift correction: The CuRIOUS2018 challenge. IEEE Trans Med Imaging. 2020; 39 (3):777–786. doi: 10.1109/TMI.2019.2935060. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
18. Wein W. Brain-shift correction with image-based registration and landmark accuracy evaluation// Stoyanov D, Taylor Z, Aylward S, et al. Simulation, image processing, and ultrasound systems for assisted diagnosis and navigation. Cham: Springer International Publishing, 2018: 146-151.
19. Shams R, Boucher M-A, Kadoury S. Intra-operative brain shift correction with weighted locally linear correlations of 3DUS and MRI// Stoyanov D, Taylor Z, Aylward S, et al. Simulation, image processing, and ultrasound systems for assisted diagnosis and navigation. Cham: Springer International Publishing, 2018: 179-184.
20. Machado I, Toews M, Luo J, et al. Deformable MRI-ultrasound registration via attribute matching and mutual-saliency weighting for image-guided neurosurgery// Stoyanov D, Taylor Z, Aylward S, et al. Simulation, image processing, and ultrasound systems for assisted diagnosis and navigation. Cham: Springer International Publishing, 2018: 165-171.

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University