超快超声波最近已成为传统聚焦超声波的替代品。由于所需的声穿透次数较少,超快超声波能够以非常高的帧速率对人体进行成像。然而,未考虑到声穿透介质中的声速变化通常会导致重建图像中的相位畸变。超快超声的诊断能力因此最终受到阻碍。因此,强烈需要能够适应声速像差的自适应波束形成方法。最近已经提出了几种这样的技术,但它们通常缺乏并行性或直接校正发射和接收相位畸变的能力。在本文中,我们介绍了一种旨在解决这些缺点的自适应波束形成方法。为此,我们计算使用延迟求和重建的几个复杂射频图像的加窗氡变换。然后,我们对获得的局部正弦图进行加权张量Rank-1分解,其结果最终用于重建校正图像。我们使用模拟和体外数据证明,我们的方法能够成功恢复无像差图像,并且其性能优于相干复合和最近推出的 SVD 波束形成器。最后,我们在体内数据上验证了所提出的波束形成技术,与两种参考方法相比,图像质量显着提高。我们对获得的局部正弦图进行加权张量
多模态医学数据提供补充信息,因此已被广泛探索用于计算机辅助 AD 诊断。然而,该研究受到不可避免的数据缺失问题的阻碍,即由于各种原因,某些受试者没有获得一种数据模态。尽管可以使用生成模型对缺失数据进行插补,但插补过程可能会向分类过程引入不切实际的信息,从而导致性能不佳。在本文中,我们提出了使用不完整的多模态医学图像进行 AD 诊断的先解开,然后蒸馏 (DFTD) 框架。首先,我们设计了一个区域感知解开模块,将每个图像解开为模态间相关表示和模态内特定表示,重点关注与疾病相关的区域。为了逐步整合多模态知识,我们构建了一个插补诱导的蒸馏模块,其中创建横向模态间转换单元来插补缺失模态的表示。所提出的 DFTD 框架已在包含 1248 名受试者的 ADNI 数据集上针对六种现有方法进行了评估。结果表明,我们的方法在 AD-CN 分类和 MCI-to-AD 预测任务中都具有优异的性能,大大优于所有竞争方法。
医学对比视觉语言预训练在许多下游任务中显示出巨大的前景,例如数据高效/零样本识别。当前的研究通过将成对的图像报告视为正样本,将未配对的图像报告视为负样本,对网络进行对比损失的预训练。然而,与自然数据集不同,来自不同病例的许多医学图像或报告可能具有很大的相似性,尤其是对于正常病例,将所有未配对的图像或报告视为负样本可能会破坏学习的语义结构并对表示产生不利影响。因此,我们设计了一种简单而有效的方法来更好地在医学视觉语言领域进行对比学习。具体来说,通过将医学图像报告对之间的相似度计算简化为报告间相似度的计算,将图像报告元组分为正组、负组和附加中性组。通过对样本进行更好的分类,可以构建更合适的对比损失。为了进行评估,我们通过将所提出的模型无关策略应用于两个最先进的预训练框架来进行广泛的实验。对四个常见下游任务(包括跨模态检索、零样本/数据高效图像分类和图像分割)的持续改进证明了所提出的策略在医学领
最近,多模式脑连接组的研究有了巨大的增长,并促进了脑部疾病的诊断。在这个范式中,功能和结构网络,例如源自fMRI和DTI的功能和结构连接,以某种方式相互作用,但不一定是线性相关的。因此,利用补充信息进行脑连接组分析仍然存在巨大挑战。近年来,图卷积网络(GNN)已被广泛应用于多模态脑连接组的融合。然而,大多数现有的 GNN 方法无法耦合模态间的关系。在这方面,我们提出了一种跨模态图神经网络(Cross-GNN),通过动态图学习和相互学习来捕获模态间依赖关系。具体来说,模态间表示被仔细地耦合到组合空间中,以推理模态间依赖性。此外,我们以显式和隐式方式研究相互学习:(1)通过基于模间对应矩阵显式交叉嵌入来获得跨模态表示。(2)我们提出了一种跨模态蒸馏方法,通过跨模态语义上下文隐式正则化潜在表示。我们对仔细学习的对应矩阵进行统计分析,以评估关联疾病生物标志物的模态关系。我们对三个数据集进行的广泛实
淋巴管在清除大脑中脑脊液 (CSF) 方面的作用与多种神经退行性疾病有关。在早产儿中,脑室内出血会导致脑脊液产生增加,如果清除受阻,可能会导致脑积水和严重的发育障碍。在这项工作中,我们开发并部署了近红外荧光 (NIRF) 断层扫描和成像,以评估大小相似的完整非人类灵长类动物 (NHP) 右侧给予微剂量吲哚菁绿 (ICG) 后的脑脊液心室动态和颅外流出物侧脑室。荧光光学断层扫描测量是通过连续照射 8 根光纤,将约 10 mW 的 785 nm 光传送到头皮,并使用砷化镓增强电荷耦合装置对从 22 根光纤收集的 830 nm 发射光进行成像。采集时间为 16 秒。图像重建使用从 MRI 获得的扩散近似和硬先验,能够动态映射充满 ICG 的 CSF 心室动力学并引流到 NHP 的蛛网膜下腔 (SAS)。随后,头皮的平面 NIRF 成像证实了颅外流出物进入 SAS,腹部成像显示 ICG 通过肝胆系
计算机断层扫描 (CT) 图像的自动通用病灶分割 (ULS) 可以减轻放射科医生的负担,并提供比当前实体瘤反应评估标准 (RECIST) 指南测量更准确的评估。然而,由于缺乏大规模像素级标记数据,该任务尚未开发。本文提出了一种弱监督学习框架,以利用 ULS 医院图片存档和通信系统 (PACS) 中现有的大规模病变数据库。与之前通过浅层交互式分割技术构建伪代理掩码以进行完全监督训练的方法不同,我们建议从 RECIST 注释中挖掘隐含信息,从而设计一个统一的 RECIST 诱导的可靠学习(RiRL)框架。特别,我们引入了一种新颖的标签生成过程和一种动态软标签传播策略,以避免噪声训练和泛化不良问题。前者称为RECIST诱导几何标记,利用RECIST的临床特征来初步可靠地传播标签。通过标记过程,三元图将病变切片分为三个区域,包括某些前景、背景和不清晰区域,从而在广阔的区域上提供强大而可靠的监督信号
计算机断层扫描 (CT) 图像是检测和诊断腰椎疾病最常用的放射线成像方式。尽管取得了许多突出的进展,但由于病理异常的复杂性和不同病变之间的区分能力差,腰椎间盘疾病的计算机辅助诊断(CAD)仍然具有挑战性。因此,我们提出了协作多元数据融合分类网络(CMMF-Net)来应对这些挑战。该网络由特征选择模型和分类模型组成。我们提出了一种新颖的多尺度特征融合(MFF)模块,可以通过融合不同尺度和维度的特征来提高网络感兴趣区域(ROI)的边缘学习能力。我们还提出了一种新的损失函数来提高网络对椎间盘内部和外部边缘的收敛性。随后,我们使用特征选择模型中的 ROI 边界框来裁剪原始图像并计算距离特征矩阵。然后,我们将裁剪后的 CT 图像、多尺度融合特征和距离特征矩阵连接起来,并将它们输入到分类网络中。接下来,模型输出分类结果和类激活图(CAM)。最后,在上采样过程中将原始图像尺寸的CAM返回到特征选择网络,
强直是帕金森病(PD)常见的运动障碍之一,会导致生活质量恶化。广泛使用的基于评级量表的僵化评估方法仍然取决于经验丰富的神经科医生的可用性,并且受到评级主观性的限制。鉴于定量磁化率图(QSM)最近在辅助PD诊断中的成功应用,PD刚性的自动评估基本上可以通过QSM分析来实现。然而,一个主要的挑战是由于隐藏了真正因果特征的混杂因素(例如噪声和分布变化)而导致的性能不稳定。因此,我们提出了一个因果感知图卷积网络(GCN)框架,其中因果特征选择与因果不变性相结合,以确保达成基于因果关系的模型决策。首先,在节点、结构和表示三个图层面系统地构建了集成因果特征选择的GCN模型。在这个模型中,学习因果图来提取具有真正因果信息的子图。其次,制定了非因果扰动策略和不变性约束,以确保不同分布下评估结果的稳定性,从而避免分布变化引起的虚假相关性。广泛的实验证明了所提出方法的优越性,并且所选大脑区域与 PD 僵硬的直
患者特定心脏几何形状的自动体积网格划分有助于加快各种生物力学研究,例如干预后应力估计。先前的网格划分技术常常忽略成功下游分析的重要建模特征,特别是对于瓣膜小叶等薄结构。在这项工作中,我们提出了 DeepCarve(深度心脏体积网格):一种新颖的基于变形的深度学习方法,可自动生成具有高空间精度和元素质量的患者特定体积网格。我们方法的主要新颖之处在于使用最小足够的表面网格标签来实现精确的空间精度,并同时优化各向同性和各向异性变形能以实现体积网格质量。推理过程中网格生成每次扫描仅需 0.13 秒,并且每个网格都可以直接用于有限元分析,无需任何手动后处理。随后还可以合并钙化网格以提高模拟精度。大量的支架部署模拟验证了我们的大批量分析方法的可行性。我们的代码位于 https://github.com/danpak94/Deep-Cardiac-Volumetric-Mesh。
近年来,模型驱动的深度学习通过用网络模块替换正则化器的一阶信息(例如(次)梯度或近端算子),将迭代算法发展为级联网络。与典型的数据驱动网络相比,这种方法提供了更好的可解释性和可预测性。然而,从理论上讲,不能保证存在一阶信息与替代网络模块相匹配的函数正则化器。这意味着展开的网络输出可能与正则化模型不一致。此外,很少有既定理论可以保证实际假设下展开网络的全局收敛性和鲁棒性(规律性)。为了解决这一差距,我们提出了一种受保护的网络展开方法。具体来说,对于并行 MR 成像,我们展开了一个零阶算法,其中网络模块本身充当正则化器,允许正则化模型覆盖网络输出。此外,受深度平衡模型的启发,我们在反向传播之前进行展开网络以收敛到固定点,然后证明它可以紧密逼近实际的 MR 图像。我们还证明,如果测量数据包含噪声,所提出的网络对于噪声干扰具有鲁棒性。最后,数值实验表明,所提出的网络始终优于最先进的 MRI 重建方
由于该逆问题的不适定性,低计数正电子发射断层扫描 (PET) 成像具有挑战性。先前的研究表明,深度学习 (DL) 有望提高低计数 PET 图像质量。然而,几乎所有数据驱动的深度学习方法在去噪后都会遭受精细结构退化和模糊效应的影响。将深度学习融入传统的迭代优化模型中可以有效提高其图像质量并恢复精细结构,但很少有研究考虑模型的完全松弛,导致这种混合模型的性能没有得到充分的发挥。在本文中,我们提出了一种深度集成深度学习和基于交替方向乘子法(ADMM)的迭代优化模型的学习框架。该方法的创新点在于我们打破了保真算子的固有形式,采用神经网络对其进行处理。正则化项是深度概括的。所提出的方法在模拟数据和实际数据上进行了评估。定性和定量结果都表明,我们提出的神经网络方法可以优于基于部分算子扩展的神经网络方法、神经网络去噪方法和传统方法。
开放集识别(OSR)旨在对已知疾病进行准确分类,并将未见过的疾病识别为医疗场景中的未知类别。然而,在现有的 OSR 方法中,从分布式站点收集数据来构建大规模集中式训练数据集通常会导致较高的隐私和安全风险,而这可以通过流行的跨站点训练范式——联邦学习(FL)来优雅地缓解。为此,我们首次提出了联邦开放集识别(FedOSR),同时提出了一种新颖的联邦开放集综合(FedOSS)框架来解决FedOSR的核心挑战:在整个过程中,所有预期客户都无法获得未知样本。训练阶段。拟议的 FedOSS 框架主要利用两个模块,即 离散未知样本合成 (DUSS) 和联合开放空间采样 (FOSS),生成虚拟未知样本,用于学习已知类和未知类之间的决策边界。具体来说,DUSS利用客户端间的知识不一致来识别决策边界附近的已知样本,然后将它们推到决策边界之外以合成离散的虚拟未知样本。FOSS将这些来自不同客户端的生成的未知样本
皮肤镜图像的皮肤病变分割在各种皮肤疾病的早期诊断和预后中起着至关重要的作用。然而,由于皮肤病变的巨大变异性及其模糊的边界,这是一项具有挑战性的任务。此外,大多数现有的皮肤病变数据集都是为疾病分类而设计的,提供的分割标签相对较少。为了解决这些问题,我们提出了一种新颖的基于超像素的自动掩模图像建模方法,称为 autoSMIM,在自我监督的环境中进行皮肤病变分割。它从大量未标记的皮肤镜图像中探索隐式图像特征。autoSMIM 首先使用随机屏蔽的超像素恢复输入图像。然后通过贝叶斯优化通过新颖的代理任务更新生成和屏蔽超像素的策略。最优策略随后用于训练新的掩模图像建模模型。最后,我们在下游皮肤病变分割任务上微调这样的模型。在三个皮肤病变分割数据集(包括 ISIC 2016、ISIC 2017 和 ISIC 2018)上进行了大量实验。消融研究证明了基于超像素的掩模图像建模的有效性,并建立了 autoSMIM
现有的自监督医学图像分割通常会遇到域移位问题(即预训练的输入分布与微调的输入分布不同)和/或多模态问题(即仅基于单模态数据)并且无法利用医学图像丰富的多模态信息)。为了解决这些问题,在这项工作中,我们提出了多模态对比域共享(Multi-ConDoS)生成对抗网络,以实现有效的多模态对比自监督医学图像分割。与现有的自监督方法相比,Multi-ConDoS 具有以下三个优点:(i)它利用多模态医学图像通过多模态对比学习来学习更全面的物体特征;(ii)通过整合CycleGAN的循环学习策略和Pix2Pix的跨域翻译损失来实现领域翻译;(iii)引入新颖的域共享层,不仅可以从多模态医学图像中学习特定域的信息,还可以学习域共享的信息。对两个公开多模态医学图像分割数据集的大量实验表明,仅使用 5%(分别是 10%)的标记数据,Multi-ConDoS 不仅大大优于最先进的自监督和半监督医学图像分割基线
胰腺癌是所有癌症中预后最差的。内窥镜超声 (EUS) 用于评估胰腺癌风险和深度学习用于 EUS 图像分类的临床应用受到年级间差异和标记能力的阻碍。造成这些困难的关键原因之一是 EUS 图像是从多个来源获得的,具有不同的分辨率、有效区域和干扰信号,使得数据的分布高度可变,并对深度学习模型的性能产生负面影响。此外,手动标记图像非常耗时且需要付出巨大的努力,因此需要有效利用大量未标记的数据进行网络训练。为了应对这些挑战,本研究提出了用于多源 EUS 诊断的双自监督多操作员转换网络(DSMT-Net)。DSMT-Net 包括一种多算子变换方法,用于标准化 EUS 图像中感兴趣区域的提取并消除不相关的像素。此外,基于变压器的双自监督网络被设计用于集成未标记的 EUS 图像来预训练表示模型,该模型可以转移到分类、检测和分割等监督任务。已经收集了基于 EUS 的大规模胰腺图像数据集 (LEPset),包括
在全身动态正电子发射断层扫描 (PET) 中,帧间主体运动会导致空间错位并影响参数成像。当前许多深度学习帧间运动校正技术仅关注基于解剖学的配准问题,而忽略了包含功能信息的示踪动力学。为了直接减少 18F-FDG 的 Patlak 拟合误差并进一步提高模型性能,我们提出了一种将 Patlak 损失优化集成到神经网络(MCP-Net)中的帧间运动校正框架。MCP-Net 由多帧运动估计块、图像扭曲块和分析 Patlak 块组成,该块使用运动校正帧和输入函数来估计 Patlak 拟合。利用均方百分比拟合误差的新型 Patlak 损失惩罚分量被添加到损失函数中以加强运动校正。参数图像是在运动校正后使用标准 Patlak 分析生成的。与传统和深度学习基准相比,我们的框架增强了动态帧和参数图像的空间对齐,并降低了归一化拟合误差。MCP-Net 还实现了最低的运动预测误差并表现出最好的泛化能力。提出了直
组织学图像中的伪影可能会妨碍医学信息的准确解释并导致误诊。因此,预先对工件进行手动质量控制会大大降低自动化程度。为了弥补这一差距,我们提出了一种有条理的预处理框架来检测和恢复工件,从而最大限度地减少它们对下游人工智能诊断任务的影响。首先,伪影识别网络AR分类器首先区分常见伪影和正常组织,例如组织褶皱、标记染料、纹身颜料、斑点和失焦,并且还根据伪影斑块的可恢复性对其进行分类。然后,后续的伪影恢复网络 AR-CycleGAN 执行去伪影处理,可以最大限度地保留染色样式和组织结构。我们构建绩效评估基准,根据临床收集的 WSI 以及结直肠癌和乳腺癌的公共数据集进行整理。将功能结构与最先进的方法进行比较,并通过多个任务的多个指标进行综合评估,包括伪影分类、伪影恢复、肿瘤分类的下游诊断任务和细胞核分割。所提出的系统允许基于深度学习的组织学图像分析完全自动化,无需人工干预。此外,结构无关的特性使其能够处
早期发现未破裂颅内动脉瘤 (UIA) 可以更好地评估破裂风险和预防性治疗。UIA 通常通过飞行时间磁共振血管造影 (TOF-MRA) 或对比增强计算机断层扫描血管造影 (CTA) 进行诊断。人们已经开发了各种基于体素的自动深度学习 UIA 检测方法,但这些方法仅限于单一模态。我们提出了一种独立于模态的 UIA 检测方法,该方法使用具有高分辨率脑血管表面网格的几何深度学习模型。使用具有 ResU-Net 风格架构的网状卷积神经网络。使用不同的输入和池化网格分辨率研究了 UIA 检测性能,并包括额外的边缘输入特征(形状索引和弯曲度)。两者都有更高分辨率的网格(15、000 边缘)和额外的曲率边缘功能提高了性能(平均灵敏度:65.6%,假阳性计数/图像(FPC/图像):1.61)。在独立的 TOF-MRA 测试集和 CTA 测试集中检测到 UIA,平均灵敏度分别为 52.0% 和 48.3%,平均
特征匹配是指建立两幅图像之间区域(通常是体素特征)的对应关系,是基于特征配准的重要前提。对于可变形图像配准任务,传统的基于特征的配准方法通常使用迭代匹配策略进行兴趣区域匹配,其中特征选择和匹配是明确的,但特定的特征选择方案通常在解决特定应用问题时有用,并且需要几分钟的时间每次注册。在过去的几年中,基于学习的方法(例如VoxelMorph和TransMorph)的可行性已被证明,并且与传统方法相比,它们的性能已被证明具有竞争力。然而,这些方法通常是单流的,其中将待配准的两个图像连接成2通道整体,然后直接输出变形场。图像特征到图像间匹配关系的转换是隐式的。在本文中,我们提出了一种新颖的端到端双流无监督框架,名为 TransMatch,其中每个图像被输入到单独的流分支中,每个分支独立地执行特征提取。然后,我们通过 Transformer 模型中自注意力机制的查询键匹配思想实现图像对之间的显式多级特征匹配。在三个
本文描述了一种使用同步多频组织激励来定量和体积测量前列腺组织弹性的新颖系统。通过使用局部频率估计器测量前列腺内稳态剪切波的三维局部波长来计算弹性。剪切波是使用机械音圈振动器产生的,该振动器经会阴传输同时多频率振动。射频数据直接从 BK Medical 8848 经直肠超声换能器传输到外部计算机,在外部计算机中使用散斑跟踪算法测量由于激励引起的组织位移。使用带通采样,无需超快帧速率来跟踪组织运动,并允许以低于奈奎斯特速率的采样频率进行精确重建。计算机控制的滚动电机用于旋转传感器并获取 3D 数据。使用两个市售模型来验证弹性测量的准确性以及使用该系统进行体内前列腺成像的功能可行性。将体模测量值与 3D 磁共振弹性成像 (MRE) 进行比较,实现了 96% 的高相关性。此外,该系统已在两项独立的临床研究中用作癌症识别方法。本文介绍了这些临床研究中 11 名患者的定性和定量结果。此外,AUC为0.87±0。
手术器械分割对于机器人辅助手术具有重要意义,但手术过程中反射、水雾、运动模糊等产生的噪声以及手术器械的不同形态都会大大增加精确分割的难度。为了解决这些挑战,提出了一种称为分支聚合注意网络(BAANet)的新方法,该方法采用轻量级编码器和两个设计模块,即分支平衡聚合模块(BBA)和块注意融合模块(BAF),以实现高效的特征定位和去噪。通过引入独特的BBA模块,通过加法和乘法的结合,对多个分支的特征进行平衡和优化,优势互补,有效抑制噪声。此外,为了充分整合上下文信息并捕获感兴趣区域,在解码器中提出了 BAF 模块,该模块从 BBA 模块接收相邻特征图,并利用双分支注意机制从全局和局部角度定位手术器械。根据实验结果,与现有状态相比,所提出的方法具有轻量级的优势,同时在三个具有挑战性的手术器械数据集上的 mIoU 分数分别优于第二佳方法 4.03%、1.53% 和 1.34%。最先进的方法。代码可从
磁共振成像是临床诊断的重要工具。但是,它的获取时间长。深度学习,尤其是深度生成模型的利用,为磁共振成像提供了积极的加速和更好的重建。然而,学习数据分布作为先验知识并从有限的数据重建图像仍然具有挑战性。在这项工作中,我们提出了一种新颖的 Hankel-k-space 生成模型(HKGM),它可以从只有一个 k-空间的训练集中生成样本。在先前的学习阶段,我们首先从k空间数据构造一个大的Hankel矩阵,然后从Hankel矩阵中提取多个结构化的k空间补丁以捕获不同补丁之间的内部分布。从汉克尔矩阵中提取补丁使生成模型能够从冗余和低秩数据空间中学习。在迭代重建阶段,所需的解决方案服从所学到的先验知识。将中间重建解作为生成模型的输入进行更新。然后,通过对其汉克尔矩阵施加低秩罚分以及对测量数据施加数据一致性约束来交替地对更新后的结果进行操作。实验结果证实,单个 k 空间数据中补丁的内部统计数据携带足够的
跨模态磁共振 (MR) 图像合成可用于从给定模态生成缺失模态。现有的(监督学习)方法通常需要大量配对的多模态数据来训练有效的综合模型。然而,获得足够的配对数据用于监督训练通常具有挑战性。在现实中,我们经常有少量的配对数据,而大量的未配对数据。为了利用配对和不配对数据,在本文中,我们提出了一种具有边缘感知预训练的多尺度变换器网络(MT-Net),用于跨模态 MR 图像合成。具体来说,首先以自监督方式对边缘保留掩模自动编码器(Edge-MAE)进行预训练,以同时执行 1)每个图像中随机掩模补丁的图像插补和 2)整个边缘图估计,它有效地学习上下文和结构信息。此外,还提出了一种新的 patch-wise loss,通过根据不同的掩蔽补丁各自插补的难度进行不同的处理,来增强 Edge-MAE 的性能。基于所提出的预训练,在随后的微调阶段,设计了双尺度选择性融合(DSF)模块(在我们的 MT-Net
多模态医学数据的融合对于辅助医学专家做出精准医疗的治疗决策至关重要。例如,结合整个幻灯片组织病理学图像 (WSI) 和表格临床数据可以在术前更准确地预测甲状腺乳头状癌的淋巴结转移 (LNM),避免不必要的淋巴结切除。然而,与低维表格临床数据相比,大规模的 WSI 提供了更多的高维信息,这使得多模态 WSI 分析任务中的信息对齐具有挑战性。本文提出了一种新型的变换器引导的多模态多实例学习框架,用于根据 WSI 和表格临床数据预测淋巴结转移。我们首先提出一个有效的多实例分组方案,命名为基于孪生注意力的特征分组(SAG),将高维 WSI 分组为具有代表性的低维特征嵌入以进行融合。然后,我们设计了一个新的瓶颈共享特定特征转移模块 (BSFT) 来探索不同模式之间的共享和特定特征,其中一些可学习的瓶颈标记用于模式之间的知识转移。此外,还结合了模态自适应和正交投影方案,以进一步鼓励 BSFT 从多模态
激光散斑对比成像(LSCI)由于其非侵入性和优异的空间和时间分辨率而被广泛用于体内局部血流微循环的实时检测和分析。然而,由于血液微循环结构的复杂性和病变区域不规则的血管畸变引起的大量特定噪声,LSCI图像的血管分割仍然面临很多困难。此外,LSCI图像数据标注的困难也阻碍了基于监督学习的深度学习方法在LSCI图像血管分割领域的应用。为了解决这些困难,我们提出了一种鲁棒的弱监督学习方法,它选择阈值组合和处理流程而不是劳动密集型注释工作来构建数据集的基本事实,并设计了一个基于 UNet++ 和 ResNeXt 的深度神经网络 FURNet。从训练中获得的模型实现了高质量的血管分割,并在构建的和未知的数据集上捕获了多场景血管特征,具有良好的泛化能力。此外,我们活体验证了这种方法在栓塞治疗前后对肿瘤的可用性。该工作为实现LSCI血管分割提供了一种新的途径,也为人工智能辅助疾病诊断领域取得了新的应用层
中风护理的基石是权宜之计,这取决于中风发作后的时间。因此,临床决策的制定以准确了解时间为中心,并且通常需要放射科医师解释大脑的计算机断层扫描 (CT) 以确认事件的发生和发生时间。由于急性缺血性病变的微妙表现及其外观的动态性质,这些任务特别具有挑战性。自动化工作尚未应用深度学习来估计病变年龄并独立处理这两项任务,因此,忽视了它们内在的互补关系。为了利用这一点,我们提出了一种新的基于端到端多任务转换器的网络,该网络针对脑缺血性病变的并发分割和年龄估计进行了优化。通过利用门控位置自注意力和 CT 特定数据增强,所提出的方法可以捕获远程空间依赖性,同时保持其在医学成像中常见的低数据条件下从头开始训练的能力。此外,为了更好地结合多个预测,我们通过利用分位数损失来合并不确定性,以促进估计病变年龄的概率密度函数。然后,我们的模型的有效性在由来自两个医疗中心的 776 幅 CT 图像组成的临床数据集上进
在X射线冠状动脉造影(XCA)中定位移动造影剂的起始、顶点和结束关键帧进行关键帧计数对于心血管疾病的诊断和治疗非常重要。为了从重叠复杂背景的类不平衡和边界不可知的前景血管动作中定位这些关键帧,我们通过将卷积长短期记忆 (CLSTM) 网络集成到多尺度 Transformer 中来学习片段来提出长短期时空注意- 基于连续帧的深度特征中的序列级依赖性。Image-to-patch 对比学习进一步嵌入在基于 CLSTM 的长期时空注意力和基于 Transformer 的短期注意力模块之间。imagewise contrastive 模块重用了对 XCA 序列的对比图像级前景/背景的长期关注,而 patchwise contrastive projection 选择背景的随机补丁作为卷积核,将前景/背景帧投影到不同的潜在空间中。收集了一个新的 XCA 视频数据集来评估所提出的方法。实验结果表明,所提出的方法实现了
多模态医学图像融合(MMIF)在疾病诊断和治疗等领域具有重要意义。由于图像变换和融合策略等可能的人为因素的影响,传统的 MMIF 方法难以提供令人满意的融合精度和鲁棒性。现有的基于深度学习的融合方法由于采用了人为设计的网络结构和相对简单的损失函数,以及权重学习过程中忽略了人类视觉特征,普遍难以保证图像融合效果。为了解决这些问题,我们提出了基于注视点可微分架构搜索 (F-DARTS) 的无监督 MMIF 方法。在这个方法中,将注视点算子引入权重学习过程,充分挖掘人类视觉特征,实现有效的图像融合。同时,通过整合互信息、差异相关性之和、结构相似性和边缘保持值,为网络训练设计了一个独特的无监督损失函数。基于提出的注视点算子和损失函数,将使用 F-DARTS 搜索端到端编码器-解码器网络架构以生成融合图像。三个多模态医学图像数据集的实验结果表明,F-DARTS 通过提供视觉上更好的融合结果和更好的客
深度学习缺乏可解释性降低了对网络未按预期工作时会发生什么的理解,并阻碍了其在医学等关键领域的应用,这些领域需要决策的透明度。例如,健康与病理分类模型应该依赖于放射学体征,而不是某些训练数据集的偏差。已经提出了几种事后模型来解释训练有素的网络的决策。然而,它们很少用于在训练过程中加强可解释性,也没有根据分类。在本文中,我们提出了一种新的弱监督方法,用于可解释的健康与病理分类和异常检测。将新的损失函数添加到标准分类模型中,以约束健康图像的每个体素,以根据基于梯度的属性将网络决策推向健康类别。该约束揭示了患者图像的病理结构,允许对其进行无监督分割。此外,我们在理论上和实验上都提倡,使用简单梯度属性的约束训练类似于使用较重的预期梯度的约束,从而降低计算成本。我们还在约束训练期间提出了归因组合,使模型对推理时的归因选择具有鲁棒性。我们的提议根据两种大脑病理学进行了评估:肿瘤和多发性硬化症。这个新的约
高质量的病理显微图像对于医生或病理学家做出正确诊断至关重要。图像质量评估(IQA)可以量化图像的视觉畸变程度,指导成像系统改善图像质量,从而提高病理显微图像的质量。由于其特异性,目前的 IQA 方法对于病理显微镜图像并不理想。在本文中,我们针对病理显微图像提出了基于深度学习的盲图像质量评估模型,该模型具有显着性块和块块。显着块和补丁块可以分别处理局部和全局失真。为了更好地捕捉病理学家在查看病理图像时感兴趣的区域,显着性块通过病理学家的眼动数据进行微调。通过来自不同位置的不同图像块之间的交互,块块可以捕获大量与图像质量密切相关的全局信息。所开发模型的性能通过屏幕和浸入场景下的自制病理显微图像质量数据库 (PMIQD-SIS) 进行验证,并通过五个公共数据集进行交叉验证。消融实验的结果证明了添加块的贡献。数据集和相应的代码公开于:https://github.com/mikugyf/PMI
低剂量计算机断层扫描 (LDCT) 成像面临巨大挑战。尽管监督学习显示出巨大的潜力,但它需要足够和高质量的参考来进行网络训练。因此,现有的深度学习方法在临床实践中的应用很少。为此,本文提出了一种新颖的锐化结构引导滤波 (USGF) 方法,该方法可以直接从低剂量投影重建高质量的 CT 图像,而无需干净的参考。具体来说,我们首先使用低通滤波器来估计输入 LDCT 图像的结构先验。然后,受经典结构转移技术的启发,采用深度卷积网络来实现我们的结合引导滤波和结构转移的成像方法。最后,结构先验用作指导图像以减轻过度平滑,因为它们可以将特定结构特征转移到生成的图像。此外,我们将传统的 FBP 算法结合到自我监督训练中,以实现投影域数据到图像域的转换。对三个数据集的广泛比较和分析表明,所提出的 USGF 在噪声抑制和边缘保留方面取得了卓越的性能,并且可能对未来的 LDCT 成像产生重大影响。
用于乳腺癌筛查的计算机辅助检测 (CAD) 框架已经研究了几十年。与单视图图像上的传统 CAD 相比,在 CAD 框架中早期采用深度学习模型已显示出大大提高的检测性能。最近,研究通过在每次筛选检查中合并来自多个视图的信息来提高性能。临床上,筛选过程中病变对应的整合是一个复杂的决策过程,取决于几个参考步骤的正确执行。然而,大多数多视图 CAD 框架都是基于深度学习的黑盒技术。完全端到端的设计使得分析模型行为和微调性能变得非常困难。更重要的是,由于缺乏对每个多视图参考步骤的明确推理,这些技术的黑盒性质阻碍了临床采用。因此,需要一种多视图检测框架,既能准确检测癌症,又能提供循序渐进的多视图推理。在这项工作中,我们提出了用于跨多个视图进行数字乳腺断层合成 (DBT) 病变检测的同侧匹配优化网络 (IMR-Net)。我们提出的框架基于显式同侧病变匹配自适应地改进单视图检测分数。IMR-Net 建立在强大的单视图检测
在开发上下文感知系统时,自动手术阶段识别和工具存在检测是两项基本任务。以前曾尝试为这两项任务开发方法,但大多数现有方法使用帧级损失函数(例如,交叉熵),它没有充分利用手术的潜在语义结构,导致次优结果。在本文中,我们提出了基于多任务学习的 LATent Space-constrained Transformers,称为 LAST,用于自动手术阶段识别和工具存在检测。我们的设计采用双分支转换器架构,采用新颖且通用的方式在网络训练期间利用视频级语义信息。这是通过变换器变分自动编码器 (VAE) 学习手术视频的潜在语义结构信息的非线性紧凑表示,并鼓励模型遵循学习到的统计分布来完成的。换句话说,LAST 是结构感知的,有利于基于提取的低维数据流形的预测。在胆囊切除手术的两个公共数据集(即 Cholec80 数据集和 M2cai16 数据集)上进行了验证,我们的方法比其他最先进的方法取得了更好的结果。具体来说,在
卷积神经网络在大多数医学图像分割应用中取得了显著成果。然而,卷积运算的固有局部性在建模长程依赖性方面存在局限性。虽然为sequence-to-sequence全局预测而设计的Transformer就是为了解决这个问题而诞生的,但它可能会因为底层细节特征不足而导致定位能力有限。此外,低级特征具有丰富的细粒度信息,极大地影响了不同器官的边缘分割决策。然而,简单的 CNN 模块难以捕获细粒度特征中的边缘信息,并且处理高分辨率 3D 特征时消耗的计算能力和内存成本很高。本文提出了一种有效结合边缘感知和Transformer结构来准确分割医学图像的编码器-解码器网络,称为EPT-Net。在此框架下,本文提出了一种双位置变换器,以有效增强3D空间定位能力。此外,由于低级特征包含详细信息,我们进行了边缘权重指导模块,通过在不添加网络参数的情况下最小化边缘信息函数来提取边缘信息。此外,我们在三个数据集上验证了所提出方法的有效性,包括
图像分割、标记和界标检测是儿科颅面评估的基本任务。尽管最近采用深度神经网络来分割颅骨并根据计算机断层扫描 (CT) 或磁共振 (MR) 图像定位颅骨标志,但它们可能难以训练并且在某些应用中提供次优结果。首先,他们很少利用可以提高对象检测性能的全局上下文信息。其次,大多数方法依赖于低效且容易累积错误的多阶段算法设计。第三,现有方法通常针对简单的分割任务,并且在更具挑战性的场景中表现出低可靠性,例如高度可变的儿科数据集中的多个颅骨标记。在本文中,我们提出了一种基于 DenseNet 的新型端到端神经网络架构,该架构结合了上下文正则化以联合标记颅骨板并从 CT 图像中检测颅底标志。具体来说,我们设计了一个上下文编码模块,将全局上下文信息编码为地标位移向量图,并使用它来指导骨骼标记和地标识别的特征学习。我们在包含 274 名正常受试者和 239 名颅缝早闭患者(年龄 0.63 ± 0.54 岁,范围
胎盘超声(US)和微流成像(MFI)的多模式分析可以极大地帮助胎盘功能不全(PI)的早期诊断和介入治疗,确保正常妊娠。现有的多模态分析方法在多模态特征表示和模态知识定义方面存在弱点,并且无法处理具有未配对多模态样本的不完整数据集。为了应对这些挑战并有效地利用不完整的多模态数据集进行准确的 PI 诊断,我们提出了一种名为 GMRLNet 的新型基于图形的流形正则化学习 (MRL) 框架。它将 US 和 MFI 图像作为输入,并利用它们的模态共享和模态特定信息来实现最佳多模态特征表示。具体来说,基于图卷积的共享和特定传输网络 (GSSTN) 旨在探索模态内特征关联,从而将每个模态输入解耦为可解释的共享和特定空间。对于单峰知识定义,引入基于图的流形知识来描述每个模态的样本级特征表示、局部样本间关系和全局数据分布。然后,设计了一种 MRL 范式用于模态间流形知识转移,以获得有效的跨模态特征表示。此外,MRL
多模态肿瘤分割利用来自不同模态的互补信息来帮助识别肿瘤区域。已知的多模态分割方法主要有两个方面的不足:首先,所采用的多模态融合策略是建立在对齐良好的输入图像之上的,容易受到模态之间空间错位的影响(由呼吸运动、不同的扫描参数、配准引起)错误等)。其次,已知方法的性能仍然受到分割不确定性的影响,这在肿瘤边界区域尤为严重。为了解决这些问题,在本文中,我们提出了一种具有可变形特征融合和不确定区域细化的新型多模态肿瘤分割方法。具体来说,我们引入了一个可变形的聚合模块,它将特征对齐和特征聚合集成在一个集成中,以减少模态间错位并充分利用跨模态信息。此外,我们设计了一个不确定区域修复模块,以使用相邻的判别特征来细化不确定像素。对两个临床多模态肿瘤数据集的实验表明,我们的方法取得了有希望的肿瘤分割结果,并且优于最先进的方法。
组织病理学图像上的细胞核实例分割对于疾病分析具有重要的临床价值。通常,用于此任务的全监督算法需要逐像素手动注释,这对于高核密度尤其费时费力。为了减轻注释负担,我们寻求通过图像级弱监督学习来解决问题,这在核实例分割方面尚未得到充分探索。与大多数使用其他弱注释(涂鸦、点等)进行核实例分割的现有方法相比,我们的方法更省力。在核实例分割中使用图像级注释的障碍是缺乏足够的位置信息,导致严重的核遗漏或重叠。在本文中,我们提出了一种新颖的图像级弱监督方法,称为循环学习,来解决这个问题。循环学习包括前端分类任务和后端半监督实例分割任务,以受益于多任务学习 (MTL)。我们利用具有可解释性的深度学习分类器作为前端,将图像级标签转换为高置信度伪掩码集,并建立半监督架构作为后端,在这些伪掩码的监督下进行核实例分割面具。最重要的是,循环学习旨在在前端分类器和后端半监督部分之间循环共享知识,从而使整个系统能够从图像
阐明神经元的形态特征可以促进对脑功能的理解。然而,传统的形态计量学无法捕获重建神经元中每个点的建模,导致区分大量神经纤维的能力有限,应用场景受限。为了应对这些挑战,我们在本研究中提出了 MorphoGNN,这是一种基于图神经网络的单神经元形态嵌入。MorphoGNN 通过考虑每个隐藏层上最近的邻居来学习重建神经纤维的点级结构信息。这使得 MorphoGNN 能够通过端到端模型捕获单个神经元的低维表示。为了满足各种任务的要求,监督和自我监督的训练策略都旨在分别学习适合人工语义或神经元形态模式的特征。我们将我们的嵌入与神经元分类和检索任务中的其他特征进行定量比较,并展示尖端性能。此外,我们将我们的嵌入引入到重建质量分类和神经元聚类的任务中,它们可以帮助检测重建错误并获得与现有工作相似的子类型化结果。此外,我们的方法可以方便地与其他模态特征相结合,例如显微图像特征和传统形态测量学。还进行了消融和
肿瘤浸润淋巴细胞 (TIL) 及其与肿瘤的相关性在癌症的发展中显示出重要价值。许多观察表明,整张幻灯片病理图像 (WSI) 和基因组数据的结合可以更好地表征 TIL 的免疫机制。然而,现有的图像基因组研究通过结合病理图像和单一类型的组学数据(例如,mRNA)来评估TIL,这难以从整体上评估TIL的潜在分子过程。此外,在 WSI 中表征 TIL 和肿瘤区域之间的交叉点仍然非常具有挑战性,高维基因组数据也给 WSI 的综合分析带来了困难。基于以上考虑,我们提出了一个端到端的深度学习框架即,IMO-TILs 可以将病理图像与多组学数据(即 mRNA 和 miRNA)相结合,以分析 TILs 并探索 TILs 与肿瘤之间与生存相关的相互作用。具体来说,我们首先应用图注意力网络来描述 WSI 中 TIL 和肿瘤区域之间的空间相互作用。对于基因组数据,采用Concrete AutoEncoder(即C
半监督学习 (SSL) 是一种很有前途的机器学习范式,可以解决医学成像中普遍存在的标签稀缺问题。图像分类中最先进的 SSL 方法利用一致性正则化来学习对输入水平扰动不变的未标记预测。然而,图像级扰动违反了分割设置中的聚类假设。此外,现有的图像级扰动是手工制作的,可能不是最佳的。在本文中,我们提出了 MisMatch,这是一种基于配对预测之间一致性的半监督分割框架,配对预测源自两种不同的学习形态特征扰动。MisMatch 由一个编码器和两个解码器组成。一个解码器在未标记数据上学习对前景的积极关注,从而生成前景的扩张特征。另一个解码器在相同的未标记数据上学习对前景的负面关注,从而生成前景的侵蚀特征。我们沿着批量维度对解码器的成对预测进行归一化。然后在解码器的归一化配对预测之间应用一致性正则化。我们在四个不同的任务上评估 MisMatch。首先,我们开发了一个基于 2D U-net 的 MisMatch
重度抑郁症 (MDD) 的病理生理学已被证明与大脑活动的功能失调高度相关。现有研究仅以一次性方法融合多连接信息,而忽略了功能连接的时间特性。理想的模型应该利用多个连接中的丰富信息来帮助提高性能。在这项研究中,我们开发了一个多连接表示学习框架,以集成来自结构连接、功能连接和动态功能连接的多连接拓扑表示,用于 MDD 的自动诊断。简而言之,结构图,首先从扩散磁共振成像 (dMRI) 和静息态功能磁共振成像 (rsfMRI) 计算静态功能图和动态功能图。其次,开发了一种新颖的多连接表示学习网络 (MCRLN) 方法,将多个图与结构功能融合和静态动态融合模块集成在一起。我们创新地设计了一个结构-功能融合 (SFF) 模块,该模块将图形卷积解耦以分别捕获模态特定特征和模态共享特征,以获得准确的大脑区域表示。为了进一步集成静态图和动态功能图,开发了一种新颖的静态-动态融合(SDF)模块,以通过注意力值
多重免疫荧光是一种新颖的高内涵成像技术,可以同时对多个组织抗原进行原位标记。该技术在肿瘤微环境的研究以及疾病进展或对免疫疗法反应的生物标志物的发现中越来越重要。考虑到标记的数量和所涉及的空间交互的潜在复杂性,对这些图像的分析需要使用机器学习工具,这些工具依赖于对大型图像数据集的可用性进行训练,注释起来非常费力。我们介绍了 Synplex,这是一种来自用户定义参数的多重免疫荧光图像的计算机模拟器:i。细胞表型,由标记物的表达水平和形态学参数定义;二. 基于细胞表型空间关联的细胞邻域;和三。细胞邻域之间的相互作用。我们通过生成合成组织来验证 Synplex,这些合成组织准确地模拟真实的癌症队列,其肿瘤微环境的组成存在潜在差异,并展示了 Synplex 如何在训练机器学习模型时用于数据增强的原理验证示例,以及在临床相关生物标志物的计算机选择。Synplex 可在 https://github.c
计算机断层扫描生成的肝血管通常非常小,这对令人满意的血管分割提出了重大挑战,包括 1) 缺乏高质量和大体积的血管掩膜,2) 难以捕获血管特异性特征,以及 3)血管和肝组织分布严重失衡。为了推进,已经建立了一个复杂的模型和一个详细的数据集。该模型有一个新构思的拉普拉斯显着性过滤器,可以突出血管样区域并抑制其他肝脏区域,以塑造特定于血管的特征学习并平衡血管与其他血管。它进一步与金字塔深度学习架构相结合,以捕获不同级别的特征,从而改进特征公式。实验表明,该模型明显优于最先进的方法,与可用数据集上现有的最佳模型相比,Dice 得分相对提高了至少 1.63%。更有希望的是,现有模型在新建数据集上产生的平均 Dice 分数高达 0.734 ± 0.070,比相同设置下现有最佳数据集获得的分数至少高 18.3%。这些观察结果表明,所提出的拉普拉斯显着性与详细的数据集一起有助于肝血管分割。734 ± 0.
病理原发肿瘤(pT)分期重点关注原发肿瘤对周围组织的浸润程度,这关系到预后和治疗选择。pT 分期依赖于十亿像素图像中多个放大倍率的视野,这使得像素级注释变得困难。因此,该任务通常被表述为具有幻灯片级标签的弱监督整张幻灯片图像 (WSI) 分类任务。现有的弱监督分类方法主要遵循多实例学习范式,将单倍放大的图像块作为实例,独立提取其形态特征。然而,它们不能逐步表示来自多个放大倍数的上下文信息,这对于 pT 分期至关重要。所以,我们提出了一种结构感知的基于层次图的多实例学习框架(SGMF),其灵感来自病理学家的诊断过程。具体来说,提出了一种新的基于图的实例组织方法,即结构感知层次图(SAHG),以表示 WSI。在此基础上,我们设计了一种新颖的基于分层注意力的图形表示 (HAGR) 网络,通过学习跨尺度空间特征来捕获 pT 分期的关键模式。最后,SAHG 的顶部节点由全局注意层聚合,用于包级表示。对具有两种不同癌症类型的三个大型多中心
增强现实 (AR) 通过将虚拟图像叠加到透明的物理环境上,融合了数字世界和物理世界。然而,AR 头戴式显示器 (HMD) 中的对比度降低和噪声叠加会大大限制数字和物理空间中的图像质量和人类感知性能。为了评估 AR 中的图像质量,我们针对放置在数字和物理世界中的目标对各种成像任务进行了人类和模型观察者研究。为包括光学透视在内的完整 AR 系统开发了目标检测模型。将使用在空间频域中开发的不同观察者模型的目标检测性能与人类观察者的结果进行了比较。具有眼睛过滤器和内部噪声结果的非预白化模型密切跟踪人类感知性能,通过接收器操作特征曲线 (AUC) 下的面积测量,特别是对于具有高图像噪声的任务。AR HMD 的不均匀性限制了低对比度目标(小于 0.02)观察者对低图像噪声的性能。在增强现实条件下,由于叠加的 AR 显示图像对比度降低(所有评估的对比度级别的 AUC 小于 0.87),物理世界中目标的可
正电子发射断层扫描(PET)是一种重要的核医学成像技术,已广泛应用于肿瘤检测和脑部疾病诊断等临床应用。由于 PET 成像可能会使患者面临辐射风险,因此使用标准剂量示踪剂获取高质量 PET 图像时应谨慎。然而,如果减少PET采集的剂量,成像质量可能会变差,从而可能无法满足临床要求。为了安全地减少示踪剂剂量并保持 PET 成像的高质量,我们提出了一种新颖有效的方法来从低剂量 PET (LPET) 图像估计高质量标准剂量 PET (SPET) 图像。具体来说,为了充分利用稀有的配对和大量未配对的 LPET 和 SPET 图像,我们提出了一种用于网络训练的半监督框架。同时,基于这个框架,我们进一步设计了区域自适应归一化(RN)和结构一致性约束来跟踪特定任务的挑战。RN 在每个 PET 图像的不同区域执行区域特定归一化,以抑制跨不同区域的大强度变化的负面影响,而结构一致性约束在从 LPET 图像生成
由于声学检测孔径的有限范围,在光声断层扫描中使用平面检测几何结构会导致所谓的有限视野问题。当使用一步重建算法重建图像时,图像质量会因条纹伪影、对比度降低、图像失真和信噪比降低而受到影响。为了缓解这一问题,使用计算机模拟、实验模型、离体和体内数据评估了基于最小二乘最小化(有或没有总变差正则化)的基于模型的迭代重建方法。与一步重建方法相比,迭代方法在增强的信号伪影比、信噪比、幅度精度和空间保真度方面提供了更好的图像质量。对于全变分方法,评估了正则化参数对图像特征尺度和幅度分布的影响。此外,还研究了使用 Bregman 迭代可以在多大程度上补偿由总变差引入的系统幅度偏差。这项研究预计将为基于模型的迭代图像重建方法的实际应用提供信息,以在使用有限孔径平面检测几何形状时提高光声图像质量。
基于光栅的相位和暗场对比 X 射线成像是一项新技术,旨在通过解锁两种额外的对比模式来扩展传统的基于衰减的 X 射线成像。所谓的相衬和暗场通道提供增强的软组织对比度和额外的微观结构信息。访问这些额外信息的代价是需要更复杂的测量设置,并且需要复杂的数据处理。将基于光栅的暗场计算机断层扫描转化为医学应用的一大挑战在于最大限度地缩短数据采集时间。虽然连续移动的检测器是理想的,但它禁止传统的相位步进技术,该技术需要在不同光栅位置的相同角度下进行多次投影。这个问题的一种解决方案是所谓的与连续数据采集兼容的滑动窗口处理方法。然而,如果样本的投影在处理窗口内的检测器上移动得太快,传统的滑动窗口技术会导致三个图像通道之间的串扰伪影。在这项工作中,我们将连续采集的相位检索问题作为解调问题进行了新的解释。在这种解释中,我们将串扰伪影的起源确定为部分重叠的调制边带。此外,我们提出了三种算法扩展,可改进传统的基于滑
准确的散射估计在定量 SPECT 中对于提高图像对比度和准确性非常重要。对于大量的光子历史,蒙特卡洛 (MC) 模拟可以产生准确的散射估计,但计算量大。最近基于深度学习的方法可以快速产生准确的散点估计,但仍然需要完整的 MC 模拟来生成散点估计作为所有训练数据的地面真值标签。在这里,我们提出了一个物理引导的弱监督训练框架,通过使用 100× 更短的 MC 模拟作为弱标签并使用深度神经网络增强它们,在定量 SPECT 中进行快速准确的散射估计。我们的弱监督方法还允许将经过训练的网络快速微调到任何新的测试数据,以进一步提高性能,并使用额外的短 MC 模拟(弱标签)进行患者特定的散点建模。我们的方法使用 18 个具有不同解剖结构/活动的 XCAT 体模进行训练,然后在 6 个 XCAT 体模、4 个逼真的虚拟患者体模、1 个躯干体模和来自 2 名患者的 3 次临床扫描上进行评估,用于具有单/双光峰的
联邦学习是一种新兴范式,允许大规模分散学习,而无需在不同数据所有者之间共享数据,这有助于解决医学图像分析中的数据隐私问题。然而,现有方法对跨客户端标签一致性的要求大大缩小了其应用范围。在实践中,每个临床站点可能只注释某些感兴趣的器官,与其他站点部分重叠或不重叠。将这种部分标记的数据合并到一个统一的联邦中是一个具有临床意义和紧迫性的未开发问题。这项工作通过使用一种新颖的联合多编码 U-Net (Fed-MENU) 方法进行多器官分割来应对这一挑战。在我们的方法中,提出了一种多编码 U-Net (MENU-Net),以通过不同的编码子网络提取器官特定的特征。每个子网络都可以被视为特定器官的专家,并为该客户进行培训。此外,为了鼓励不同子网络提取的器官特定特征具有信息性和独特性,我们通过设计辅助通用解码器 (AGD) 来规范 MENU-Net 的训练。对六个公共腹部 CT 数据集的大量实验表明,我们的
组织病理学图像的语义分割对于自动癌症诊断很重要,但它受到耗时耗力的注释过程的挑战,该过程需要获得用于训练的像素级标签。为了降低注释成本,弱监督语义分割 (WSSS) 旨在仅使用图像或补丁级别的分类标签来分割对象。当前的 WSSS 方法大多基于类激活图 (CAM),它通常定位最具辨别力的对象部分,但分割精度有限。在这项工作中,我们提出了一种基于高分辨率激活图和交错学习 (HAMIL) 的新型两阶段弱监督分割框架。第一的,我们提出了一个简单而有效的具有高分辨率激活图(HAM-Net)的分类网络,它利用轻量级分类头结合激活图的多层融合(MLF)和蒙特卡罗增强(MCA)来获得精确的前景区域。其次,我们使用 HAM-Net 生成的密集伪标签来训练更好的分割模型,其中三个具有相同结构的网络通过交错学习进行训练:两个网络之间的协议用于突出训练第三个网络的可靠伪标签,同时,这两个网络作为老师通过知识蒸馏来
染色体识别是诊断各种血液恶性肿瘤和遗传病的重要手段,但染色体核型分析是一个重复且耗时的过程。为了探索染色体之间的相对关系,在这项工作中,我们从全局角度出发,了解核型内染色体之间的上下文相互作用和类别分布特征。我们提出了一种端到端可微分组合优化方法 KaryoNet,它使用所提出的掩蔽特征交互模块 (MFIM) 捕获染色体之间的远程交互,并使用深度分配模块 (DAM) 以灵活且可微分的方式进行标签分配. 特别地,构建了一个特征匹配子网络来预测 MFIM 中注意力计算的掩码阵列。最后,类型和极性预测头可以同时预测染色体类型和极性。在 R 波段和 G 波段两个临床数据集上进行的大量实验证明了所提出方法的优点。对于正常核型,所提出的 KaryoNet 在 R 带染色体上达到 98.41% 的准确率,在 G 带染色体上达到 99.58% 的准确率。由于提取的内部关系和类别分布特征,KaryoNet
由于图像质量差,很难进行稳健的经颅超声成像。特别是,低信噪比 (SNR) 限制了对血流的敏感性,并且迄今为止阻碍了经颅功能超声神经成像的临床转化。在这项工作中,我们提出了一个编码激励框架来增加经颅超声的 SNR,而不会对帧速率或图像质量产生负面影响。我们将这种编码激励框架应用于幻像成像,并显示 SNR 增益高达 24.78 dB,信号杂波比增益高达 10.66 dB,使用 65 位代码。我们还分析了成像序列参数如何影响图像质量,并展示了如何设计编码激励序列以最大限度地提高给定应用的图像质量。尤其,我们表明,考虑到有源发射元件的数量和发射电压对于长代码的编码激励至关重要。最后,我们将我们的编码激励技术应用于 10 名成人受试者的经颅成像,使用 65 位代码显示平均 SNR 增益为 17.91 ± 0.96 dB,而杂波没有显着增加。我们还对三名成人受试者进行了经颅能量多普勒成像,并显示对比度和对比度噪声比分别提高了
在最近的智能机器人辅助手术研究中,一个紧迫的问题是如何从术中图像中准确地检测器械和软组织的运动。尽管来自计算机视觉的光流技术是解决运动跟踪问题的有力解决方案,但它难以获得用于监督学习的真实手术视频的像素级光流基本事实。因此,无监督学习方法至关重要。然而,目前的无监督方法面临着手术场景中重度遮挡的挑战。本文提出了一种新颖的无监督学习框架来估计遮挡下手术图像的运动。该框架由一个运动解耦网络组成,用于估计具有不同约束的组织和器械运动。尤其,该网络集成了一个分割子网,该子网以无监督的方式估计仪器的分割图以获得遮挡区域并改进对偶运动估计。此外,还引入了一种具有遮挡完成功能的混合自监督策略来恢复逼真的视觉线索。在两个手术数据集上进行的大量实验表明,所提出的方法实现了对术中场景的准确运动估计,并且优于其他无监督方法,准确度为 15%。对于两个手术数据集,组织的平均估计误差平均小于 2.2 像素。引入了一
数据一致性条件 (DCC) 是表征 X 射线投影冗余的数学方程式。它们已被用于在计算机断层扫描 (CT) 重建之前纠正不一致的投影。本文研究了用于使用圆柱形检测器进行螺旋采集的 DCC,这是大多数诊断 CT 扫描仪的几何形状。获取的投影被逐对分析。包含两个源位置的每个平面与对应的锥形束的交点定义了两个可以计算 DCC 的扇形束。我们没有将两个扇形光束投影重新组合到传统检测器,而是直接推导出检测器坐标中的 DCC。如果由两个源位置定义的线与视野 (FOV) 相交,与排除这些源位置对的先前方法相比,DCC 呈现奇异性,这在我们的数值实现中被考虑以增加 DCC 的数量。投影的轴向截断通过识别包含扇形束的两个源位置的哪一组平面未被截断来解决。这些 DCC 检测呼吸运动的能力已经在模拟和真实投影上进行了评估。我们的结果表明,如果基线和 FOV 不相交,DCC 可以检测到运动。如果他们这样做,则运动引
动态 PET 成像比传统的静态 PET 成像提供更好的生理信息。然而,动态信息是以长扫描协议为代价的;这限制了动态PET成像的临床应用。我们开发了一个改进的 Logan 参考图模型,通过省略传统参考 Logan 模型所需的早期信息来缩短动态 PET 成像的采集过程。所提出的模型在理论上是准确的,但直接的方法在实施中提出了采样问题,并导致参数化图像嘈杂。然后,我们设计了一个自我监督的卷积神经网络来增加参数成像的噪声性能,仅使用单个主题的动态图像进行训练。通过模拟和真实动态 18F-fallypride PET 数据验证了所提出的方法。结果表明,它使用缩短的扫描协议(例如 20 分钟)准确地估计了动态 PET 中的分布体积比 (DVR),其中估计值与从 120 分钟采集的标准动态 PET 研究中获得的估计值相当。进一步的比较表明,我们的方法在偏差和方差之间的权衡方面优于使用高斯滤波、正则化、BM4D