Multimodal Fusion Network for Detecting Hyper-plastic Parathyroid Glands in SPECT/CT Images

继发性甲状旁腺功能亢进是慢性肾病终末期最常见的并发症之一 ,表现为甲状旁腺的异常增生。当药物治疗失败 或伴有严重副作用时,甲状旁腺切除术成为治疗的有效手段。即使是经验丰富的外科医生也可能在术中探查时遗漏 某些腺体,这也是导致手术失败、SHPT持续或早期复发的主要原因。根据术前SPECT/CT影像进行标记、定位有助 于指导切除手术。然而,由于可能存在SPECT低摄取腺体,手动标记腺体对核医学科医生也是一项挑战。 因此,我们提出了一个基于深度学习的模型来检测SPECT/CT图像中的SHPT增生性腺体。该模型采用三路径结构分 别提取各模态特征,利用多尺度融合网络自动整合、互补解剖信息和功能信息。我们网络的创新之处在于其多模态 融合网络,由通道注意模块、特征选择模块和空间注意模块组成。针对低摄取腺体,我们为融合网络设计了特征选 择模块,为低摄取腺体补充其它模态提供的解剖结构信息,从而提高甲状旁腺增生的自动检测能力。 该模型在上海交通大学医学院附属瑞金医院提供的数据集上进行了评估,实现了0.822的腺体检测灵敏度,改善了 低摄取腺体的检测效果,可以辅助医生对患者病情进行术前评估,为术前定位提供了新方案和潜在的工具。