
研究背景
乳腺癌术后复发风险评估和辅助治疗决策一直是临床难题。乳腺癌具有高复发率和生物学异质性,单一的病理或影像特征难以准确预测预后。因此,亟需开发基于多模态数据的智能化方法,将影像、病理和临床信息融合,以提升风险分层和治疗决策的精准度。
在此背景下,赛维森(CellsVision)携手中山大学孙逸仙纪念医院,联合多个医疗中心团队开展了基于MRI多模态数据的人工智能研究,探索融合影像与临床病理数据的智能化预测新路径,研究成果在国际权威期刊Pharmacological Research(IF=9.1,JCR Q1区)在线发表,题为"MRI-Based Multimodal AI Model Enables Prediction of Recurrence Risk and Adjuvant Therapy in Breast Cancer”。
多模态AI
肿瘤分割+无病生存期预测一体化
研究团队开发并验证了一种基于3D多模态MRI的深度学习系统——3D-MMR模型。该模型融合了对比增强T1序列(T1+C)和T2序列MRI影像,以及11项关键临床病理变量(包括淋巴血管侵犯(LVI)、pTNM分期、分子分型、ER/PR/HER2状态、Ki-67表达等),实现了肿瘤自动分割和术后无病生存期(DFS)预测的双任务学习,彼此协同优化。

图1(Fig. 1):深度多模态学习模型结构示意,对MRI影像和临床病理特征进行多通道提取并在融合分类器中整合
模型在多中心队列(共1199例非转移性乳腺癌患者)中获得验证。与仅使用MRI影像的模型相比,3D-MMR模型在训练集、内部验证集和两个外部测试集中均显著提高了风险分层能力。例如,该模型能够清晰区分高风险组与低风险组患者的DFS差异(见下图),其中外部验证集的AUC高达0.94,表现极为优异。

图2(Fig. 2):Kaplan-Meier生存曲线示意,高风险组(红色)与低风险组(蓝色)患者的无病生存率差异显著
影像热区与免疫微环境
Grad-CAM揭示MRI图像“关注区”
研究还借助可视化的Grad-CAM(梯度加权类激活映射)技术,探索了深度学习网络的“决策依据”。通过对MRI影像特征图的反向追踪,研究者观察到模型在进行DFS风险预测时所聚焦的区域具有高度生物学相关性:高风险患者的激活热区往往分布于肿瘤边缘及其周围组织,而低风险患者则集中于肿瘤内部,提示模型可能捕捉到与复发风险相关的肿瘤微环境(TME)区域特征。
进一步结合RNA-seq数据分析,影像高关注区域对应的患者在抗原呈递、免疫细胞浸润(如树突状细胞、NK细胞)等通路上存在显著差异,强化了模型“影像热点”与TME状态之间的潜在联系。这一发现不仅提升了模型的可解释性,也为影像组学与肿瘤分子生物学之间的桥接提供了新视角。

图3(Fig. 5):展示了3位代表性患者在DenseNet各网络层的Grad-CAM热力图,直观体现了模型在不同风险等级患者MRI图像上的注意力分布模式
临床价值与展望
3D-MMR模型可辅助识别术后乳腺癌患者中的高风险群体,助力医生在术后早期制定个体化辅助治疗方案;同时通过多模态数据融合,推动了精准医疗的临床应用,填补了临床空白。
未来,该模型有望进一步整合更多生物标志物和多中心大数据,持续优化预测精度,为乳腺癌患者提供更精准的复发风险评估与治疗建议,引领智能辅助诊疗新方向。
本研究中,赛维森提供了关键技术支撑:
模型构建与优化:参与多模态深度学习模型的设计和开发,通过优化网络结构和训练策略,提升模型性能和训练效率。
可视化平台开发:开发了AI可视化分析平台,实现了Grad-CAM热力图等结果的直观展示,便于科研和临床人员理解模型决策。
AI训练框架优化:为大规模多中心数据的模型训练提供了高效的训练框架和算力支持,加速了模型迭代与验证。
参考文献:Yu Y, Ren W, Mao L, et al. MRI-Based Multimodal AI Model Enables Prediction of Recurrence Risk and Adjuvant Therapy in Breast Cancer[J]. Pharmacological Research, 2025: 107765. DOI: 10.1016/j.phrs.2025.107765
