前后文记忆矩阵引导的胸部放射影像报告生成模型

刘利军, 张云峰, 黄青松

吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (08) : 2355-2363. DOI: 10.13229/j.cnki.jdxbgxb.20230341

前后文记忆矩阵引导的胸部放射影像报告生成模型

  • 刘利军, 张云峰, 黄青松
作者信息 +
History +

摘要

针对现有的放射影像报告生成方法主要关注前文信息在报告生成过程中的指导作用,忽略了后文信息在报告描述生成中的作用,存在语义信息不完整、关键信息缺失等问题,提出了一种前后文记忆矩阵引导的胸部放射影像报告生成模型(RadRG)。为了在生成过程中获得更丰富的语义信息,提出记忆矩阵生成模块(MA),使用记忆矩阵记录报告的模式信息和语义信息,并使用门控单元对其进行调控,以防止训练过程中出现梯度消失或信息爆炸。将本文模型在IU X-Ray和MIMIC-CXR公开数据集上进行了测试,实验结果表明:与现有主流模型对比,本文模型在BIEU指标达到了2.6%的提升。

关键词

医学报告生成 / 前后文记忆矩阵 / 门控单元 / 跨模态

中图分类号

R81 / TP391.41

引用本文

导出引用
刘利军, 张云峰, 黄青松. 前后文记忆矩阵引导的胸部放射影像报告生成模型. 吉林大学学报(工学版). 2024, 54(08): 2355-2363 https://doi.org/10.13229/j.cnki.jdxbgxb.20230341

基金

国家自然科学基金项目(81860318,81560296)

评论

Accesses

Citation

Detail

段落导航
相关文章

/