基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型

doi:10.13413/j.cnki.jdxblxb.2023529

PDF(3254 KB)

吉林大学学报(理学版) ›› 2025, Vol. 63 ›› Issue (03) : 783-794. DOI: 10.13413/j.cnki.jdxblxb.2023529

基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型

郭晓新, 杨梅, 杨广奇, 董洪良, 徐海啸

作者信息 +

History +

摘要

针对单模态眼底图像提取眼底特征的局限性，提出一个基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型.首先，分别针对彩色眼底图像和视网膜光学相干断层成像设计多层次注意力网络和多尺度注意力网络，并在特征层进行融合得到融合特征；其次，将两种模态的损失函数加权，与融合特征的损失函数相加，提取模态的独特和互补信息，以提高眼底疾病诊断的准确率.在数据集MMC-AMD和GAMMA上进行评估的实验结果表明，该模型优于当前主流模型，诊断效果优越.