基于注意力机制的语义对比学习算法

陈俊芬, 吕巧莉, 谢博鋆, 孙劲松

PDF(4084 KB)
PDF(4084 KB)
山西大学学报(自然科学版) ›› 2024, Vol. 47 ›› Issue (01) : 81-92. DOI: 10.13451/j.sxu.ns.2023142

基于注意力机制的语义对比学习算法

  • 陈俊芬, 吕巧莉, 谢博鋆, 孙劲松
作者信息 +
History +

摘要

对比学习中不合适的数据增强会导致语义信息的失真,同一图像在不同类型的数据增强下语义信息有巨大的语义差距;此外,卷积神经网络(CNN)对纹理有强烈偏好,无法精准学习到下游任务所需的深层语义特征表示,针对以上问题,本文提出一种基于注意力的语义对比学习方法(Semantic attention contrastive learning method,SACL)。SACL首先利用卷积神经网络提取特征,然后注意力模块挖掘全局特征,获得更高级的语义特征,实现了对低级特征的补充和深层特征的语义融合。其次使用截然不同的数据增强方式构造正负样本对,将弱增强(几何增强)生成的正样本和强增强(纹理增强)生成的负样本进行对比,获得差异更为显著的图像输入。网格化增强视图增加了正样本的个数,加快网络收敛速度。在四个数据集上验证了所提出的语义对比学习算法的有效性,结果表明在ImageNet-100数据集上平均精度可以达到78.3%,可以有效提高模型的分类准确率。

关键词

对比学习 / 注意力机制 / 语义特征表示 / 数据增强 / 纹理 / 网格化

中图分类号

TP391.41 / TP183

引用本文

导出引用
陈俊芬, 吕巧莉, 谢博鋆, 孙劲松. 基于注意力机制的语义对比学习算法. 山西大学学报(自然科学版). 2024, 47(01): 81-92 https://doi.org/10.13451/j.sxu.ns.2023142

基金

河北省引进留学人员资助项目(C20200302); 河北省教育教学改革研究与实践项目(2020GJJG007)

评论

PDF(4084 KB)

Accesses

Citation

Detail

段落导航
相关文章

/