基于阅读策略和语义对齐的图文匹配方法

甘凤梅, 夏英

重庆邮电大学学报(自然科学版) ›› 2025, Vol. 37 ›› Issue (01) : 67-75.

基于阅读策略和语义对齐的图文匹配方法

  • 甘凤梅, 夏英
作者信息 +
History +

摘要

针对跨媒体计算领域中的图文匹配任务,提出一种基于阅读策略和语义对齐的图文匹配方法(reading-strategy and semantic alignment network, RSAN)。设计基于Transformer和双向门控循环单元(bidirectional gated recurrent unit, Bi-GRU)的区域特征增强模块,生成具有语义关系的图像区域特征以提升语义对齐的准确性;设计包含概述分支和精读分支的阅读模块,聚合全局对齐和局部对齐来学习更准确的匹配分数。在Flickr30K和MS-COCO数据集上开展综合实验,结果表明:RSAN模型相较于现有基线模型,在准确率和效率上具有良好的表现。

关键词

图文匹配 / 特征增强 / 语义对齐 / 相似度计算

中图分类号

TP391.41

引用本文

导出引用
甘凤梅, 夏英. 基于阅读策略和语义对齐的图文匹配方法. 重庆邮电大学学报(自然科学版). 2025, 37(01): 67-75

基金

国家自然科学基金项目(41971365); 重庆市教委重点合作项目(HZ2021008); 文化和旅游部重点实验室资助项目(E020H2023005)

评论

Accesses

Citation

Detail

段落导航
相关文章

/