基于多尺度模态融合的RGB-T目标跟踪网络

程竹轩, 范慧杰, 唐延东, 王强

PDF(3094 KB)
PDF(3094 KB)
山东科技大学学报(自然科学版) ›› 2024, Vol. 43 ›› Issue (01) : 89-99. DOI: 10.16452/j.cnki.sdkjzk.2024.01.010

基于多尺度模态融合的RGB-T目标跟踪网络

  • 程竹轩, 范慧杰, 唐延东, 王强
作者信息 +
History +

摘要

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。

关键词

目标跟踪 / 可见光与热红外 / 多尺度特征 / 模态融合 / 深度学习

中图分类号

TP391.41

引用本文

导出引用
程竹轩, 范慧杰, 唐延东, 王强. 基于多尺度模态融合的RGB-T目标跟踪网络. 山东科技大学学报(自然科学版). 2024, 43(01): 89-99 https://doi.org/10.16452/j.cnki.sdkjzk.2024.01.010

基金

国家自然科学基金项目(62273339);国家自然科学基金联合基金重点支持项目(U20A20200)

评论

PDF(3094 KB)

Accesses

Citation

Detail

段落导航
相关文章

/