基于跨模态融合的玻璃类似物分割方法

万应才, 房立金, 赵乾坤

PDF(1580 KB)
PDF(1580 KB)
东北大学学报(自然科学版) ›› 2025, Vol. 46 ›› Issue (01) : 1-8.

基于跨模态融合的玻璃类似物分割方法

  • 万应才, 房立金, 赵乾坤
作者信息 +
History +

摘要

玻璃和镜子等物体因缺乏明显纹理和形状,使得传统语义分割方法难以有效识别,影响视觉任务准确性.为了解决这个问题提出了一种基于Transformer的RGBD跨模态融合方法,用于玻璃类似物的分割.该方法采用Transformer网络,通过跨模态融合模块提取RGB和深度特征的自注意力,并利用多层注意力机制(MLP)整合RGBD特征,实现3种注意力特征的融合. RGB和深度特征被反馈到各自分支,以增强网络的特征提取能力.最终,语义分割解码器结合4个阶段的融合特征输出玻璃类似物的分割结果 .结果表明,本文方法与EBLNet方法相比在GDD,Trans10k和MSD数据集上的交并比分别提高1.64%,2.26%,7.38%,与PDNet方法比较在RGBD-Mirror数据集上交并比提高了9.49%,验证了其有效性.

关键词

注意力 / 语义分割 / 玻璃类似物 / 跨模态 / 深度估计

中图分类号

TP391.41 / TQ171.1

引用本文

导出引用
万应才, 房立金, 赵乾坤. 基于跨模态融合的玻璃类似物分割方法. 东北大学学报(自然科学版). 2025, 46(01): 1-8

基金

国家自然科学基金资助项目(62273081); 辽宁省基础研究计划项目(2022JH2/101300202)

评论

PDF(1580 KB)

Accesses

Citation

Detail

段落导航
相关文章

/