区域敏感的场景图生成方法

王立春, 付芳玉, 徐凯, 徐洪波, 尹宝才

北京工业大学学报 ›› 2025, Vol. 51 ›› Issue (01) : 51-58.

区域敏感的场景图生成方法

  • 王立春, 付芳玉, 徐凯, 徐洪波, 尹宝才
作者信息 +
History +

摘要

针对基于关系边界框提取的谓词特征粒度相对较粗的问题,提出区域敏感的场景图生成(region-sensitive scene graph generation, RS-SGG)方法。谓词特征提取模块将关系边界框分为4个区域,基于自注意力机制抑制关系边界框中与关系分类无关的背景区域。关系特征解码器在进行关系预测时不仅考虑了物体对的视觉特征和语义特征,也考虑了物体对的位置特征。在视觉基因组(visual genome, VG)数据集上分别计算了RS-SGG方法针对场景图生成、场景图分类和谓词分类3个子任务的图约束召回率和无图约束召回率,并与主流的场景图生成方法进行了比较。实验结果表明,RS-SGG的图约束召回率和无图约束召回率均优于主流方法。此外,可视化实验结果也进一步证明了所提出方法的有效性。

关键词

图像理解 / 场景图生成 / 物体分类 / 关系分类 / 区域感知 / 自注意力机制

中图分类号

TP391.41 / TP18

引用本文

导出引用
王立春, 付芳玉, 徐凯, 徐洪波, 尹宝才. 区域敏感的场景图生成方法. 北京工业大学学报. 2025, 51(01): 51-58

基金

国家自然科学基金资助项目(62376014); 中国高校产学研创新基金资助项目(2021JQR023)

评论

Accesses

Citation

Detail

段落导航
相关文章

/