基于时空增强双分支图卷积网络的骨骼行为识别

施宇航, 何强, 王恒友

PDF(7026 KB)
PDF(7026 KB)
山西大学学报(自然科学版) ›› 2025, Vol. 48 ›› Issue (01) : 55-65. DOI: 10.13451/j.sxu.ns.2024141

基于时空增强双分支图卷积网络的骨骼行为识别

  • 施宇航, 何强, 王恒友
作者信息 +
History +

摘要

针对现有基于骨骼行为识别的图卷积的方法存在关节划分固定、重视空间信息而忽视时间信息并且网络参数量较高等问题。首先引入对称关节的信息,增加对称动作的交互特征;其次,加入多尺度金字塔(Multi-scale Pyramid, MSP)时间图卷积模块,形成双分支(Dual-branch, DB)的网络结构,提高网络对时间维度的信息提取能力;最后,本研究利用特征映射和空间聚合(Feature Mapping and Spatial Aggregation,FM-SA),在保留原始拓扑结构信息的前提下,过滤了权重矩阵中的冗余部分,并添加了挤压-激励(Squeeze-and-Excitation,SE)模块,从而有效提升了空间特征的提取能力和特征图的表达能力。实验结果表明,与基准模型相比,网络参数量减少51%,在NTU RGB+D 120数据集上的关节、骨骼流的识别准确率分别提高了0.5%和1.3%,融合准确率提高0.7%,0.5%,在NTU RGB+D、Northwestern-UCLA(NW-UCLA)数据集的识别准确率分别提升0.1%,0.2%,1.5%。本文模型的有效性和可行性得到验证。

关键词

骨骼行为识别 / 关节分区 / 时空信息增强 / 多尺度金字塔 / 映射聚合

中图分类号

TP391.41 / TP183

引用本文

导出引用
施宇航, 何强, 王恒友. 基于时空增强双分支图卷积网络的骨骼行为识别. 山西大学学报(自然科学版). 2025, 48(01): 55-65 https://doi.org/10.13451/j.sxu.ns.2024141

基金

国家自然科学基金(62072024;12301581); 北京市教育委员会科学研究计划项目(KM202210016002); 北京建筑大学硕士研究生创新项目(09081024002)

评论

PDF(7026 KB)

Accesses

Citation

Detail

段落导航
相关文章

/