具有互补特征学习框架和注意力特征融合模块的语音情感识别模型

黄佩瑶, 程慧慧, 唐小煜

新疆大学学报(自然科学版中英文) ›› 2024, Vol. 41 ›› Issue (01) : 52-58. DOI: 10.13568/j.cnki.651094.651316.2023.07.05.0002

具有互补特征学习框架和注意力特征融合模块的语音情感识别模型

  • 黄佩瑶, 程慧慧, 唐小煜
作者信息 +
History +

摘要

针对深度学习的特征提取方法无法全面提取语音中的情感特征,也无法有效地融合这些特征的问题,提出了一种集成互补特征学习框架和注意力特征融合模块的语音情感识别模型.该互补特征学习框架包含两条独立的表征提取分支和一条交互互补表征提取分支,能够全面覆盖情感特征的独立性表征和互补性表征.为了进一步优化模型性能,引入注意力特征融合模块,该模块能够根据不同表征对情感分类的贡献程度分配合适的权重,使模型能最大程度地关注对情感识别最有助的特征.基于两个公开情感数据库(Emo-DB和IEMOCAP)的仿真实验结果,验证了所提模型的鲁棒性和有效性.

关键词

语音情感识别 / 深度神经网络 / 情感特征表征 / 特征提取器 / 特征融合 / 注意力机制 / 人工智能

中图分类号

TN912.34 / TP18

引用本文

导出引用
黄佩瑶, 程慧慧, 唐小煜. 具有互补特征学习框架和注意力特征融合模块的语音情感识别模型. 新疆大学学报(自然科学版中英文). 2024, 41(01): 52-58 https://doi.org/10.13568/j.cnki.651094.651316.2023.07.05.0002

基金

国家自然科学基金“基于深度学习和能量采集的无线体域网高能效技术研究”(62001173); 广东省大学生科技创新人才培养专项资金项目“基于深度学习的水下目标检测系统”(pdjh2022a0131)

评论

Accesses

Citation

Detail

段落导航
相关文章

/