基于两阶段缺失模态恢复的多模态情感分析方法

王嫄, 邓振宇, 王佳鑫, 张帅, 赵婷婷, 于琦

PDF(938 KB)
PDF(938 KB)
天津科技大学学报 ›› 2025, Vol. 40 ›› Issue (01) : 57-63+80. DOI: 10.13364/j.issn.1672-6510.20230188

基于两阶段缺失模态恢复的多模态情感分析方法

  • 王嫄, 邓振宇, 王佳鑫, 张帅, 赵婷婷, 于琦
作者信息 +
History +

摘要

在多模态情感分析任务中,在模态缺失时存在整体多模态与单模态情感表达不一致、情感会因模态缺失而发生变化的情况。现有方法忽略缺失模态潜在的特异性语义内涵和情感表达,导致情感分析性能下降。为了解决这个问题,本文提出基于两阶段缺失模态恢复的多模态情感分析模型。首先恢复缺失模态特征,通过不变模态翻译模块恢复缺失模态与文本模态的同构信息,接着通过相似模态翻译模块在视觉词典中恢复缺失模态的异构信息,然后将已知模态和恢复的缺失模态进行融合,实现具有一致性的情感分析。在CMU-MOSI和IEMOCAP数据集上的实验表明,该模型能够有效检测和恢复缺失模态语义特征,缓解多模态与单模态情感表达不一致的问题,并具有显著的性能优势。

关键词

多模态 / 情感分析 / 模态缺失

中图分类号

TP391.1

引用本文

导出引用
王嫄, 邓振宇, 王佳鑫, 张帅, 赵婷婷, 于琦. 基于两阶段缺失模态恢复的多模态情感分析方法. 天津科技大学学报. 2025, 40(01): 57-63+80 https://doi.org/10.13364/j.issn.1672-6510.20230188

基金

国家自然科学基金项目(61976156)

评论

PDF(938 KB)

Accesses

Citation

Detail

段落导航
相关文章

/