基于Gabor卷积和Transformer的课堂表情识别研究

doi:10.16197/j.cnki.lnunse.2024.03.008

辽宁大学学报（自然科学版） ›› 2024, Vol. 51 ›› Issue (03) : 208-219. DOI: 10.16197/j.cnki.lnunse.2024.03.008

曲大鹏, 杨天奇, 郭伟嘉, 田芳茵

作者信息 +

History +

摘要

为了针对复杂环境变化无法精准识别学生表情问题，本文设计了一个基于Gabor卷积和Transformer的表情识别模型Gabor-Vision-Transformer(GVT).将Gabor卷积和Transformer的思想相结合，设计了一个特征提取块GVT-Block.首先通过Gabor卷积提取富含丰富纹理和边缘信息的面部局部特征，再通过Transformer提取全局数据之间的长距离信息，从而更好地学习面部关键特征，显著提高模型的分类效果.GVT模型在RAF-DB和FER2013Plus数据集上的准确率分别为88.56%和87.38%,并与多个模型进行对比实验和分析，验证了本模型效果的优越性.