基于文本信息补充的图像描述模型

花嵘, 仪秀龙, 郑杜磊, 王志余

PDF(1879 KB)
PDF(1879 KB)
山东科技大学学报(自然科学版) ›› 2021, Vol. 40 ›› Issue (06) : 61-68. DOI: 10.16452/j.cnki.sdkjzk.2021.06.008

基于文本信息补充的图像描述模型

  • 花嵘, 仪秀龙, 郑杜磊, 王志余
作者信息 +
History +

摘要

基于encoder-decoder的深度神经网络在图像描述任务中获得了很好的表现,LSTM解决梯度消失的良好能力使其成为解码器的主流。LSTM的门控机制较好地解决了RNN的长期依赖问题,但该机制对信息的筛选导致信息缺失,使得LSTM隐藏单元表达能力不足,出现LSTM输入信息缺失、预测信息不充分问题。为解决这两个问题,提出两种基于文本信息补充的图像描述模型:输入信息补充(IIS)模型通过信息提取函数提取更多的文本信息作为输入,解决LSTM输入信息缺失问题;输出信息补充(OIS)模型通过信息提取函数提取多个时间步的隐藏单元信息进行预测,解决LSTM预测信息不充分问题。实验证明,在AI CHALLENGER测试集中,两种模型均显著地提高了各项评价指标。

关键词

长短时记忆网络 / 图像描述 / 文本信息补充 / 信息提取函数 / 信息缺失

中图分类号

TP391.41

引用本文

导出引用
花嵘, 仪秀龙, 郑杜磊, 王志余. 基于文本信息补充的图像描述模型. 山东科技大学学报(自然科学版). 2021, 40(06): 61-68 https://doi.org/10.16452/j.cnki.sdkjzk.2021.06.008

基金

国家重点研发计划项目(2016YFB020803); 山东省重点研发计划项目(2019GGX101066)

评论

PDF(1879 KB)

Accesses

Citation

Detail

段落导航
相关文章

/