基于多模态和度量学习的小样本图像分类方法

岳之一, 钱素琴

PDF(4350 KB)
PDF(4350 KB)
东华大学学报(自然科学版) ›› 2024, Vol. 50 ›› Issue (06) : 146-150. DOI: 10.19886/j.cnki.dhdz.2023.0305

基于多模态和度量学习的小样本图像分类方法

  • 岳之一, 钱素琴
作者信息 +
History +

摘要

在小样本图像分类中,由于样本数量有限,神经网络难以进行充分训练,同时仅使用单一的判别方法容易产生相似性偏差,分类准确率较低。针对上述问题,提出一种多模态和度量学习相结合的小样本图像分类模型。使用卷积神经网络提取查询集和支持集图像的特征,通过度量模块判断图像与图像间的相似度;通过多模态模块对已知类别图像的文本信息与查询图像进行跨模态对比,从而计算查询图像与每个类别文本信息的相似度;最后结合两种相似度,基于多模态信息得出最终预测结果。在MiniImagenet和CUB-200-2011两个数据集上进行小样本分类试验,同时与6种先进的小样本分类模型进行对比,结果显示,所提模型的分类准确率优于其他模型。试验结果证实了所提模型的有效性。

关键词

小样本学习 / 图像分类 / 度量学习 / 多模态

中图分类号

TP391.41 / TP18

引用本文

导出引用
岳之一, 钱素琴. 基于多模态和度量学习的小样本图像分类方法. 东华大学学报(自然科学版). 2024, 50(06): 146-150 https://doi.org/10.19886/j.cnki.dhdz.2023.0305

评论

PDF(4350 KB)

Accesses

Citation

Detail

段落导航
相关文章

/