基于知识蒸馏的图像分类框架

赵宏伟, 武鸿, 马克, 李海

吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (08) : 2307-2312. DOI: 10.13229/j.cnki.jdxbgxb.20230128

基于知识蒸馏的图像分类框架

  • 赵宏伟, 武鸿, 马克, 李海
作者信息 +
History +

摘要

为解决在图像分类任务中难以有效融合CNNs与Transformer网络特征的问题,提出了一种基于知识蒸馏的图像分类框架(Knowledge distillation image classification,KDIC)。KDIC框架中根据CNNs与Transformer网络结构的差异设计了多种知识蒸馏方法:本方法有效地将CNNs的局部特征与Transformer的全局表示融入轻量的student模型中,并基于不同的知识蒸馏方法提出有效的损失函数来提升图像分类任务的性能。图像分类实验在CIFAR10、CIFAR100、UC-Merced 3个公开数据集上进行,实验结果表明;KDIC框架与当前的知识蒸馏方法相比有着明显的优势,同时KDIC在不同师生网络下仍然具有良好的性能和泛化性。

关键词

计算机应用 / 知识蒸馏 / 图像分类 / 卷积神经网络

中图分类号

TP391.41

引用本文

导出引用
赵宏伟, 武鸿, 马克, 李海. 基于知识蒸馏的图像分类框架. 吉林大学学报(工学版). 2024, 54(08): 2307-2312 https://doi.org/10.13229/j.cnki.jdxbgxb.20230128

基金

吉林省省级科技创新专项项目(20190302026GX); 吉林省自然科学基金项目(20200201037JC)

评论

Accesses

Citation

Detail

段落导航
相关文章

/