基于三值向二值演化的BNN剪枝方法

徐图, 张博, 李镇, 陈怡凝, 申人升, 熊波涛, 常玉春

吉林大学学报(信息科学版) ›› 2024, Vol. 42 ›› Issue (02) : 356-365. DOI: 10.19292/j.cnki.jdxxp.2024.02.017

基于三值向二值演化的BNN剪枝方法

  • 徐图, 张博, 李镇, 陈怡凝, 申人升, 熊波涛, 常玉春
作者信息 +
History +

摘要

针对目前BNN(Binarized Neural Network)剪枝方法存在剪枝比例低、识别准确率显著下降以及依赖训练后微调的问题,提出了一种基于三值向二值演化的滤波器级的BNN剪枝方法,命名为ETB(Evolution from Ternary to Binary)。ETB是基于学习的,通过在BNN的量化函数中引入可训练的量化阈值,使权重和激活值逐渐从三值演化到二值或零,旨在使网络在训练期间自动识别不重要的结构。此外,一个剪枝率调节算法也被设计用于调控网络的剪枝率。训练后,全零滤波器和对应的输出通道可被直接裁剪而获得精简的BNN,无需微调。为证明提出方法的可行性和其提升BNN推理效率而不牺牲准确率的潜力,在CIFAR-10上进行实验:在CIFAR-10数据集上,ETB对VGG-Small模型进行了46.3%的剪枝,模型大小压缩至0.34 MByte,准确率为89.97%,并在ResNet-18模型上进行了30.01%的剪枝,模型大小压缩至1.33 MByte,准确率为90.79%。在准确率和参数量方面,对比一些现有的BNN剪枝方法,ETB具有一定的优势。

关键词

二值神经网络 / 剪枝 / 可训练门限 / 演化

中图分类号

TP183

引用本文

导出引用
徐图, 张博, 李镇, 陈怡凝, 申人升, 熊波涛, 常玉春. 基于三值向二值演化的BNN剪枝方法. 吉林大学学报(信息科学版). 2024, 42(02): 356-365 https://doi.org/10.19292/j.cnki.jdxxp.2024.02.017

基金

大连市科学技术局基金资助项目(2020RT01); 产业基础再造和制造业高质量发展专项基金资助项目(TC220A04A-49); 电子元器件实验室可靠性物理与应用技术科学技术基金资助项目(6142806210302)

评论

Accesses

Citation

Detail

段落导航
相关文章

/