结合算子选择的卷积神经网络显存优化算法

魏晓辉, 周博文, 李洪亮, 徐哲文

PDF(2432 KB)
PDF(2432 KB)
吉林大学学报(理学版) ›› 2024, Vol. 62 ›› Issue (02) : 302-310. DOI: 10.13413/j.cnki.jdxblxb.2023115

结合算子选择的卷积神经网络显存优化算法

  • 魏晓辉, 周博文, 李洪亮, 徐哲文
作者信息 +
History +

摘要

针对卷积神经网络训练中自动算子选择算法在较大的显存压力下性能下降的问题,将卸载、重计算与卷积算子选择统一建模,提出一种智能算子选择算法。该算法权衡卸载和重计算引入的时间开销与更快的卷积算子节省的时间,寻找卸载、重计算和卷积算子选择的调度,解决了自动算子选择算法性能下降的问题.实验结果表明,该智能算子选择算法比重计算-自动算子选择算法缩短了13.53%训练时间,比已有的卸载/重计算-自动算子选择算法缩短了4.36%的训练时间.

关键词

显存 / 卷积神经网络训练 / 卷积算子 / 卸载 / 重计算

中图分类号

TP391.41 / TP183

引用本文

导出引用
魏晓辉, 周博文, 李洪亮, 徐哲文. 结合算子选择的卷积神经网络显存优化算法. 吉林大学学报(理学版). 2024, 62(02): 302-310 https://doi.org/10.13413/j.cnki.jdxblxb.2023115

基金

吉林省自然科学基金面上项目(批准号:20230101062JC)

评论

PDF(2432 KB)

Accesses

Citation

Detail

段落导航
相关文章

/