基于FPGA的多路视频采集及AI加速

吴铭, 黄国宁, 汪保祥, 宋可平, 鄢秋荣, 吴武飞

南昌大学学报(工科版) ›› 2024, Vol. 46 ›› Issue (03) : 386-394. DOI: 10.13764/j.cnki.ncdg.2024.03.013

基于FPGA的多路视频采集及AI加速

  • 吴铭, 黄国宁, 汪保祥, 宋可平, 鄢秋荣, 吴武飞
作者信息 +
History +

摘要

基于MES50HP开发板及PC主机实现了多源视频采集、拼接及AI协同处理的加速工作。所提出的系统可支持同时采集HDMI、网口、摄像头和光纤4路视频数据,视频采集拼接后,将缩放后存入双倍速率同步动态随机存储器(DDR)中,输出部分分为2路,其中1路数据用于HDMI回环输出,另外1路通过PCIE传至PC主机用于结果显示,并在PC端读取PCIE传回的数据并显示目标检测结果,其中视频采集和目标识别加速部分主要由2块MES50HP开发板构成。本系统在FPGA上实现了卷积加速器,卷积加速器计算完神经网络的一层后再通过PCIE传至主机进行结果显示,卷积计算与图像采集进行深度融合,具有实时、低成本的特点,可广泛应用于边缘计算等领域。实验结果表明:针对红绿灯数据集,该方法在低成本PC主机上实现的最大平均精度均值(mAP)为0.746,最高帧率达45帧。

关键词

现场可编程门阵列 / 外设组件互联快速总线 / AI加速 / 视频采集 / 边缘计算 / 嵌入式人工智能

中图分类号

TP391.41 / TP18 / TN791

引用本文

导出引用
吴铭, 黄国宁, 汪保祥, 宋可平, 鄢秋荣, 吴武飞. 基于FPGA的多路视频采集及AI加速. 南昌大学学报(工科版). 2024, 46(03): 386-394 https://doi.org/10.13764/j.cnki.ncdg.2024.03.013

基金

国家自然科学基金资助项目(62002147); 中国博士后科学基金资助项目(2020TQ013); 江西省自然科学基金面上资助项目(20232BAB202009)

评论

Accesses

Citation

Detail

段落导航
相关文章

/