结合自注意力机制和软阈值降噪的对比联邦学习特征聚合算法

王毅, 瞿治国, 孙乐

重庆邮电大学学报(自然科学版) ›› 2024, Vol. 36 ›› Issue (05) : 966-973.

结合自注意力机制和软阈值降噪的对比联邦学习特征聚合算法

  • 王毅, 瞿治国, 孙乐
作者信息 +
History +

摘要

传统人工智能(artificial intelligence, AI)技术在智慧视觉领域的应用面临着数据异构分布、数据隐私保护和噪声数据干扰等一系列技术难点。为了克服这些挑战,在联邦学习和信号降噪算法的思想上,提出了一种基于降噪和数据特征聚合的对比联邦学习算法(comparative federated learning aggregation feature algorithm with noise reduction, FedCAFNR)。FedCAFNR引入自注意力机制和深度残差网络,构建自适应阈值降噪网络,提高联邦学习从异构性数据中学习关键特征的能力。通过对比学习模型之间的差异,提升局部训练精度,有效增强了个体与全局模型的一致性,进一步提高了模型对非独立同分布数据的鲁棒性。采用3种多分类数据集进行仿真实验,在数据隐私保护的前提下证明了FedCAFNR算法具有良好的收敛性和可拓展性。此外,新算法改进了学习效率,并提高了异构数据环境下联邦学习现有算法的一致性、鲁棒性。

关键词

联邦学习 / 降噪 / 自注意力机制 / 特征聚合

中图分类号

TP18

引用本文

导出引用
王毅, 瞿治国, 孙乐. 结合自注意力机制和软阈值降噪的对比联邦学习特征聚合算法. 重庆邮电大学学报(自然科学版). 2024, 36(05): 966-973

基金

国家自然科学基金面上项目(61373131,62071240); 网络与交换技术国家重点实验室开放基金(北京邮电大学,SKLNST-2020-1-17); PAPD; CICAEET

评论

Accesses

Citation

Detail

段落导航
相关文章

/