当场景中存在较强光源时，极易使采集到的图像受到光斑、炫光、伪影等种类和形态多样的干扰，导致图像中关键信息质量下降，从而使基于该图像的目标检测、深度估计、语义分割等视觉任务受到不同程度的影响．然而使用现有方法很难完全去除形态和分布多种多样的光源干扰．因此，针对现有算法处理效果差、成对训练数据较缺乏、泛化性弱等问题，提出了一种光源干扰去除网络及其训练方法．该网络结合多任务结构充分利用不同任务的特征信息，并以此提高其对干扰的去除效果．此外，还提出了一种光源融合后处理算法以减少后处理算法导致的推理质量下降．所提方法在公开数据集上平均峰值信噪比和结构相似性分别达到了25.81 dB和0.872 6，在自建数据集上达到了23.25 dB和0.922 3，且在主观定性对比中，所提方法比现有方法具有更好的干扰去除效果．