因长期受反复荷载作用，高速铁路钢轨会产生表面缺陷，为了提升复杂场景下多类多尺度钢轨表面缺陷检测的精度与速度，设计了一种基于双模态融合的钢轨表面缺陷分割网络（DAFNet）。首先构建了一个包含可见光和红外通道的钢轨表面缺陷数据集，并采用改进的双分支网络架构，提高了分割速度；同时，设计了双模态自适应融合模块（BAFM），实现了特征的自适应融合，提高了复杂场景下钢轨表面缺陷的分割精度；此外，设计了空间细节提取模块（SDEM）和关键信息增强模块（KIEM），进一步提高了对缺陷边缘的感知度，解决了复杂场景下缺陷与背景对比度不高的问题。实验表明，所设计网络分割的精确度和mIoU分别达到了68.13%, 59.96%，明显优于其他主流网络；且FLOPs、参数量和模型大小分别为17.41 GFLOPs,1.38 M和5.67 MB，优于大多数主流网络。所设计的网络显著提高了钢轨表面缺陷的分割精度，并且具有较高分割速度，对保障高铁的安全运营具有重要意义。