为提升说话人识别的特征提取能力，解决在噪声环境下识别率低的问题，提出一种基于残差网络的说话人识别算法——ASP-SERes2Net。首先，采用梅尔语谱图作为神经网络的输入；其次，改进Res2Net网络的残差块，并且在每个残差块后引入压缩激活(squeeze-and-excitation, SE)注意力模块；然后，用注意力统计池化(attention statistics pooling, ASP)代替原来的平均池化；最后，采用附加角裕度的Softmax (additive angular margin Softmax, AAM-Softmax)对说话人身份进行分类。通过实验，将ASP-SERes2Net算法与时延神经网络(time delay neural network, TDNN)、ResNet34和Res2Net进行对比，ASP-SERes2Net算法的最小检测代价函数(minimum detection cost function, MinDCF)值为0.040 1,等误率(equal error rate, EER)为0.52%,明显优于其他3个模型。结果表明，ASP-SERes2Net算法性能更优，适合应用于噪声环境下的说话人识别。