针对矿物类别众多、存在环境杂质等干扰信息以及部分拉曼光谱存在相似性等问题，结合拉曼光谱时域和频域上多尺度特征信息，提出一种基于卷积结构和自注意力结构的双分支分类网络RT-Net (ResidualTransformer Net)。该网络利用卷积块搭建局部特征提取模块，引入通道注意力增强局部特征提取能力；利用自注意力结构学习拉曼光谱频域中的双向依赖关系来提取全局特征信息，由注意力融合模块进行多尺度特征融合用以分类。实验结果表明：RT-Net实现了对于1 321类矿物拉曼光谱快速准确的分类，分类准确率达到90.31%；此外，在精准率、召回率和F1得分3个评估指标上分别达到了0.878 1、0.906 6和0.897 2，进一步验证了RT-Net的有效性。