针对由于受光照条件变化、行人身高差异等影响，致使监控视频图像在不同时刻的成像存在较大的跨模态差异问题，为准确识别跨模态图像中的行人，提出基于泛化迁移深度学习的跨模态图像行人识别算法。通过循环生成对抗网络(Cyele GAN:Cycle Generative Adversarial Network)形成跨模态图像，采用单目标图像处理对基准图分割处理，得到人体候选区域，在匹配图中搜索和其匹配的区域，得到人体区域的视差，通过视差提取人体区域的深度和透视特征。将注意力机制和跨模态行人识别相结合，分析两种不同类型图像的差异，将两个子空间映射到同一个特征空间，同时引入泛化迁移深度学习算法对损失函数度量学习，自动筛选跨模态图像的行人特征，最终通过模态融合模块将筛选的特征融合处理完成行人识别。实验结果表明，所提算法可以快速、准确地提取不同模态图像中的行人，识别效果较好。