手势识别是人机交互中的关键技术。传统实时手势识别模型对光照变化、复杂背景等干扰因素适应性不强，所用分类数据集仅包含特定手势，在实际应用中泛化能力不足。针对以上问题，提出背景优化的二阶段静态手势识别算法。在检测阶段，采用YOLOv5s(You Only Look Once version 5 small)作为检测网络，利用其定位能力快速检测手部位置。在识别阶段，首先，利用背景与传感器热噪声对分类数据集进行增强，设计背景优化预处理算法，提升模型对复杂背景的适应性；然后，将VGG-16(Visual Geometry Group-16)作为识别网络的原型，增加归一化层并替换激活函数以加速收敛并防止过拟合。实验中，模型可以在多种干扰下提取图像特征，准确率达到97.9%,F1值达到92.3%。实验结果表明，模型对复杂场景的适应能力高于经原始分类数据集训练后的传统模型，具有更高的实际应用价值。