针对目前用于视频异常检测的神经网络模型存储能力较差，导致特征信息容易丢失的问题，提出时空记忆模块(Conv LSTM-SMM)，以弥补神经网络存储能力不足，并将其应用于基于深度学习框架的视频异常检测。Conv LSTM-SMM由Conv LSTM和SMM组成，将Conv LSTM保存的特征向量通过查询特征不断更新记忆网络中的特征参数，并将更新过的特征参数与查询特征进行匹配存储，从而获得新的特征参数，以增强网络的时空特征。同时引入边缘学习，以增加正常模式与异常模式样本间的差距，用SMM引导边缘学习，并将其应用于基于编解码的深度学习方式的视频异常检测。Conv LSTMSMM提高了异常检测系统对特征信息的存储能力，有利于提升检测信息的完整性、准确性，而边缘学习则加大了正常数据与异常数据的特征差距，二者结合为视频异常检测系统检测精度的提升做铺垫。实验验证部分在目前最具挑战性的公开数据集(Avenue、ShanghaiTech)上进行，实验结果表明，时空记忆引导边缘学习的视频异常检测算法使视频异常检出率得到提升，检测性能优越。