低分辨率是扫描太赫兹时域光谱(THz-TDS)系统图像的一个重要缺点．本文提出了一种针对太赫兹时域光谱图像的超分辨率增强算法，该算法结合了多层感知机(MLP)和超分辨率卷积神经网络(SRCNN)，创建了一个复合网络．本文算法针对太赫兹光谱图像的特点，通过引入新的目标函数，避免了传统机器学习算法需要采集或模拟生成大量训练集的弊端，实现了训练图像即目标图像的单幅光谱图像增强．为了实现这一目标，本文算法的基本原理是，让试件产生一个刚体位移，利用THz-TDS系统采集位移前后两幅三维(1个时间维，2个空间维)光谱图像作为输入数据．机器学习网络包括两部分：首先，利用一个MLP网络实现三维光谱图像到二维光强图像的转化；其次，采用传统针对二维图像的SRCNN网络获取一幅高分辨率图像，对位移前后图像处理后计算得到新的高分辨率图像的位移场，并将位移场方差作为目标函数，再通过机器学习算法，优化网络中的成像参数，实现太赫兹光谱图像的分辨率增强．典型验证性实验最终得到的峰值信噪比为42.65 dB，结构相似度为0.816，均比其他现有方法高，表明本文算法能获得良好的图像增强.