符号间干扰的存在使超奈奎斯特(faster-than-Nyquist, FTN)速率无线光通信系统的性能受到严重影响，针对此问题，提出了一种基于卷积神经网络自编码器的端到端通信系统来消除符号间干扰的影响并完成信号的恢复。针对超奈奎斯特信号非正交的特性，采用交替训练算法分别训练发射机和接收机权重，解决监督训练中模型输入输出数据尺寸不匹配的问题。在此基础上，分析了该系统在Gamma-Gamma大气信道中的误码率(bit error rate, BER)性能。仿真结果证明，与采用最大似然估计的传统系统相比，该系统的误码率性能在各种条件因素影响下都有不同程度的提高。当加速因子在Mazo限内时，该系统可以消除FTN成型和湍流信道带来的复杂混合码间干扰，其误码性能几乎与正交传输系统相等。