针对现有孪生神经网络仅利用空间信息，面对目标遮挡、消失、表观剧烈形变等挑战造成跟踪准确度下降问题，提出一种时间显著注意力孪生跟踪网络。该网络通过信息交换“桥梁”，一方面为当前帧添加时间显著注意力，引导网络重点学习目标特征；另一方面对内存网络中历史目标特征进行筛选，将其作为附加模板，提供目标额外表观信息，同时遵循学习目标表观信息与空间位置的变化规律，指导后续检测、分类过程。为提高时间显著注意力能力，提出多尺度特征提取单元，解决骨干网络特征提取不充分的问题。在Got-10k数据集上进行模型测试，与目标跟踪算法时空记忆网络（STMTrack）相比，AO值提高2.4%。可视化结果显示，注意力挛生跟踪网络在目标遮挡、消失等挑战中，具有更高准确性。