心电图（electrocardiogram,ECG）和心音图（phonocardiogram,PCG）是心脏疾病诊断中常用的图像，单一的方法进行心脏疾病诊断效果不佳.基于多模态特征工程，数据集经过切分和归一化预处理后，使用格拉姆角场（Gramian angle fields,GAF）进行时间序列数据重建，形成图像模型.提出一种适用于该图像模型的双流自融合网络（two-stream self-fusion network,TSNet），使用双流自融合（two-stream self-fusion,TS）模块替代底层卷积操作，更好地融合ECG和PCG的异构信息.经Physio Net Challenge 2016 a数据集测试，该算法的准确率、F1值、精确率和召回率最佳值分别达到95.3%,95.4%,96.2%,99.4%，相较其他心电和心音多模态卷积神经网络算法，精度更高.