目前大多数的质量评估算法都应用于自然图像的融合场景，缺乏专用评价的医学图像数据集及多模态医学融合图像的质量评估算法。针对此问题，利用17种经典的医学图像融合方法构建医学图像主观数据集，解决无专用评价数据集的问题；提出一种基于色彩相似度(color similarity, CS)和信息相似度(information similarity, IS)的客观医学图像质量评价方法。将CS模块用于测量局部颜色失真，在传统的池化层上添加背景分离模块使其适用于医学图像多背景干扰特性；将IS模块用于衡量信息失真，改进图像熵的计算方法，添加过滤模块以剔除图像噪声。实验结果表明，所提方法的预测值和主观数据集客观评分具有更好的一致性，更符合人类视觉系统。