针对现有多视角视频摘要问题选择算法存在多视角相关性定义复杂的问题，提出一个面向多视角视频摘要问题的稀疏子集选择(Multi-View Dissimilarity-based Sparse Subset Selection, MDS3)算法。该算法通过构造相对简单的不同视角下视频帧之间的相关性度量方法，对不同视角下的隶属度矩阵同时进行稀疏和多样性惩罚，并采用加权版本的收缩阈值算子和交替方向乘子法算法框架进行求解。对比实验结果表明，MDS3算法能够有效减少多视角视频摘要的冗余信息，增加了多样性。