[发明专利]一种视频摘要提取方法及其系统、装置、存储介质

说明书

本发明公开了一种视频摘要提取方法及其系统、装置、存储介质，根据时间消耗从小到大依次使用不同的帧图像特征提取算法进行进行分层聚类，逐层减少需要处理的帧图像，最后对每个得到的分割的视频片段所提出候选视频摘要提取全局特征，生成最后的视频摘要。相较于现有方法，不需要考虑不同特征权重问题，时间消耗大幅减少，具有鲁棒性好，速度快，效果好的优点。

技术领域

本发明涉及视频处理技术领域，尤其是一种基于多特征相似度视频摘要提取方法及其系统、装置、存储介质。

背景技术

当下，随着诸多视频APP和视频简便编辑工具的出现，大量由用户自制上传的视频开始大量出现，正常情况下，人们观看视频所花费的时间是与视频时长一致的。这就导致了一个问题，在当今拥有海量视频的网站或软件上，用户如何快速通过正确的视频摘要精准的找到自己感兴趣的部分和如何快速对用户上传的视频进行分类，将其正确分类到不同索引下，就成了一个有价值的研究问题。数量的剧增，提供了研究的热度，也使得对视频进行分类和视频摘要提取变得更加复杂。特别是大量的用户自制视频，视频中往往包含多个场景，多个动作以及拍摄的随意性，大量美颜，特效表情的加入，对视频进行处理的难度也大大的增大。视频分割和视频摘要提取技术能够去除需要处理的长视频中长时间的冗余重复片段，根据需求提取出有用的片段和关键帧进行视频索引，并能够根据传统特征将视频分割成基于内容的片段，有利于后期视频的分类和视频摘要提取，特别是在热门的基于神经网络处理视频的很多方法中，如何选取代表整个视频内容的关键帧送入神经网络模型，是一个不可避免的问题。然而传统的视频摘要提取存在时间消耗大、算法复杂、效果不佳的问题，亟待改进。

发明内容

为解决上述问题，本发明的目的在于提供一种视频摘要提取方法及其系统、装置、存储介质，根据时间消耗从小到大依次使用不同的帧图像特征提取算法进行进行分层聚类，逐层减少需要处理的帧图像，最后对每个得到的分割的视频片段所提出候选视频摘要提取全局特征，生成最后的视频摘要。相较于现有方法，不需要考虑不同特征权重问题，时间消耗大幅减少，具有鲁棒性好，速度快，效果好的优点。

本发明解决其问题所采用的技术方案是：

第一方面，本发明实施例提出了一种视频摘要提取方法，包括：

将原始视频解码得到帧图像；

根据时间消耗从小到大依次使用不同的帧图像特征提取算法进行视频分割，得到分割的时序片段；

对每个时序片段提出的候选视频摘要进行全局特征提取，选择关键帧输出；

对关键帧进行聚类，生成最终视频摘要。

进一步，所述将原始视频解码得到帧图像，包括：

将原始视频解码成帧进行预采样得到需要的帧图像，在此过程中丢弃解码失败以及结尾处存在的空帧。

进一步，所述帧图像特征提取算法包括用于帧图像特征初步聚类的Hash算法、用于帧图像特征二次聚类的HSV算法和用于帧图像特征三次聚类的ORB算法，所述HSV算法中，提取帧图像的HSV颜色特征，取H通道及S通道生成颜色直方图，舍弃HSV颜色直方图中的V通道。

进一步，所述根据时间消耗从小到大依次使用不同的帧图像特征提取算法进行视频分割，得到分割的时序片段，包括：

根据时间消耗从小到大依次使用Hash算法、HSV算法以及ORB算法对帧图像进行分层聚类，逐层减少需要处理的帧图像，得到分割的时序片段。

进一步，所述对每个时序片段提出的候选视频摘要进行全局特征提取，选择关键帧输出，包括：

统计二次聚类中时序片段所含颜色信息最多的局部极值帧以及三次聚类中时序片段特征点最多的局部极值帧并提取作为关键帧输出。

进一步，所述对关键帧进行聚类，生成最终视频摘要，包括：