[发明专利]视频代表帧提取方法及装置

说明书

本发明实施例为了解决视频代表帧提取过程中没有充分利用整个视频中统计信息和时间上的均匀性的问题，提供了一种获取待提取视频的候选帧集合；获取所述候选帧集合中各图像帧的度量指标，形成待提取视频的度量指标向量；根据所述度量指标的均值、方差，计算各图像帧的度量指标的密度值；根据各图像帧的度量指标的密度值获取各图像帧的图像质量评分；根据各图像帧的图像质量评分、各图像帧之间的相似度和各图像帧之间的时间位置惩罚值，最优化求解出代表帧。能够评价指标的选取考虑了整体统计信息，代表帧的选取更具时间均匀性。同时提供了相应的装置、设备和介质。

技术领域

本发明属于图像处理技术领域，具体而言，涉及一种视频代表帧提取方法、提取装置、计算机可读介质及电子设备。

背景技术

视频作为一种高效的信息记录和传递方式，通过视频人们可以得到娱乐、获取知识，视频正成为人们日常生活中重要的部分。互联网和自媒体的发展，积累了大量的视频资源，如何能够快速高效的了解视频的内容概要从而判断是否符合自己的需求，成为一个需要解决的问题。鉴于视频通常具有比较长的时长，不能像图片那样一目了然，一种表达视频内容概要的方式是从视频中提取代表帧。代表帧由一个或多个视频帧组成，从原始视频中根据一定的规则提取，旨在让观看者通过该图片集合，了解视频的大致内容，充当视频概要的作用。

现有的代表帧提取方法，其关键步骤主要有两个，第一步骤是视频帧的质量度量，即通过一定的规则和算法对视频中的每帧的质量进行评分，第二步骤筛选，即按照一定的规则选取一部分帧作为代表帧。下面阐述现有方法在这两方面存在的缺点。

第一，现有方法在度量过程中，主要基于单帧的信息进行计算，例如计算当前帧的清晰度，信息量，梯度，亮度，饱和度等，没有充分利用整个视频中统计信息，而实际上这些度量指标并不是越大越好，例如亮度过高的和亮度过低的画质都不好。

第二，现有方法在筛选过程中，大部分方法直接根据单个视频帧的评分的排序，部分方法还考虑了选取的代表帧的多样性。本文提出的方法，综合考虑了代表帧的画质，多样性和时间区间分布，并设计了一种综合多种因素的代表帧优先模型。目前的其他方法都没有考虑抽取代表帧在时间上的均匀性，即抽取的代表帧应该近可能的分散在整个视频时间轴上，这样使抽取的代表帧集合能更好的体现整个视频的情节信息，而不能只分布在某些局部时间段内。

发明内容

本发明为了解决上述现有技术的缺点，本发明实施例公开了一种从视频中提取代表帧的方法，该方法考虑了整个视频中不同指标的统计信息，并能够抽取在时间上分布均匀的代表帧集合，能更好的代表整个视频的概要信息，具有良好的效果，将代表帧在时间上的均匀性也纳入考虑范围，筛选出的代表帧能够反映视频不同时间段的信息。

具体地，第一方面，本发明实施例提供了一种视频代表帧提取方法，包括如下步骤：

S110、获取待提取视频的候选帧集合C；

S120、获取所述候选帧集合中各图像帧的度量指标，形成待提取视频的度量指标向量；

S130、根据所述度量指标的均值、方差，计算各图像帧的度量指标的密度值；

S140、根据各图像帧的度量指标的密度值获取各图像帧的图像质量评分；

S150、根据各图像帧的图像质量评分、各图像帧之间的相似度和各图像帧之间的时间位置惩罚值，从所述候选帧集合中选出代表帧集合Z使得，

∑_z∈ZScore(z)-α∑_i，j∈ZSim(i，j)-β∑_i，j∈ZPos(i，j)]最大，其中Score(z)代表图像质量评分，Sim(i，j)代表图像帧之间的相似度，Pos(i，j)代表图像帧之间的时间位置惩罚值，α，β分别为预设的相似度惩罚系数和时间位置惩罚系数。

进一步地，所述步骤S150具体包括：