[发明专利]一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质

说明书

本发明提供一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质，建立视频场景特征库方法包括：对镜头图像进行分割；提取镜头全局特征；提取镜头图像中的关键帧；提取关键帧的关键帧特征；对全局特征进行聚类处理；配置局部特征压缩编码，得到场景特征库。图搜视频方法包括，将待查询图像生成查询图像特征向量；与场景进行相似度比较；将相似度比较结果进行相似度排序。本发明对场景进行关键帧提取，并对场景关键帧进行特征压缩编码得到，基于场景的关键帧特征向量，可有效进行特征压缩，大大缩小了存储空间和大幅度减少了相似度计算量，实现在海量数据中实时检索的功能。

技术领域

本发明涉及视频数据处理技术领域，尤其涉及一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质。

背景技术

随着“平安城市”建设的不断深入，视频安防监控技术的更新换代、新技术的更迭以及未来的发展越来越受到各界的高度重视，视频检索成为当前视频技术发展的主要方面之一，图搜视频解决了当前针对海量视频内容的精准快速检索的硬伤。

以图搜视频的技术包括经典的模式识别、深度学习领域相关技术，其原理是通过经典的模式识别技术和深度学习技术的融合，达到海量视频搜索在精准度、速度上的最佳组合。在互联网安全领域，目前对图像、视频内容的审核，都无法做到自动审核，还很大程度上要依赖人力，通过以图搜视频技术，可以自动审核图片或者视频中包含的内容信息，这就提高了互联网安全领域的图像以及视频内容的过滤和审核效率。类似的应用场景还存在于安防、电视媒体、个人图片以及视频管理应用等诸多领域。

视频的本质就是图像序列，所以以图搜视频，面临的一个最直接的问题就是数据量非常庞大，一秒钟的视频就相当于25-30张图片，因此需要一个非常好的方法来把这些图像序列的特征进行紧凑快速有效的融合，而不是简单的把每帧图片分别进行特征提取然后采用以图搜图的方式实现视频搜索。简而言之，相比较以图搜图，以图搜视频必须要通过视频为单位进行特征提取，才能在实际应用中达到实施的可能，这是相对于以图搜图，以图搜视频的重点和难点。

视频数据可以分为四个层次：视频、场景、镜头和图像帧。视频检索一般分为镜头检索和片段检索。片段概念等价于场景概念，是由一连串语义相关的连续镜头构成，不同的是片段可以是一段完整场景的部分或全部。目前大多是研究集中在镜头检索上。但是从用户的角度来分析，他们对视频的数据库的查询通常会是一个视频片段很少是单个物理镜头。从信息量角度分析，由几个镜头组成的视频片段有比单个镜头更多的语义，它可以表示用户感兴趣的事件，因此，查询的结果也比较有意义。例如在新闻中检索感兴趣的事件、电影中检索喜欢的情节、体育节目中检索喜爱的体育运动、电视台检索某条广告是否播出等。

目前图搜视频存在的问题：

(1)目前的图搜视频，单纯的检索到相似的某一帧或单个镜头不符合用户需求；

(2)海量视频数据在提取的特征量很大，不仅占用较大的存储空间，而且在计算相似度时，大大增加了计算量；

(3)在全局特征提取时，全局特征是基于镜头进行特征提取，在以图搜视频时，需要达到的目的是根据一张图像可以搜索到相似的视频场景。

发明内容

本发明提供一种以视频场景为单位，用图像快速、准确检索相似视频场景功能的基于场景词典树的图搜视频方法，

其中，建立视频场景特征库方法包括：

步骤一，对镜头图像进行分割；

步骤二，提取镜头全局特征；

步骤三，提取镜头图像中的关键帧；

步骤四，提取关键帧的关键帧特征；

步骤五，对全局特征进行聚类处理；

步骤六，配置局部特征压缩编码，得到场景特征库。