[发明专利]一种面向视频的视觉特征编码方法及装置

说明书

技术领域

本发明涉及计算机技术，具体涉及一种面向视频的视觉特征编码方法及装置。

背景技术

当前，随着智能终端的普及，通过终端摄像头实时捕捉视频流，并进行实时的分析和挖掘的应用越来越多。即，如何在海量的图像视频中挖掘出用户需要的视频/图像信息成为研究热点。

当前技术中，基于智能终端的实时视频流分析方法有两种。

第一种为：在移动终端侧直接发送经过编码后的视频流到服务器，服务器收到视频流会后进行解码和视觉分析。该方案的缺陷是：为保证视频质量可用于视觉分析，视频编码的压缩率较低、码流大，最终带来很大的带宽消耗。

第二种为：移动终端对视频流的帧序列依次提取每一帧的至少一个局部视觉特征，然后将每帧的局部视觉特征按顺序发送到服务器进行视觉分析。该方案在提取局部视觉特征的过程中使用特征降维和量化处理的过程以获得较低的比特率，但在一定程度上影响视觉分析，不能支持更多的视觉分析任务；除此之外，第二种方案没有考虑帧间局部视觉特征在时域上的相关性，因此，在特征数据流上存在冗余，导致客户端传送的数据量非常大，且传输延迟，无法实现对视觉分析任务的实时里处理的要求。

发明内容

针对现有技术中的缺陷，本发明提供了一种面向视频的视觉特征编码方法及装置，能够在客户端传输数据时快速压缩传输的特征数据，降低传输数据量。

第一方面，本发明提供一种面向视频的视觉特征编码方法，包括：

获取视频流中当前帧的局部特征；

确定所述当前帧的局部特征在当前帧的参考帧中的参考局部特征范围，所述当前帧的参考帧为该当前帧的相邻一帧或多帧；

根据所述参考帧的参考局部特征范围，确定所述当前帧的局部特征在所述参考帧中的参考局部特征；

根据所述视频流中各帧的局部特征和参考局部特征，获取所述视频流的待发送的局部特征比特流。

可选地，确定所述当前帧的局部特征在当前帧的参考帧中的参考局部特征范围，包括：

选择当前帧相邻的一帧或者多帧中的任一帧作为参考帧；

所述参考局部特征范围是整个参考帧的所有的局部特征；

或者，

选择当前帧相邻的一帧或者多帧中的任一帧作为参考帧；

所述参考局部特征范围是参考帧中的局部特征的子集，所有子集中的局部特征与当前帧的局部特征的度量距离小于或者等于预设度量距离。

可选地，根据所述参考帧的参考局部特征范围，确定所述当前帧的局部特征在所述参考帧中的参考局部特征，包括：

获取当前帧的每一个局部特征与参考帧中参考局部特征范围的局部特征的匹配相似度；

将当前帧的每一个局部特征对应的匹配相似度与预设阈值范围进行比较；

如果当前帧的某一个局部特征对应的所有匹配相似度不满足预设阈值范围，则确定当前帧的该局部特征无参考局部特征；

如果当前帧的某一个局部特征对应的所有匹配相似度中满足预设阈值范围的匹配相似度有两个或两个以上，则两个或两个以上的匹配相似度中选择与当前帧的时间点最近的参考帧中最满足匹配相似度的局部特征作为当前帧局部特征的参考局部特征。

可选地，所述局部特征比特流包括：

头部区域和非头部区域；

所述头部区域包括：是否使用参考局部特征的信息，记录参考帧和该参考帧对应的参考局部特征范围的信息，标示局部特征的数目的信息，标示局部特征的参考索引信息的信息，以及标示量化参数的信息；

所述非头部区域包括：每一帧中编码后的无参考局部特征的局部特征，以及编码后的有参考局部特征的局部特征与参考局部特征的残差。

可选地，根据所述视频流中各帧的局部特征和参考局部特征，获取所述视频流的待发送的局部特征比特流，包括：

对每一帧中编码后的无参考局部特征的局部特征采用第一预设编码方式进行编码，获取第一比特流；

获取有参考局部特征的局部特征与参考局部特征的残差；

对所述残差采用第二预设编码方式进行编码，获取第二比特流；

所述第一比特流和所述第二比特流组成所述视频流的待发送的局部特征比特流；

所述局部特征比特流的头部区域由二值码组成，非头部区域包括：采用第一预设编码方式编码的局部特征，和采用第二预设编码方式编码的残差。

可选地，所述方法还包括：

将所述视频流的待发送的局部特征比特流发送服务器，以使服务器基于所述局部特征比特流获取所述视频流中各帧的局部特征。