[发明专利]一种面向视频的视觉特征编码方法及装置

说明书

技术领域

本发明涉及计算机技术，具体涉及一种面向视频的视觉特征编码方法及装置。

背景技术

当前，随着智能终端的普及，通过终端摄像头实时捕捉视频流，并进行实时的分析和挖掘的应用越来越多。即，如何在海量的图像视频中挖掘出用户需要的视频/图像信息成为研究热点。

当前技术中，基于智能终端的实时视频流分析方法有两种方案。

第一种方案为：在移动终端侧直接发送经过编码后的视频流到服务器，服务器收到视频流后会进行解码和视觉分析。该方案的缺陷是：为保证视频质量可用于视觉分析，视频编码的压缩率较低，最终带来很大的带宽消耗。

第二种方案为：移动终端对视频流的帧序列依次提取的全局视觉特征，然后将每帧的全局视觉特征按顺序发送到服务端进行视觉分析。该方案在提取全局视觉特征的过程中使用特征降维和量化处理的过程以获得较低的比特率，但在一定程度上影响视觉分析；除此之外，第二种方案没有考虑帧间全局特征在时域上的相关性，因此，在特征数据流上存在冗余，导致客户端传送的数据量非常大，且传输延迟。

发明内容

针对现有技术中的缺陷，本发明提供了一种面向视频的视觉特征编码方法及装置，能够在客户端传输数据时快速压缩传输的特征数据，降低传输数据量。

第一方面，本发明提供一种面向视频的视觉特征编码方法，包括：

获取视频流中当前帧的全局特征；

根据所述视频流中当前帧相邻帧的全局特征，确定当前帧的全局特征是否有参考全局特征；

如果有，则根据当前帧的参考全局特征的子向量，获取所述当前帧的全局特征对应的参考子向量；

根据所述视频流中无参考全局特征的帧的全局特征的子向量，和有参考全局特征的帧的全局特征的子向量及对应的参考子向量，对所述视频流中各帧的全局特征进行编码，获取所述视频流的待发送的全局特征比特流。

可选地，所述根据所述视频流中当前帧相邻帧的全局特征，确定当前帧的全局特征是否有参考全局特征，包括：获取当前帧的全局特征与相邻的P帧中每一帧的全局特征的相似度，P为大于等于1的自然数；

如果有至少一个相似度大于等于预设阈值，则选择最高相似度对应的全局特征作为当前帧的参考全局特征；

如果所有相似度都小于预设阈值，则确定当前帧无参考全局特征。

可选地，所述根据当前帧的参考全局特征的子向量，获取所述当前帧的全局特征对应的参考子向量，包括：

根据当前帧的全局特征的生成规则，确定当前帧的全局特征的子向量；

根据参考全局特征的生成规则，确定参考全局特征的子向量；

根据所述当前帧的全局特征的子向量和所述参考全局特征的子向量，确定所述全局特征在所述参考全局特征中对应的参考子向量。

可选地，所述全局特征比特流包括：头部区域；

所述头部区域包括：是否使用参考全局特征的信息，所述参考全局特征的索引信息、标示组成全局特征的概率密度函数使用信息、标示累积梯度向量的类别数信息、和标示子向量的编码方式的信息；

或者，

所述全局特征比特流包括：头部区域和非头部区域；

所述头部区域包括：是否使用参考全局特征的信息，所述参考全局特征的索引信息、标示组成全局特征的概率密度函数使用信息、标示累积梯度向量的类别数信息、和标示子向量的编码方式的信息、和/或编码方式对应的量化参数信息；

所述非头部区域包括：编码后的无参考全局特征的帧的全局特征对应的子向量，和/或，编码后的有参考全局特征的帧的子向量与参考子向量的残差。

可选地，根据所述视频流中无参考全局特征的帧的全局特征的子向量，和有参考全局特征的帧的全局特征的子向量及对应的参考子向量，对所述视频流中各帧的全局特征进行编码，获取所述视频流的待发送的全局特征比特流，包括：

对所述视频流中无参考全局特征的帧的全局特征的子向量和当前全局特征中无参考子向量的子向量采用第一预设编码方式进行编码，获取第一比特流；

获取有参考全局特征的帧的全局特征的子向量与所述参考全局特征的参考子向量的残差；

对所述残差采用第二预设编码方式进行编码，获取第二比特流；

所述第一比特流和所述第二比特流组成所述视频流的待发送的全局特征比特流；

所述全局特征比特流的头部区域由二值码组成，非头部区域包括：采用第一预设编码方式编码的子向量，和采用第二预设编码方式编码的残差；

或者，