[发明专利]一种视频感兴趣区域的提取方法和系统

说明书

本发明提供一种视频感兴趣区域的提取方法。对原始图像进行下采样，得到多通道低分辨率图像(步骤S1)。利用训练的卷积神经网络，从多通道低分辨率图像提取特征，得到多维初始特征图(步骤S2)。利用经过训练的卷积神经网络，对多维初始特征图进行特征提取和下采样得到分辨率呈比例缩小第一特征图至第n特征图(步骤S3)。将第一特征图至第n特征图的分辨率对齐后融合，得到融合特征图(步骤S4)。利用卷积层将融合特征图展开成一维向量，通过全连接层分类，得到矩形区域的坐标、长宽和概率值(步骤S5)。将概率值由大到小排序，选取规定个数概率值大的矩形区域作为识别的感兴趣区域ROI(步骤S6)。

技术领域

本发明涉及图像中感兴趣区域的识别，尤其涉及视频感兴趣区域的识别方法和系统。

背景技术

随着视频编码技术以及网络传输的快速发展，超高清、高动态范围、高色域以及高流畅度的视频观看体验，对于编码性能与质量提出了更高需求。

由于终端呈现的视频画面信息量较以往更加庞大，观众会更倾向于人眼更敏感的平坦低频区域，或者是场景中更吸引“眼球”的区域，如电视剧、舞台晚会中的人脸表情、滚动的标识字幕以及电视台台标等元素；而对于时空域尺度内变化剧烈的场景，如高速运动的物体，纹理复杂的装饰，人眼往往都会“忽略”，所以对图像内容的准确理解将会是编码过程中提升质量、均衡码率分配的重要环节。

感知编码能够针对特定区域进行压缩和解压缩。其基于人眼视觉系统的特性，对不同视频信号失真的敏感程度不同，结合率失真模型消除视频压缩过程中的时空域冗余信息。目前普遍使用的率失真代价模型中包括了对视频信号失真度和压缩后比特数的衡量，即RDO率失真优化：

其中，RD代表率失真代价值(Rate Distortion)，它包括了将所有编码单元LCU的原始像素f与经预测重建后的像素值f_r之间的差值累加和，以及所消耗比特数R经拉格朗日因子λ作用后的权重。遍历预测方法、划分过程以及量化参数等编码工具时，比较不同工具组合的RD值，选择其中令该代价值最小的工具组合。尽管该模型能够较为全面地考虑了码率和失真程度对重建图像质量的影响，但与人眼主观体验的相关性较差。

基于空域纹理特征、时域运动的显著性计算对编码视频进行前处理，需要在压缩开始前获取重点关注区域位置，无法在视频播出时进行实时处理。

分析视频中观众感兴趣的区域，在编码时有针对性的分配码率，提升感兴趣区域的图像质量、对提高视频的观看效果有重要的意义。基于纹理特征、运动特征检测感兴趣区域，需要分析视频帧中的纹理特征和运动特征，对于同一视频帧中有人脸、台标、字幕等纹理特征、运动特征不相同的局部区域进行识别时，存在识别率低的问题，容易发生误检，而直接影响图像的编码效果，造成图像主观质量的急剧下降。

本发明的第一目的在于提供提出一种视频感兴趣区域的提取方法和系统，解决对视频帧中纹理特征、运动特征等不相同的局部区域进行识别时识别率低的问题。

第二目的在于提高对不同尺度的特征的提取能力。

第三目的在于提供适合视频编码用的感兴趣区域信息。

发明内容

为了解决上述问题，本发明的第一技术方案为一种视频感兴趣区域的提取系统，其特征在于包括，采样模块(1)、初始特征提取模块(2)、多阶段特征提取·下采样模块(3)、融合特征图生成模块(4)、检测模块(5)、输出模块(6)。

所述采样模块(1)，逐帧输入视频的原始图像，对所述原始图像进行下采样，得到低分辨率多通道图像；所述初始特征提取模块(2)由卷积神经网络构成，对输入的低分辨率多通道图像进行特征提取，得到多维初始特征图。

所述多阶段特征提取·下采样模块(3)，由多个串联的卷积神经网络构成，对输入的所述多维初始特征图多阶段地提取特征和下采样，得到分辨率逐渐降低的第一至第n特征图。