[发明专利]一种基于深层神经网络的视频重点区域确定方法

摘要

本发明公开了一种基于深层神经网络的视频重点区域确定方法，该基于深层神经网络的视频重点区域确定方法具体步骤如下：S1：使用一种端到端的网络模型，确定视频图像中的显著性区域，S2：利用深层神经网络提取的重点区域特征进行自适应特征提取，S3：利用基于多层金字塔的特征提取算法提取到的特征。本发明提供了一种基于深层神经网络的视频质量诊断算法及其在智能安防中的应用，该方法可以有效正确检测视频中重要的参考区域，对视频图像存在的问题进行分类，并能实现自动区分质量问题的严重程度，从而实现视频图像质量的分级告警。

主权项

1.一种基于深层神经网络的视频重点区域确定方法，其特征在于：该基于深层神经网络的视频重点区域确定方法具体步骤如下：S1：使用一种端到端的网络模型，确定视频图像中的显著性区域，(1)区域提取的网络结构包括十二层：五个卷积层、两个池化层、两个dropout层与三个全连接层，输入图片的大小为任意大小，最后两个卷积层后面均分别包含一个池化层与一个dropout层，本网络包括四个输出神经元，分别代表左上角点的坐标与右下角点的坐标；训练样本表示为I＝{I1，I2…，In}，将有效的前景表示为Y＝{Y1，…，Yn}，对于每一个Yi若为前景则表示为1，若为背景则表示为0，通过对样本的标记，将目标区域表示为L＝{L1，..，Ln}，L是一个四维的向量用来表示区域的坐标{x1，y1，x2，y2}，对于每一个样本，都有一个变量ΔL用来调整L的值，因此，区域定位问题转化为最大似然估计：对于定位网络，通过最优化输出与标定的欧氏距离来实现；(2)特征提取的网络利用步骤(1)中输出的坐标位置与最后一个卷积层的参数作为输入，利用感受野与特征值之间的对应关系，提取出重点区域的卷积层参数，得到特征图；将样本输入到显著性区域定位模块得到定位的区域与相应概率，若区域置信度大于0.8则选择显著性区域，反之则取全图；S2：利用深层神经网络提取的重点区域特征进行自适应特征提取，最终得到数据与特征长度均归一化的特征，对于步骤S1中得到的显著区域的特征图，利用三层金字塔的网格结构，由粗到细分别计算出16*256d、4*256d、1*256d的三层特征，将三层特征进行组合，使得任意尺度的特征图都得到归一化大小的特征，组合后的特征经过两个结构相同的全连接层与dropout层的组合，得到最终的特征；S3：利用基于多层金字塔的特征提取算法提取到的特征，通过联合训练网络结构，最终的到质量评判的效果，视频质量评分网络单元包含三个结构相同的全连接层、池化层与dropout层的组合，最后连接一个softmax层输出范围在[0，1]之间的分数，视频质量问题分类网络单元包括两个结构相同的全连接层、池化层与dropout层的组合，最后连接一个softmax层输出视频质量问题所属类别的标签与概率。