[发明专利]一种基于视频编码技术的人脸检测加速方法

权利要求书

1.一种基于视频编码技术的人脸检测加速方法，其特征在于，包括以下步骤：

步骤A、确定人脸检测的关键帧DI帧和参考帧DP帧；

步骤B、对于DI帧，进行常规流程的人脸检测；

步骤C、对于DP帧，根据预测信息进行快速人脸检测，其重点在于消除人脸检测图像中的冗余信息和人脸检测过程中的冗余步骤；

步骤D、对人脸检测结果进行跟踪，以提供DP帧所需的预测信息；

快速人脸检测方法包括：

C1:根据跟踪链表中下一帧人脸的预测位置和预测大小计算当前待检测的视频帧中单个人脸的局部ROI区域和所有人脸的整体ROI区域；

C2: 根据跟踪链表中下一帧人脸的预测大小计算当前待检测的视频帧中单个人脸的检测尺寸范围和所有人脸的总体检测尺寸范围；

C3: 若所有人脸的局部ROI区域面积之和小于整体的人脸ROI区域面积，则使用单个人脸的局部ROI区域和单个人脸的检测尺寸范围进行人脸加速；反正，使用人脸的整体ROI区域和总体的检测尺寸范围进行人脸加速；

C4：对于级联的人脸检测方法，利用跟踪链表中下一帧人脸的预测位置和神经网络的边框回归能力，直接在当前待检测视频帧上将预测人脸框所在位置上的图像数据作为最后一级网络的输入，去掉前面候选人脸框检测网络调用过程；

C5:对于多尺度输入的人脸检测方法，利用人脸的检测尺度范围，去掉最大最小人脸范围之外的图像尺度输入；

C6：对于单步的人脸检测方法，利用人脸检测尺度范围中的最小人脸大小将输入的视频帧图像缩小到适当范围再进行检测；

C7：对于所有的人脸检测方法，仅将人脸检测ROI区域内的图像数据作为人脸检测网络的输入，去掉无关的图像数据；

C8：针对具体的人脸检测网络，根据实际情况综合使用上述方法，实现对人脸图像中的有效信息进行特定区域、特定尺度、特定步骤的人脸检测；

在步骤C1和步骤C2中，还包括：

计算的人脸ROI区域和人脸大小范围都有一个预留的调节因子，以防止预测结果出现偏差导致人脸实际位置和大小超出了预测范围；

步骤C1中的人脸的整体ROI区域是所有单个人脸的局部ROI区域取并集的结果；

步骤C2中人脸的总体检测尺寸范围是所有单个人脸的检测尺寸范围取最大值、最小值的结果；

在步骤C4中还包括：判断是否每一个人脸预测位置上的待检测视频帧数据在经过最后一级网络以后都能得到一个置信度超过一定阈值的人脸检测结果，如果没有检测到人脸或者检测到的人脸置信度过低，则针对此人脸的局部ROI区域和检测尺寸范围重新进行上述步骤C5到步骤C8中的快速人脸检测流程；

在步骤C7之后还包括：对所有人脸检测结果中的人脸框需要补偿上ROI区域相对于原始视频帧图像的偏移量；

步骤D还包括：

D1:将人脸检测结果中的人脸框作为人脸跟踪的输入；

D2:建立跟踪链表，跟踪链表中包含了人脸跟踪ID，人脸框轨迹信息、人脸预测位移、人脸大小变化率、下一帧人脸预测位置、下一帧人脸预测大小的信息；

D3:根据最近t帧的人脸框轨迹信息预测跟踪链表中人脸框在当前帧中的位置；

D4:将预测的人脸位置和检测到的实际人脸位置两两计算相交面积，建立二维相交矩阵，循环遍历相交矩阵，建立一对一匹配关系；

其中，相交面积可以为负数，表示实际不相交但是相隔不远的预测人脸位置和实际人脸位置仍然可以正常匹配；

D5:根据匹配状态更新跟踪链表中的人脸框轨迹信息、人脸预测位移、人脸大小变化率、下一帧人脸预测位置、下一帧人脸预测大小的信息；

D6:相交矩阵中对应跟踪链表中未匹配的人脸，认为是跟踪丢失，直接从跟踪链表中删除；相交矩阵中对应实际检测未匹配的人脸，认为出现了新的人脸，添加到跟踪链表中；

D7:根据更新的跟踪链表计算人脸在下一帧中的预测位置和大小：

下一帧人脸的预测位置=当前帧人脸的实际位置+人脸预测位移；

下一帧人脸的预测大小=当前帧人脸的大小人脸大小变化率。

2.根据权利要求1所述的一种基于视频编码技术的人脸检测加速方法，其特征在于：在步骤A中，确定关键帧和参考帧的方法为：

在人脸检测初始化和每隔一段时间或帧数，定义一个视频帧为关键帧，其他的视频帧则定义为参考帧。

3.根据权利要求1所述的一种基于视频编码技术的人脸检测加速方法，其特征在于：在步骤B中，常规流程人脸检测指的是输入固定尺寸大小的视频帧，在整个视频图像上、覆盖所有人脸检测尺度，执行完整的人脸检测流程。