[发明专利]一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备

权利要求书

1.一种基于深度学习的视频兴趣区域人脸摘要方法，其特征在于，包括以下步骤：

步骤1：采集百万张亚洲人脸图片训练人脸检测识别模型；

步骤2：对mtcnn_detector人脸检测算法进行改进；

步骤3：利用鼠标选取视频序列图像场景中感兴趣图像；

步骤4：利用步骤2改进的mtcnn_detector算法，完成对步骤3视频序列图像中出现的人脸进行检测，并初始化卡尔曼滤波器；

步骤5：利用facenet人脸识别模型，对步骤4检测到的人脸进行识别；

步骤6：利用二分类算法，判断face net识别的人脸是否是目标人脸；

步骤7：对识别到含有目标人脸的视频图像帧及卡尔曼滤波器预测的人脸位置与二分类判别非目标人脸框重合的图像帧进行视频合成，具体为：改进的mtcnn_detector算法下一帧检测到人脸后，利用facenet对检测到的人脸进行识别，如果facenet计算出的图像帧的特征值与人脸库里面特征值的比值大于阈值，则表明是目标人脸，可直接进行视频合成，如果比值小于阈值则与卡尔曼滤波器预测位置进行重合判断，卡尔曼滤波器以改进的mtcnn_detector算法检测的目标人脸位置为基准，预测下一帧目标人脸位置，若卡尔曼预测位置与mtcnn_detector算法下一帧检测到人脸位置重合，则可进行视频合成。

2.根据权利要求1所述的一种基于深度学习的视频兴趣区域人脸摘要方法，其特征在于，步骤1中所述用于训练模型的人脸图片涵盖多角度、多尺度、多光照变化和背景变化以及较好显著性的特点。

3.根据权利要求1所述的一种基于深度学习的视频兴趣区域人脸摘要方法，其特征在于，步骤2中所述mtcnn_detector算法的改进方法为：结合实际应用对mtcnn_detector算法人脸检测框尺度上限和下限进行动态调节，人脸检测框的下限是待检测图像面积大小的5％，人脸检测框的上限是待检测图像面积大小的90％，通过动态调节可减小检测过程的误检。

4.根据权利要求1所述的一种基于深度学习的视频兴趣区域人脸摘要方法，其特征在于，步骤6中所述二分类算法判断facenet识别的人脸是否是目标人脸的方法为：设定一个阈值，如果facenet计算出的图像帧的特征值与人脸库里面特征值的比值大于阈值，则表明是目标人脸，如果比值小于阈值，则再根据卡尔曼滤波器预测图像帧人脸位置与mtcnn_detector检测框检测到的图像帧人脸位置是否重合进行判断，若重合则证明是目标人脸。

5.根据权利要求1所述的一种基于深度学习的视频兴趣区域人脸摘要方法，其特征在于，步骤7所述阈值设置为0.7。

6.一种存储设备，其特征包括：所述存储设备存储指令及数据用于实现权利要求1～4所述的一种基于深度学习的视频兴趣区域人脸摘要方法。

7.一种基于深度学习的视频兴趣区域人脸摘要设备，其特征在于：包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～4所述的一种基于深度学习的视频兴趣区域人脸摘要方法。