[发明专利]一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备

说明书

本发明公开了一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备，包括以下步骤：采集百万张多角度、多尺度、多光照变化和背景变化，图片显著性比较好的亚洲人脸图片训练检测识别模型；对mtcnn_detector人脸检测算法进行改进；利用改进的mtcnn_detector算法，完成对视频序列图像人脸的检测；利用改进的mtcnn_detector算法，初始化卡尔曼滤波器；利用facenet人脸识别算法，对检测的人脸进行识别；利用二分类算法，判断facenet识别的人脸是否是目标人脸；对卡尔曼滤波器预测位置和二分类判别非目标人脸框的位置进行重合比较；对facenet识别到含有目标人脸的视频图像帧及卡尔曼滤波器预测位置与二分类判别非目标人脸框重合进行视频合成。

技术领域

本发明涉及本人工智能领域，更具体地说，涉及一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备。

背景技术

深度学习是人工智能的重要研究方向，深度学习在图像识别和视频分析领域得到广泛应用，使得识别分析精度得到了较大提升。以深度学习为基础，将基于深度学习的人脸识别算法应用到对兴趣区域视频摘要。

近年，对人脸检索与摘要算法的研究，取得许多成果。专利文献1(CN106682094A)，提出了一种人脸视频检索方法和系统，该方法通过非压缩域的信息确定关键帧的搜索区域,然后通过压缩域的运动与预测信息,获取跟踪搜索区域,从而较少视频搜索的数据量和运算量,提升视频搜索的时效性，该方法还针对人脸检索的特点,通过缩小搜索区域,减少计算量，通过预处理,提升搜索的准确率。专利文献2(CN204102129U)，设计了一种用于视频中人脸检索的装置，该装置包括预处理模块、人脸检测模块、人脸提取模块、人脸识别模块、人脸索引关联模块分别与系统总线模块连接；系统总线模块再与数据接口模块连接,数据接口模块与显示模块连接；提供的一种用于视频中人脸检索的装置,可改善海量视频监控数据下,快速准确地对带有特定人脸信息的目标视频进行浏览和回放的问题。减轻了工作人员的工作量,减少操作时间,提高了工作效率。专利文献3(CN104731964A)，提出了一种基于人脸识别的人脸摘要方法,包括生成出现在原始视频中的不同人的人脸图像,并形成出现的人脸图像列表,包括对原始视频中的图像帧进行扫描,获得视频帧中是否存在人脸区域的人脸检测、人脸特征提取、人脸特征聚类和人脸摘要图像生成等步骤。

但是，上述专利文献1，专利文献2和专利文献3中公开的人脸视频检索方法和系统尚未涉及角度和场景变化的情况下表现较好的基于深度学习人脸检测及识别算法。专利文献1(CN106682094A)提出的人脸视频检索方法和专利文献2(CN204102129U)设计的视频人脸检索装置的人脸部分都使用传统的人脸检测算法，传统的人脸检测算法对场景多变、角度多变和尺度多变的人脸的检测适应性较差；专利文献3(CN104731964A)，提出一种基于人脸识别的人脸摘要方法，其人脸识别算法的识别精度也受场景及目标特征影响。本发明是鉴于上述不足而做出的，目的在于提供一种基于深度学习的视频兴趣区域人脸摘要方法，通过深度学习人脸检测和识别算法对场景多变、角度多变和尺度多变的视频图像内的人脸进行逐帧快速识别，保存识别的目标帧，形成一段浓缩视频，从而完成对关键帧的检索和视频浓缩。

发明内容

有鉴于此，本发明提供了一种涉及角度和场景变化的情况下表现较好的基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备。

本发明提供一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备，包括以下步骤：

步骤1：采集百万张亚洲人脸图片训练人脸检测识别模型；

步骤2：对mtcnn_detector人脸检测算法进行改进；

步骤3：利用鼠标选取视频序列图像场景中感兴趣图像；

步骤4：利用步骤2改进的mtcnn_detector算法，完成对步骤3视频序列图像中出现的人脸进行检测，并初始化卡尔曼滤波器；