[发明专利]基于人脸识别的人脸摘要方法、视频摘要方法及其装置

权利要求书

1.一种基于人脸识别的人脸摘要方法，其特征在于包括生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表。

2.一种基于人脸识别的人脸摘要方法，其特征在于生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表，包括

步骤一，人脸检测

人脸检测是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸特征提取的输入数据；

步骤二，人脸特征提取

人脸特征提取是对人脸图像进行图像特征提取，提取人脸特征首先需要对图像中的人脸的特征点进行对齐，对齐后的人脸图像再进行特征提取；

步骤三，人脸特征聚类

对检测到的视频帧中的人脸图像进行人脸特征聚类，使每个类表示了每个人的所有人脸图像；

步骤四，人脸摘要图像生成。

最后输出每个聚类的聚类中心对应的人脸图像作为输入视频得到的人脸摘要图像。

3.根据权利要求2所述的基于人脸识别的人脸摘要方法，其特征在于所述的人脸的特征点为眼角和嘴角之一种或几种。

4.根据权利要求2所述的基于人脸识别的人脸摘要方法，其特征在于所述的人脸特征提取方法为人脸区域LBP特征和深度神经网络DeepFace特征之一种或几种。

5.根据权利要求2所述的基于人脸识别的人脸摘要方法，其特征在于所述的聚类采用层次聚类算法和Meanshift算法之一种或几种。

6.一种用于实施权利要求1-5之一所述的基于人脸识别的人脸摘要方法的装置，其特征在于包括

视频数据库、视频数据接口模块、人脸检测模块、人脸特征提取与聚类模块、人脸摘要图像生成与存储模块以及用户接口模块；其中，

所述的视频数据接口模块对所述的视频数据库进行读取和解码，为所述的人脸检测模块提供一帧帧的图像数据，所述的人脸检测模块获取每帧图像中的人脸区域，输入到所述的人脸特征提取与聚类模块，所述的人脸特征提取与聚类模块对所有人脸检测模块输入的所有人脸图像进行特征提取和聚类，将大量的序列的人脸图像聚类划分成满足各类内相似度的子类别，使得每个聚类子类近似对应于单个的人脸，所述的人脸摘要图像生成与存储模块对所述的人脸特征提取与聚类模块生成的各个聚类子类别提取代表性的人脸图像，生成人脸摘要图像，并和原始视频信息进行关联存储，用户接口模块为外部系统提供快速查询给定视频的人脸摘要图像的接口。

7.一种基于人脸识别的视频摘要方法，其特征在于包括

步骤一，人脸检测

是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸跟踪的输入数据；

步骤二，人脸跟踪

人脸跟踪一方面是对人脸检测的结果进行平滑滤波，并作为轨迹生成提供输入数据；

步骤三，人脸轨迹生成

轨迹生成是对人脸跟踪的结果进行整理和索引，通过索引和记录每个跟踪得到的单个人脸的区域轨迹，得到一个个人脸目标的运动轨迹。

步骤四，摘要合成

对人脸轨迹所在的视频片段进行合成，即将不同的轨迹中的目标进行前景叠加，生成摘要视频。

8.根据权利要求7所述的基于人脸识别的视频摘要方法，其特征在于所述的人脸轨迹包含了该人脸运动的坐标位置、人脸区域和人脸出现的时间段信息。

9.一种用于实施权利要求7或8所述的基于人脸识别的视频摘要方法的装置，其特征在于包括视频数据库、视频数据接口模块、人脸检测与跟踪模块、轨迹生成与存储模块、摘要合成模块和用户接口模块；其中，

所述的视频数据接口模块对所述的视频数据库进行读取和解码，为人脸检测与跟踪模块提供一帧帧的图像数据，所述的人脸检测与跟踪模块获取每帧图像中的人脸区域，输入到轨迹生成与存储模块，所述的轨迹生成与存储模块根据人脸检测与跟踪模块提供的人脸跟踪信息，生成一个个的人脸目标轨迹，并对其进行索引和存储，所述的摘要合成模块根据用户接口模块的输入条件，生成满足输入条件的索引合成的摘要视频。