[发明专利]一种智能视频会议终端的实时人脸摘要服务的方法及系统

权利要求书

1.一种智能视频会议终端的实时人脸摘要服务的方法，其特征在于，包括：

S1：初始化人脸检测模型、人脸对齐模型、人脸识别模型以及人脸画廊，并进行模型加载和内存分配；

S2：获取视频帧，并对帧图像进行预处理；

S3：利用人脸检测模型对预处理后的帧图像进行人脸检测；

S4：利用人脸检测结果，初始化跟踪器，利用跟踪器对视频帧中的人脸进行人脸跟踪，跟踪捕获人脸的位置信息；

S5：根据人脸检测或人脸跟踪，输出的人脸检测框坐标裁剪出人脸图像块，将人脸图像块输入人脸对齐模型中，得到人脸关键点的坐标，然后采用相似变换将人脸变换到标准人脸图像；

S6：将标准人脸图像输入到人脸识别模型，根据人脸上具有区分度的特征，进行人脸特征映射，得到向量化的人脸特征数据，识别出帧图像中的人脸；

S7：将识别出的人脸图像录入人脸画廊中，并通过人脸优选，更新人脸画廊；

所述人脸优选的方法包括：

根据人脸检测输出的人脸检测框，过滤掉人脸检测框面积小于人脸面积阈值的人脸图像；

根据人脸检测输出的置信度得分，过滤掉置信度得分小于置信度阈值的人脸图像；

根据人脸关键点，计算人脸的姿态得分，过滤掉姿态得分小于姿态得分阈值的人脸图像；

采用灰度差分函数算法，计算人脸图像的清晰度，并过滤掉清晰度低于清晰度阈值的人脸图像；

根据人脸检测框的面积、置信度得分、姿态得分及清晰度，计算人脸质量值，计算方法为：

Q＝10000×Q_c+3×Q_a+Q_f+2×Q_s

式中，Q表示人脸质量值，Q_c表示人脸置信度得分，Q_a表示人脸面积得分；Q_s表示人脸清晰度，Q_f表示人脸姿态角度，其中Q_a＝1-人脸检测框面积/7680；其中人脸姿态得分Q_f，根据检测到的人脸关键点进行计算，具体的计算方法为：

确定第一连线：左眼与左嘴角的连线；

确定第二连线：右眼与右嘴角的连线；

通过鼻尖点的水平线分别与第一连线和第二连线相交，交点分别为第一交点和第二交点，鼻尖点到第一交点的距离为第一距离，鼻尖点到第二交点的距离为第二距离，用第一距离与第二距离中的最小值除以最大值，即得到人脸姿态得分Q_f。

2.根据权利要求1所述的一种智能视频会议终端的实时人脸摘要服务的方法，其特征在于，所述步骤S7中，通过人脸优选，更新人脸画廊时，先判断人脸画廊中是否存在预先录入的人脸图像信息，并根据判断结果，分别执行如下操作：

若人脸画廊中无预先录入的人脸图像信息，则自动录入视频中出现的人脸图像信息，并通过人脸优选，随时间自动更新高质量的人脸图像，并保存所有出现在画廊中的人脸；

若人脸画廊中存在预先录入的人脸图像信息，则标定对应人脸ID名称，并将在视频中出现的但在人脸画廊中未预先录入的人脸图像录入人脸画廊中，然后通过人脸优选不断更新画廊中的人脸图像。

3.根据权利要求1所述的一种智能视频会议终端的实时人脸摘要服务的方法，其特征在于，所述步骤S7中，对人脸画廊进行更新的具体方法为：

对人脸的相似度进行判断，若当前帧图像中的人脸与之前已录入人脸画廊的人脸相似度高于给定阈值，判定此人脸已出现过，然后计算出当前人脸图像的质量值，若高于画廊内的人脸的质量值，则进行出现在画廊中的人脸的更新替换；

若当前帧图像中的人脸与之前已录入人脸画廊的相似度低于给定阈值，则判定有新的人员进入，先通过人脸优选过滤掉一些不满足画廊录入要求的人脸图像，将满足要求的人脸图像加入到人脸画廊；

若视频帧中人脸被录入人脸画廊中后，某些人脸图像从视频帧中消失，超过时间阈值未再次出现在视频中，则删除人脸画廊中对应的人脸图像。

4.根据权利要求1所述的一种智能视频会议终端的实时人脸摘要服务的方法，其特征在于，所述步骤S4中，采用单目标跟踪方案，跟踪器初始化时，为检测到的每个人脸检测框初始化一个跟踪器，并且在跟踪周期内，由跟踪器输出当前帧中人脸的检测框坐标。