[发明专利]一种连续帧视频流的人脸关键点跟踪方法和系统

说明书

本发明公开了一种连续帧视频流的人脸关键点跟踪方法和系统，将人脸图片送入参数模型，获取原始人脸关键点；对原始人脸关键点进行平滑处理并替换原有坐标点，得到初步稳定人脸关键点；对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。本发明实现简单，适用性广，能够有效确保人脸关键点在连续的视频流上稳定的、实时的展示出来，提升人机交互体验。

技术领域

本发明涉及图像处理领域，特别是指一种连续帧视频流的人脸关键点跟踪方法和系统。

背景技术

人脸关键点包括眼睛、眉毛、鼻子、嘴巴和脸部轮廓等关键部位在人脸图片上的坐标表示。人脸关键点跟踪技术应用于人机交互下的各种表情传递场景，对研究数字图像和人机交互领域具有重大的意义，比如虚拟表情录制、实时虚拟人物互动都依赖人脸关键点跟踪技术。

人脸关键点由参数模型对人脸图像进行分析、计算后得到的一个坐标点集，而在流式视频帧中获取的一系列人脸关键点，很容易受参数模型、人脸运动、人脸所在环境的影响，导致把人脸关键点直接套用在虚拟表情时会表现出抖动的视觉效果，严重影响人机交互的体验。

发明内容

本发明提出一种连续帧视频流的人脸关键点跟踪方法和系统，解决了现有技术中参数模型计算分析出来的人脸关键点会存在不确定的偏差，把直接得到的人脸关键点驱动虚拟表情时，虚拟表情在视觉上会表现出抖动的效果，导致人机交互体验很差的问题。

本发明的技术方案是这样实现的：

一种连续帧视频流的人脸关键点跟踪方法，包括以下步骤：

S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；

S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；

S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正；

所述步骤S2具体包括以下步骤：

S21，直接输出第一帧人脸图片的人脸关键点P₁，获取视频流第t帧人脸图片的人脸关键点P_t，前、后帧人脸图片的人脸关键点P_t-1、P_t+1；t为大于1的整数；

S22，分别以P_t-1、P_t、P_t+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Q_t，使用Q_t以替换的方式更新P_t并输出；

S23，重复步骤S22，直至视频流结束；

所述步骤S3具体包括以下步骤：

S31，基于Lukas-Kanade跟踪算法，对P_t-1在视频流上的帧M_t-1到M_t的方向上进行跟踪预测，得到人脸关键点P_a和每个跟踪点的状态信息S_a；

S32，将人脸关键点细分为各个独立的部位，根据跟踪状态信息S_a确定跟踪的有效人脸关键点，计算每个部位从P_t-1到P_a上的每个有效人脸关键点在x方向距离和s_x、在y方向距离和s_y，得到每个部位的平均距离差C；