[发明专利]基于嘴部关键位置特征检测实现免语音唤醒的系统及方法

权利要求书

1.基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，包括人脸检测模块、人脸跟踪模块、嘴部关键点位检测模块、嘴部关键点位置特征检测模块；其中，所述人脸检测模块与人脸跟踪模块相连，人脸跟踪模块与嘴部关键点位检测模块相连，嘴部关键点位检测模块与嘴部关键点位置特征检测模块相连；

所述人脸检测模块用于实现人脸检测，人脸跟踪模块用于在人脸检测模块检测到人脸后实现人脸的实时跟踪，嘴部关键点位检测模块用于在人脸跟踪模块实时跟踪人脸的同时对人脸关键点位进行检测，并将检测到的人脸关键点位传递至嘴部关键点位置特征检测模块进行识别嘴部动作是否为开机唤醒动作。

2.根据权利要求1所述的基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，所述人脸检测模块采用多任务深度级联检测网络MTCNN检测算法进行人脸检测。

3.根据权利要求1所述的基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，所述人脸跟踪模块具体采用目标跟踪算法KCF跟踪算法实现人脸的实时跟踪。

4.根据权利要求1所述的基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，所述嘴部关键点位检测模块具体采用多任务级联人脸关键点检测网络检测算法DAN算法对人脸关键点位进行检测。

5.根据权利要求4所述的基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，所述嘴部关键点位检测模块对人脸关键点位进行检测后，具体是将检测到的人脸嘴部关键点相对位置变化特征存储为嘴部关键点特征矩阵，并将嘴部关键点特征矩阵送入嘴部关键点位置特征检测模块进行检测。

6.根据权利要求5所述的基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，所述嘴部关键点位置特征检测模块内设有循环卷积网络对收到的嘴部关键点特征矩阵进行识别。

7.根据权利要求6所述的基于嘴部关键位置特征检测实现免语音唤醒的系统，其特征在于，所述循环卷积网络为具有记忆功能的循环卷积检测网络RNN网络。

8.基于嘴部关键位置特征检测实现免语音唤醒的方法，其特征在于，由权利要求1所述的基于嘴部关键位置特征检测实现免语音唤醒的系统实现，具体包括以下步骤：

A.由人脸检测模块检测图像中是否存在人脸，当存在人脸时，人脸跟踪模块对人脸进行实时跟踪，嘴部关键点位检测模块检测嘴部的关键点，通过关键点间的相对位置判断，检测人是否正在说话；

B.在判定正在说话时以15fps的采样率，嘴部关键点位检测模块获取说话开始后m秒内的图像数据，并对采样的图像数据实时获取说话时嘴部关键点的位置特征，并将该特征送入嘴部关键点位置特征检测模块进行识别；

C.根据嘴部关键点位置特征检测模块识别的结果，判断是否在进行设备唤醒操作，从而实现设备的免语音唤醒。

9.根据权利要求8所述的基于嘴部关键位置特征检测实现免语音唤醒的方法，其特征在于，所述步骤A具体为：

A1.人脸检测模块利用MTCNN检测算法检测图像中的是否存在人脸；

A2.人脸跟踪模块采用KCF跟踪算法实现人脸的实时跟踪及采样，并将采样图像传入嘴部关键点位检测模块，其中，采样频率15fps；

A3.嘴部关键点位检测模块采用DAN算法对收到的图像进行嘴部关键点位及人脸关键点检测，并通过检测到的人脸关键点对人脸进行对齐，并通过人脸关键点对齐人脸后，提取嘴部关键点的位置特征；

A4.嘴部关键点位检测模块通过嘴部关键点间的相对位置特征，判断人是否在说话。

10.根据权利要求9所述的基于嘴部关键位置特征检测实现免语音唤醒的方法，其特征在于，所述步骤B中m取值为3；所述嘴部关键点位置特征检测模块内采用具有记忆功能的循环卷积检测网络RNN网络对收到的嘴部关键点位置特征进行识别，识别嘴部动作是否为开机唤醒动作，并仅在识别结果为开机唤醒动作时才唤醒设备。