[发明专利]一种基于面部特征的人机交互设备及系统

权利要求书

1.一种基于面部特征的人机交互设备，其特征在于，包括：图像采集装置、处理器和显示屏，所述图像采集装置和所述显示屏分别与所述处理器相连；

所述显示屏用于播放预设视频；

所述图像采集装置用于在所述显示屏播放所述预设视频时，连续采集用户图像，并将所述用户图像发送至所述处理器；

所述处理器用于依次提取出每个所述用户图像中的用户人脸图像；提取每个所述用户人脸图像中的面部特征信息；根据多个所述用户人脸图像的面部特征信息的变化值以及采集到所述用户人脸图像之间的时间间隔确定用户的位姿变化信息，所述位姿变化信息包括角度变化值和角速度变化值；根据所述位姿变化信息生成相应的控制指令，根据所述控制指令对所述预设视频执行相应的控制操作，并将控制操作后的预设视频发送时作数显示屏；

所述显示屏还用于播放控制操作后的预设视频。

2.根据权利要求1所述的设备，其特征在于，所述处理器提取每个所述用户人脸图像中的面部特征信息，包括：

提取所述用户人脸图像中的特征点，依次将所述特征点邻域内预设大小的图片与训练好的人脸五官滤波器进行相似性检测；

基于相机内参设置统一的坐标系，确定通过相似性检测的特征点在所述坐标系下的坐标值，所述坐标值为所述面部特征信息中的一项信息。

3.根据权利要求1所述的设备，其特征在于，所述面部特征信息包括特征点的坐标值，所述处理器确定用户的位姿变化信息包括：

预先从用户的特征点中选取至少四个标准特征点S_a,S_b,S_c,S_d；其中，在标准人脸图像中，所述标准特征点S_a与S_b之间的线段与所述标准特征点S_c与S_d之间的线段之间的夹角与90度之间的差值小于预设值；

确定所述面部特征信息中与四个所述标准特征点分别对应的四个特征点f_a,f_b,f_c,f_d，依次确定每个所述用户人脸图像中特征点f_a与f_b之间的距离、特征点f_c与f_d之间的距离，并确定特征点f_a与f_b之间的最大距离值特征点f_c与f_d之间的最大距离值

确定所述用户人脸图像对应的第一角度和第二角度：

其中，i∈[1,n]，n为所述用户人脸图像的数量，Y_i表示第i个用户人脸图像的第一角度，P_i表示第i个用户人脸图像的第二角度，表示在第i个用户人脸图像中特征点f_a与f_b之间的距离，表示在第i个用户人脸图像中特征点f_c与f_d之间的距离；

确定第i个与第j个用户人脸图像之间的第一角度变化值ΔY、第二角度变化值ΔP、第一角速度变化值Δω_Y、第二角速度变化值Δω_P：

ΔY＝Y_i-Y_j，ΔP＝P_i-P_j，其中，Δt_ij表示采集到第i个用户人脸图像与第j个用户人脸图像之间的时间间隔；

确定第i个与第j个用户人脸图像之间的第一角度变化方向和第二角度变化方向

其中，四个特征点f_a,f_b,f_c,f_d在第i个用户人脸图像中的坐标分别为(xi_a,yi_a)、(xi_b,yi_b)、(xi_c,yi_c)、(xi_d,yi_d)；特征点f_a,f_b,f_c,f_d在第j个用户人脸图像中的坐标分别为(xj_a,yj_a)、(xj_b,j_b)、(xj_c,yj_c)、(xj_d,yj_d)。