[发明专利]基于人脸识别技术追踪用户的注意力方法和装置

权利要求书

1.一种追踪用户注意力的方法，其特征在于，包括：

通过摄像头获取包含用户人脸的画面；

从所述画面中识别出用户的人脸信息；

提取所述用户人脸信息的特征点；

根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；

基于所述相对位置和朝向确定用户注意力所在区域。

2.根据权利要求1所述的方法，其特征在于，预先确定所述摄像头与一屏幕的相对位置，其中所述基于所述人脸朝向确定用户注意力所在区域的步骤包括：

基于所述摄像头、所述屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域。

3.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的步骤包括：

利用已知的所述屏幕、摄像头与人脸的相对位置关系以及所述人脸的朝向和用户注意力在屏幕上的区域对注意力计算模型进行训练，得到训练后的注意力计算模型；

将检测或计算得到的所述屏幕、摄像头以及人脸的相对位置关系以及所述人脸的朝向输入到训练后的注意力计算模型得出当前用户注意力在屏幕上的区域。

4.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的步骤包括：

将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域。

5.根据权利要求4所述的方法，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的步骤包括：

获取人脸上鼻尖在屏幕上的投影坐标；

获取人脸上山根在屏幕上的投影坐标；

获取人脸脸颊连线中点在屏幕上的投影坐标；

基于上述三个特征点的投影坐标计算人脸的俯仰角和偏转角；

基于所述人脸的俯仰角和偏转角计算注意力在屏幕上相对于所述人脸脸颊连线中点在屏幕上投影坐标的偏移量；

基于所述偏移量和所述人脸脸颊连线中点的坐标计算所述注意力在屏幕上的坐标。

6.一种追踪用户注意力的装置，其特征在于，包括：

获取人脸画面模块，用于通过摄像头获取包含用户人脸的画面；

识别人脸信息模块，用于从所述画面中识别出用户的人脸信息；

提取特征点模块，用于提取所述用户人脸信息的特征点；

相对位置生成模块，用于根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；

确定注意力模块，用于基于所述相对位置和朝向确定用户注意力所在区域。

7.根据权利要求6所述的装置，其特征在于，所述确定注意力模块还包括：

用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块。

8.根据权利要求7所述的装置，其特征在于，用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块包括：

用于利用已知的所述屏幕、摄像头与人脸的相对位置关系以及所述人脸的朝向和用户注意力在屏幕上的区域对注意力计算模型进行训练的模块，经过训练后得到训练后的注意力计算模型；

用于将检测或计算得到的所述屏幕、摄像头以及人脸的相对位置关系以及所述人脸的朝向输入到训练后的注意力计算模型得出当前用户注意力在屏幕上的区域的模块。

9.根据权利要求7所述的装置，其特征在于，所述用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块还包括：

用于将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的模块。

10.根据权利要求9所述的装置，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的模块包括：

用于获取人脸上鼻尖在屏幕上的投影坐标的模块；

用于获取人脸上山根在屏幕上的投影坐标的模块；

用于获取人脸脸颊连线中点在屏幕上的投影坐标的模块；

用于基于上述三个特征点的投影坐标计算人脸的俯仰角和偏转角的模块；

用于基于所述人脸的俯仰角和偏转角计算注意力在屏幕上相对于所述人脸脸颊连线中点在屏幕上投影坐标的偏移量的模块；

用于基于所述偏移量和所述人脸脸颊连线中点的坐标计算所述注意力在屏幕上的坐标的模块。