[发明专利]使用眼睛追踪相机对面部表情分类

权利要求书

1.一种方法，包括：

在多个用户表露出多个表情的同时捕获所述多个用户的图像，其中，所述图像是使用在由所述多个用户穿戴的至少一个头戴式设备(HMD)中实现的至少一个眼睛追踪传感器来捕获的；以及

训练机器学习算法以基于所述图像和所述多个表情来预测指示情绪的标签。

2.根据权利要求1所述的方法，其中，训练所述机器学习算法包括：训练卷积神经网络算法。

3.根据权利要求1或权利要求2所述的方法，其中，所述多个表情对应于指示表露出所述多个表情的所述多个用户的面部变形的参数的值。

4.根据权利要求3所述的方法，其中，所述参数的所述值包括：指示所述多个用户的面部上的独立肌肉群中的肌肉收缩状态的动作单元的值。

5.根据权利要求1所述的方法，进一步包括：

基于所述多个表情的子集来针对所述用户中的每个用户形成至少一个个性化图像；以及

训练所述机器学习算法以基于所述至少一个个性化图像和所述多个表情来预测指示所述情绪的所述标签。

6.根据权利要求5所述的方法，其中，训练所述机器学习算法包括：训练所述机器学习算法以基于该用户的平均中性图像来预测指示所述情绪的所述标签，所述平均中性图像是使用所述至少一个个性化图像形成的并从所述多个图像中被减去。

7.根据权利要求1所述的方法，进一步包括：

将表示所训练的机器学习算法的信息存储在非暂时性计算机可读介质中。

8.一种方法，包括：

使用在由第一用户穿戴的头戴式设备(HMD)中实现的眼睛追踪传感器捕获所述第一用户的第一图像；以及

使用机器学习算法推断在所述第一图像中由所述第一用户表露出的表情的标签，所述机器学习算法被训练以在多个第二用户表露出多个表情的同时使用所述多个第二用户的第二图像来预测所述多个表情的标签，并且其中，所述第二图像是使用在由所述多个第二用户穿戴的至少一个HMD中实现的至少一个眼睛追踪传感器来捕获的。

9.根据权利要求8所述的方法，其中，所述机器学习算法包括卷积神经网络算法。

10.根据权利要求8或权利要求9所述的方法，其中，所述多个表情对应于指示表露出所述多个表情的所述多个第二用户的面部变形的参数的值。

11.根据权利要求10所述的方法，其中，推断由所述第一用户表露出的所述表情的所述标签包括：将从所述第一图像中取得的参数的值和指示与所述多个表情相对应的所述面部变形的参数的值进行比较。

12.根据权利要求11所述的方法，其中，推断由所述第一用户表露出的所述表情的所述标签包括：识别所述多个表情中的一个表情，所识别的一个表情对应于从所述第一图像中取得的参数的值和指示与所述多个表情中的所识别的一个表情相对应的面部变形的参数的值之间的最佳匹配。

13.根据权利要求12所述的方法，其中，所述参数的所述值包括：指示所述多个第二用户的面部上的独立肌肉群中的肌肉收缩状态的动作单元的值。

14.根据权利要求8所述的方法，进一步包括：

访问表露出所述多个表情的子集的所述第一用户的至少一个个性化图像，其中，所述至少一个个性化图像是使用在由所述第一用户穿戴的HMD中实现的眼睛追踪传感器来捕获的；

将所述至少一个个性化图像与所述第一图像组合以形成所修改的第一图像；以及

通过将所述机器学习算法应用于所修改的第一图像来推断在所述第一图像中由所述第一用户表露出的所述表情的所述标签。