[发明专利]使用眼睛追踪相机对面部表情分类

说明书

在多个用户表露出多个表情的同时捕获多个用户的图像。使用在由多个第一用户穿戴的一个或多个头戴式设备(HMD)中实现的一个或多个眼睛追踪传感器来捕获图像。训练机器学习算法以推断指示图像中用户的表情的标签。使用在由用户穿戴的HMD中实现的眼睛追踪传感器来捕获用户的实况图像。使用已经被训练以用于预测指示表情的标签的机器学习算法来推断在实况图像中用户表露出的表情的标签。通过将图像与表露出表情子集的用户的个性化图像进行组合，可以个性化用户的图像和实况图像。

背景技术

沉浸式虚拟现实(VR)、增强现实(AR)或混合现实(MR)系统通常利用向用户呈现立体影像的头戴式显示器(HMD)，以便在三维场景中提供临场感(3D)。通常的HMD被设计为在大约为180°的接近人眼视场或与人眼视场相同的视场上产生立体图像。例如，商业HMD的视场目前是100-110°。多个用户可以在由沉浸式VR、AR或MR系统产生的相同3-D场景中彼此交互。例如，用户可以使用3D视频会议彼此交互，同时在虚拟影院中共同观看电影或YouTube视频、虚拟徒步穿过Google Earth中的地区或者同时坐在虚拟3D教室中收听由(真实的或虚拟的)教授进行的讲座。可以使用用户的捕获图像或表示用户的化身(avatar)来表示3D场景中的用户。例如，沉浸式VR、AR或MR系统可以使用相机来捕获用户的图像，然后所述用户的图像将被插入到虚拟3-D场景中。再例如，可以将表示用户的化身插入到虚拟3-D场景中。在任何一种情况下，面部表情都不容易通过用户的表示来传达。HMD遮挡包括用户眼睛的用户面部的大部分，这使得难以在用户的所捕获的图像中传达情绪，并且化身的面部上的表情通常不传达相对应的用户的实际情绪状态。HMD的遮挡也限制了评估用户对VR内容的响应的概率。

附图说明

通过参考附图，可以更好地理解本公开，并且本公开的多个特征和优点对于本领域的技术人员可以是显而易见的。在不同附图中的相同的附图标记的使用指示相似或完全相同的项。

图1是图示出根据一些实施例的、被配置为推断与用户的面部表情相对应的情绪的标签的处理系统的图。

图2图示出根据一些实施例的、包括被配置为经由显示器提供虚拟现实(VR)、增强现实(AR)或混合现实(MR)功能的电子设备的显示系统。

图3图示出根据一些实施例的、可以使用机器学习算法来推断的用户的面部表情集合。

图4图示出根据一些实施例的、基于用户穿戴的HMD中的眼睛追踪传感器可见的用户面部的一部分的图像来推断表情的标签的过程。

图5图示出根据一些实施例的、被修改以反映用户的所推断的表情的化身集合。

图6是根据一些实施例的、训练用于推断由眼睛追踪传感器捕获的一个或多个用户的图像中的表情的标签的机器学习算法的方法的流程图。

图7是根据一些实施例的、推断由集成在HMD中的一个或多个眼睛追踪传感器捕获到的用户图像中的表情的标签的方法的流程图。

具体实施方式

处理系统可以从用户面部的未被遮挡的正面图像推断用户表情。处理系统的一些实施例可以实现特征追踪和神经网络算法以检测指示面部变形的参数的值，诸如指示用户面部上的独立肌肉群中的肌肉收缩状态的动作单元。例如，用户的面部表情可以由在面部各处分布的大约46个面部动作单元的值来表征。用HMD遮挡用户的面部使基于穿戴HMD的用户的图像来推断用户表情的任务显著复杂化。若干个动作单元肌肉群位于用户面部的被HMD遮挡的区域中并且被遮挡的动作单元包括情绪的关键指示，诸如眉毛抬起、脸颊抬起、眨眼和眯眼。专用光学或压电传感器可以并入到HMD中并用于追踪HMD内的面部表情。然而，需要修改当前可用的商用HMD以并入专用光学或压电传感器。从HMD内收集的表情数据可以与由外部相机捕获的用户的图像组合以对用户表情建模，但是此方法还需要将常规HMD与诸如外部相机的附加硬件进行组合。