[发明专利]使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画

摘要

VR系统中的头戴式显示器(HMD)包括用于跟踪佩戴HMD的用户的眼睛和面部的传感器。VR系统记录校准属性，诸如，用户的面部的地标。光源照亮由HMD覆盖的用户的面部的部分。结合地，面部传感器捕捉面部数据。VR系统分析面部数据以确定面部的照亮部分的平坦区域的方位。VR系统集合面部的平坦区域并且将平坦区域映射至面部的地标以生成用户的面部动画，该面部动画还可以包括眼睛方位信息。面部动画被表示为虚拟化身并且呈现给用户。面部跟踪系统生成佩戴头戴式显示器(HMD)的用户的面部的部分的虚拟渲染。面部跟踪系统照亮HMD内部的面部的部分。面部跟踪系统使用位于HMD内部的一个或多个面部传感器捕捉面部的部分的多个面部数据。至少部分基于多个面部数据识别面部的部分的多个平坦区域。多个平坦区域被映射至面部的一个或多个地标。至少部分基于该映射生成面部动画信息，该面部动画信息描述对应于用户的面部的部分的虚拟面部的部分。

主权项

1.一种头戴式显示器(HMD)，包括：显示元件，被配置为向佩戴HMD的用户显示内容；多个光源，放置在围绕光学块的离散位置处，所述多个光源被配置为照亮所述用户的所述HMD内部的面部的部分；面部传感器，被配置为捕捉通过所述多个光源中的一个或多个照亮的所述面部的部分的一个或多个面部数据；以及控制器，被配置为：从所述面部传感器接收多个捕捉的面部数据，并且至少部分基于所述多个捕捉的面部数据生成描述所述用户的所述面部的所述部分的面部动画信息；和/或将所述捕捉的面部数据提供至虚拟现实(VR)控制台，并且至少部分基于所述多个捕捉的面部数据从所述VR控制台接收所述用户的所述面部的所述部分的虚拟动画。