[发明专利]图像处理方法、服务器和虚拟现实设备

说明书

本申请实施例公开了一种图像处理方法，用于使用户在多方虚拟现实场景中获取其他用户无遮挡的人脸图像。本申请实施例方法包括：获取第一虚拟现实VR设备采集的眼部图像和嘴部图像；获取第一用户佩戴所述第一VR设备的人体图像；根据所述眼部图像和所述嘴部图像合成人脸图像；根据所述人脸图像和所述人体图像合成无VR设备遮挡的人体图像；向第二VR设备发送所述无VR设备遮挡的人体图像，用户获取其他用户无遮挡的人脸图像，可以提升用户体验。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、服务器和虚拟现实设备。

背景技术

随着虚拟现实(virtual reality，VR)技术的迅猛发展，用户对于VR体验的要求越来越高。常见的虚拟现实场景包括远程三维视频会议和虚拟现实游戏等。

现有的虚拟现实场景下，用户通过图像采集装置获取其他用户的图像。

由于参与VR场景的用户都会佩戴VR设备例如VR头盔等，由于其他用户的眼部被VR头盔遮盖，因此其人体图像中存在面部表情缺失，用户体验较差。

发明内容

本申请实施例提供了一种图像处理方法，用于使用户在多方虚拟现实场景中获取其他用户无遮挡的人脸图像。

本申请实施例第一方面提供了一种图像处理方法，包括：获取第一虚拟现实VR设备采集的眼部图像和嘴部图像；获取第一用户佩戴所述第一VR设备的人体图像；根据所述眼部图像和所述嘴部图像合成人脸图像；根据所述人脸图像和所述人体图像合成无VR设备遮挡的人体图像；向第二VR设备发送所述无VR设备遮挡的人体图像。需要说明的是，实现该图像处理方法的图像处理装置可以是VR设备、手机等终端，也可以是服务器，具体不做限定。

本申请实施例提供的图像处理方法，虚拟现实场景中至少包括佩戴第一VR设备的第一用户以及佩戴第二VR设备的第二用户，图像处理装置可以获取第一VR设备采集的第一用户的眼部图像和第一用户的嘴部图像，并获取第一用户佩戴第一VR设备的人体图像，图像处理装置基于上述图像合成第一用户的无第一VR设备遮挡的完整的人体图像，并将该图像发送给第二VR设备，由此，第二用户可以获取呈现在虚拟现实场景中的第一用户无VR设备遮挡的人体图像，提升用户体验。

在第一方面的一种可能的实现方式中，所述第一用户与佩戴所述第二VR设备的第二用户位于不同的物理场景下；所述获取第一用户佩戴所述第一VR设备的人体图像具体包括：获取图像采集设备发送的所述人体图像，所述图像采集设备与所述第一用户位于同一物理场景下。

本申请实施例提供的图像处理方法，当第一用户和第二用户位于不同物理场景下时，可以通过与第一用户位于同一物理场景下的图像采集设备采集第一用户佩戴第一VR设备的人体图像，增加了方案实现的灵活性。

在第一方面的一种可能的实现方式中，所述第一用户与佩戴所述第二VR设备的第二用户位于同一物理场景下；所述获取第一用户佩戴所述第一VR设备的人体图像具体包括：获取所述第二VR设备发送的所述人体图像。

本申请实施例提供的图像处理方法，当第一用户和第二用户位于同一物理场景下时，可以直接由第二VR设备采集第一用户佩戴第一VR设备的人体图像，而不需要额外的图像采集装置，可以减少对硬件设备的要求。

在第一方面的一种可能的实现方式中，所述方法还包括：根据所述第一用户佩戴所述第一VR设备的人体图像获取拍摄所述人体图像时的人脸位姿；根据所述眼部图像和所述嘴部图像合成人脸图像具体包括：根据所述人脸位姿、所述眼部图像和所述嘴部图像，基于深度学习模型输出所述人脸图像。

本申请实施例提供的图像处理方法，图像处理装置可以根据预训练的深度学习模型进行人脸图像的合成，在人脸合成时考虑到合成的人脸图像需要与人体图像进行融合，因此，提前获取人体图像拍摄时的人脸位姿，合成人脸图像时基于该人脸位姿进行合成，可以提升后续融合的人体图像的质量。