[发明专利]图像处理方法、服务器和虚拟现实设备

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取第一虚拟现实VR设备采集的眼部图像和嘴部图像；

获取第一用户佩戴所述第一VR设备的人体图像；

根据所述眼部图像和所述嘴部图像合成人脸图像；

根据所述人脸图像和所述人体图像合成无VR设备遮挡的人体图像；

向第二VR设备发送所述无VR设备遮挡的人体图像。

2.根据权利要求1所述的方法，其特征在于，所述第一用户与佩戴所述第二VR设备的第二用户位于同一物理场景下；

所述获取第一用户佩戴所述第一VR设备的人体图像，具体包括：

获取所述第二VR设备发送的所述人体图像。

3.根据权利要求1或2所述的方法，其特征在于，所述嘴部图像具体包括：嘴部彩色图像和嘴部深度图像，或者，嘴部灰度图像和嘴部深度图像。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

根据所述第一用户佩戴所述第一VR设备的人体图像获取拍摄所述人体图像时的人脸位姿；

根据所述眼部图像和所述嘴部图像合成人脸图像具体包括：

根据所述人脸位姿、所述眼部图像和所述嘴部图像，基于深度学习模型输出所述人脸图像。

5.根据权利要求4所述的方法，其特征在于，所述深度学习模型包括由第一模型和第二模型组成的深度学习模型；

所述第一模型由训练样本的人脸彩色图像和人脸深度图像输入变分自编码器进行第一训练，根据所述第一训练获取的损失值对所述变分自编码器的权重参数进行更新得到；

所述第二模型由训练样本的第一眼部图像、第一嘴部图像、第二眼部图像、第二嘴部图像输入域自适应变分自编码器进行第二训练，根据所述第二训练获取的损失值对所述域自适应变分自编码器的权重参数进行更新得到，所述第一眼部图像和所述第一嘴部图像为VR设备采集得到的图像，所述第二眼部图像为将所述第一眼部图像对应的人脸位姿输入所述第一模型获取的图像，所述第二嘴部图像为将所述第一嘴部图像对应的人脸位姿输入所述第一模型获取的图像。

6.根据权利要求4或5所述的方法，其特征在于，所述根据所述第一用户佩戴所述第一VR设备的人体图像获取拍摄所述人体图像时的人脸位姿，具体包括：

所述第一VR设备表面设有定位标识物；

从所述第一用户佩戴所述第一VR设备的人体图像中识别所述定位标识物，获取所述人脸位姿，所述深度学习模型输出的人脸图像为基于所述人脸位姿呈现的图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述人脸图像和所述人体图像合成无VR设备遮挡的人体图像，具体包括：

获取所述人脸图像中的第一嘴型特征点；

获取所述人体图像中的第二嘴型特征点；

根据所述第一嘴型特征点和所述第二嘴型特征点对所述人脸图像或所述人体图像进行缩放，经所述缩放后的所述人脸图像和所述人体图像具有相同尺度；

根据所述缩放后的所述人脸图像和所述人体图像进行图像融合，获取所述无VR设备遮挡的人体图像。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

接收所述第二VR设备发送的图像请求消息；

若获取所述第一VR设备对所述图像请求消息的反馈信息为同意提供人体图像，则触发根据所述眼部图像和所述嘴部图像合成人脸图像。

9.一种图像处理方法，其特征在于，包括：

采集第一用户的眼部图像和所述第一用户的嘴部图像，所述第一用户佩戴所述第一VR设备；

向图像处理装置发送所述第一用户的眼部图像和所述第一用户的嘴部图像，所述第一用户的眼部图像和所述第一用户的嘴部图像用于合成所述第一用户的无VR设备遮挡的人脸图像。