[发明专利]一种可穿戴物品的试戴方法、装置及电子设备

权利要求书

1.一种可穿戴物品的试戴方法，其特征在于，所述方法包括：

获取用户的目标身体部位的视频流，所述目标身体部位用于试戴所述可穿戴物品，其中，所述视频流由至少一帧RGB图像组成；

通过光照模型获取所述视频流中所述目标身体部位的光照信息，并通过深度模型获取所述视频流中所述目标身体部位的深度信息，其中，所述深度模型为卷积神经网络模型，所述深度模型具有预测所述目标身体部位的深度信息的功能，所述目标身体部位的深度信息包括：所述目标身体部位的尺寸信息和所述目标身体部位的三维坐标；

根据所述深度信息和所述视频流构建所述目标身体部位的身体模型；

根据所述光照信息和所述深度信息在所述身体模型上渲染所述可穿戴物品的虚拟模型，以令所述可穿戴物品的虚拟模型满足条件：所述可穿戴物品的虚拟模型的光效与所述目标身体部位的光效一致，所述可穿戴物品的虚拟模型的尺寸与所述目标身体部位的尺寸相匹配，以及所述可穿戴物品的虚拟模型的位置与所述目标身体部位的位置相匹配；

其中，在所述目标身体部位处于运动状态时，通过所述深度模型获取所述目标身体部位在下一帧图像中的深度信息，以及根据所述下一帧图像中的深度信息重新渲染所述可穿戴物品的虚拟模型，以令所述可穿戴物品的虚拟模型的尺寸与所述目标身体部位在所述下一帧图像中的尺寸相匹配，以及令所述可穿戴物品的虚拟模型的位置与所述目标身体部位在所述下一帧图像中的位置相匹配。

2.根据权利要求1所述的方法，其特征在于，所述获取用户的目标身体部位的视频流，包括：

通过单目摄像头实时获取所述目标身体部位的视频流。

3.根据权利要求1所述的方法，其特征在于，所述通过光照模型获取所述视频流中所述目标身体部位的光照信息之前，还包括：

获取第一样本视频流；

通过所述光照模型获取所述第一样本视频流中每一帧图像的像素特征，所述像素特征用于表征所述每一帧图像的光强信息；

根据所述每一帧图像的像素特征，获取所述每一帧图像对应的估计光照强度和估计光源方向；

根据所述每一帧图像对应的估计光照强度与所述每一帧图像对应的真实光照强度之间的损失距离，以及所述每一帧图像对应的估计光源方向和所述每一帧图像对应的真实光源方向之间的损失距离训练所述光照模型，以使得所述光照模型收敛。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述光照信息包括：光照强度和光源方向。

5.根据权利要求1所述的方法，其特征在于，所述通过深度模型获取所述视频流中所述目标身体部位的深度信息之前，还包括：

获取第二样本视频流；

通过所述深度模型获取所述第二样本视频流中每一帧图像的空间特征，以及获取所述第二样本视频流中各帧图像之间的时间相关性；

根据所述第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像；

根据所述每一帧图像的估计深度图像和所述每一帧图像对应的真实深度图像之间的损失距离训练所述深度模型，以使得所述深度模型收敛。

6.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息和所述视频流构建所述目标身体部位的身体模型，包括：

获取与所述目标身体部位对应的预先构建的身体模型；

根据所述深度信息调整所述预先构建的身体模型的深度信息，以及根据所述视频流在所述预先构建的身体模型的外部覆盖所述目标身体部位的图像，得到所述身体模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述光照信息和所述深度信息在所述身体模型上渲染所述可穿戴物品的虚拟模型，包括：

获取所述可穿戴物品的预设虚拟模型；

根据所述光照信息调整所述预设虚拟模型的光照强度和遮挡信息，以及根据所述深度信息调整所述预设虚拟模型的尺寸和所述预设虚拟模型在三维空间中的位置。