[发明专利]珠宝虚拟试戴方法、装置、计算机设备和存储介质

说明书

本申请涉及一种珠宝虚拟试戴方法、装置、计算机设备和存储介质。所述方法包括：确定试戴部位的待处理视频中的试戴关键点，以及试戴关键点的深度信息；确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息；根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息；根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画；根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。采用本方法能够提高珠宝的虚拟试戴效果。

技术领域

本申请涉及增强现实技术领域，特别是涉及一种珠宝虚拟试戴方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着增强现实技术的不断发展，让珠宝虚拟试戴逐渐应用于珠宝行业，为线上购买珠宝饰品的用户提供了新的交互体验。

传统技术中，需要用户先在拍摄的图片上手动定位试戴部位，然后移动终端自动将珠宝饰品的图像展示在试戴部位上，这种先手动定位后贴图的虚拟试戴方式具有处理方便、贴图速度快的优势，但是珠宝饰品的图像无法随着试戴部位的动作进行动态展示，甚至只能显示平面的效果，因而这种先手动定位后贴图的虚拟试戴方式存在试戴展示效果较差的技术缺陷。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高珠宝的虚拟试戴效果的珠宝虚拟试戴方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种珠宝虚拟试戴方法。所述方法包括：

确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；

确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；

根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；

根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；

根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。

在其中一个实施例中，根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画，包括：

根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息；所述待处理视频包含有多帧图像；所述珠宝三维模型在每帧图像中的展示位置通过所述试戴关键点的三维位置确定得到；

根据所述珠宝三维模型在所述当前帧图像的受力信息，得到所述珠宝三维模型在所述当前帧图像的摆动姿态；

根据所述每帧图像的摆动姿态，对所述珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画。

在其中一个实施例中，在根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息之前，还包括：

根据接收到的珠宝款码信息，从珠宝三维模型库中，获取所述珠宝款码信息对应的初始珠宝三维模型；

根据所述试戴关键点的三维位置，确定所述初始珠宝三维模型的展示位置；