[发明专利]珠宝虚拟试戴方法、装置、计算机设备和存储介质

权利要求书

1.一种珠宝虚拟试戴方法，其特征在于，所述方法包括：

确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；

确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；

根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；

根据珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息；所述待处理视频包含有多帧图像；所述珠宝三维模型在每帧图像中的展示位置通过所述试戴关键点的三维位置确定得到；

根据所述珠宝三维模型在所述当前帧图像的受力信息，得到所述珠宝三维模型在所述当前帧图像的摆动姿态；

根据所述每帧图像的摆动姿态，对所述珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；

根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。

2.根据权利要求1所述的方法，其特征在于，在根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息之前，还包括：

根据接收到的珠宝款码信息，从珠宝三维模型库中，获取所述珠宝款码信息对应的初始珠宝三维模型；

根据所述试戴关键点的三维位置，确定所述初始珠宝三维模型的展示位置；

根据所述展示位置，对所述初始珠宝三维模型的尺寸进行调整，得到所述试戴部位对应的珠宝三维模型。

3.根据权利要求1所述的方法，其特征在于，所述确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息，包括：

根据所述试戴关键点在所述待处理视频中的二维坐标，确定所述试戴关键点的初始三维位置；

根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计，得到所述试戴部位的初始姿态信息；

对所述初始姿态信息和所述初始三维位置进行平滑处理，得到所述初始姿态信息对应的姿态信息和所述初始三维位置对应的三维位置。

4.根据权利要求1所述的方法，其特征在于，所述根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息，包括：

根据所述试戴关键点的三维位置，确定所述试戴部位的速度；

根据所述速度和所述试戴部位的姿态信息，确定所述试戴部位的加速度；

将所述速度和所述加速度，作为所述试戴部位的运动状态信息。

5.根据权利要求4所述的方法，其特征在于，所述将所述速度和所述加速度，作为所述试戴部位的运动状态信息，包括：

根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，确定所述加速度的方向；

将所述速度、所述加速度和所述加速度的方向，作为所述试戴部位的运动状态信息。

6.根据权利要求1所述的方法，其特征在于，所述确定试戴部位的待处理视频中的试戴关键点，包括：

识别所述试戴部位的部位类型；

将所述待处理视频，输入所述部位类型对应的关键点检测模型中，得到所述待处理视频中的试戴关键点。

7.根据权利要求1至6任意一项所述的方法，其特征在于，在确定试戴部位的待处理视频中的试戴关键点之前，还包括：

展示珠宝候选页面；所述珠宝候选页面中展示有多个珠宝的缩略图和所述多个珠宝的珠宝信息；

获取所述珠宝候选页面中目标珠宝的珠宝款码信息，并展示所述珠宝款码信息对应的珠宝预览页面；

响应于对所述珠宝预览页面中试戴按键的触发操作，获取所述试戴部位的待处理视频。