[发明专利]调整三维姿态的方法、装置、电子设备及存储介质

权利要求书

1.一种调整三维姿态的方法，包括：

获取当前录制的视频，其中，所述视频包括：多个图像帧，所述多个图像帧的每个图像帧中均显示有虚拟三维模型；

基于所述多个图像帧估计得到所述虚拟三维模型的多个二维关键点和初始三维姿态；

利用所述多个二维关键点对所述虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，所述检测结果用于表明所述目标部位与所述虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；

通过所述检测结果和所述初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；

采用所述多个初始三维关键点和所述多个目标三维关键点将所述初始三维姿态调整为目标三维姿态；

所述方法还包括：利用所述初始三维姿态的第一姿态参数，确定所述多个初始三维关键点的初始值；

其中，通过所述检测结果和所述多个初始三维关键点，确定所述多个目标三维关键点包括：

采用所述多个初始三维关键点的初始值对所述多个目标三维关键点进行初始化，得到所述多个目标三维关键点的初始值；获取所述目标部位对应的三维关键点在所述多个图像帧的每个图像帧中的显示位置以及所述显示位置对应的检测标签；基于所述显示位置对应的检测标签，从所述多个目标三维关键点中选取部分三维关键点，其中，所述选取部分三维关键点与所述目标接触面之间发生接触；对所述选取部分三维关键点的显示位置进行均值计算，得到待更新位置；按照所述待更新位置对所述多个目标三维关键点的初始值进行更新，得到所述多个目标三维关键点的目标值。

2.根据权利要求1所述的方法，其中，基于所述多个图像帧估计得到所述多个二维关键点和所述初始三维姿态包括：

从所述多个图像帧的每个图像帧中检测目标区域，其中，所述目标区域包含有所述虚拟三维模型；

对所述目标区域进行裁剪处理，得到多个目标图片块；

基于所述多个目标图片块估计得到所述多个二维关键点和所述初始三维姿态。

3.根据权利要求2所述的方法，其中，基于所述多个目标图片块估计得到所述多个二维关键点和所述初始三维姿态包括：

采用预设二维估计方式从所述多个目标图片块中估计得到第一估计结果；

采用预设三维估计方式从所述多个目标图片块中估计得到第二估计结果；

对所述第一估计结果进行平滑处理，得到所述多个二维关键点，以及对所述第二估计结果进行平滑处理，得到所述初始三维姿态。

4.根据权利要求1所述的方法，其中，利用所述多个二维关键点对所述虚拟三维模型的目标部位进行接触检测，得到所述检测结果包括：

采用预设神经网络模型对所述多个二维关键点进行分析，得到所述目标部位对应的二维关键点的检测标签，其中，所述预设神经网络模型使用多组数据通过机器学习训练得到，所述多组数据中的每组数据均包括：带有所述检测标签的二维关键点，所述检测标签用于表示所述目标部位对应的二维关键点与所述目标接触面之间是否发生接触。

5.根据权利要求1所述的方法，其中，采用所述多个初始三维关键点和所述多个目标三维关键点将所述初始三维姿态调整为所述目标三维姿态包括：

采用所述多个初始三维关键点的初始值与所述多个目标三维关键点的目标值，对所述第一姿态参数进行优化，得到第二姿态参数；

基于所述第二姿态参数将所述初始三维姿态调整为所述目标三维姿态。