[发明专利]交互控制方法、装置、电子设备及存储介质

权利要求书

1.一种交互控制方法，其特征在于，包括：

获取预设部位的关键点的屏幕空间坐标，并获取所述预设部位的关键点相对于拍摄设备的真实距离；

将所述真实距离与所述屏幕空间坐标进行结合确定预设部位的关键点在投影空间中的三维坐标，并对投影空间中的三维坐标进行转换确定所述预设部位的关键点的虚拟世界中的三维坐标；

根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互；

其中，将所述真实距离与所述屏幕空间坐标进行结合确定预设部位的关键点在投影空间中的三维坐标，并对投影空间中的三维坐标进行转换确定所述预设部位的关键点的虚拟世界中的三维坐标，包括：

根据所述真实距离与所述屏幕空间坐标，得到所述预设部位的关键点的投影空间的三维坐标；

根据所述拍摄设备的视场角确定投影矩阵；

基于所述投影矩阵将所述投影空间的三维坐标转换为所述虚拟世界中的三维坐标。

2.根据权利要求1所述的交互控制方法，其特征在于，获取预设部位的关键点的屏幕空间坐标包括：

获取单目相机采集的包含所述预设部位的第一图像；

对所述第一图像进行关键点检测，以得到所述预设部位的关键点的所述屏幕空间坐标。

3.根据权利要求2所述的交互控制方法，其特征在于，对所述第一图像进行关键点检测，以得到所述预设部位的关键点的所述屏幕空间坐标包括：

通过训练好的卷积神经网络模型对所述第一图像进行处理，得到所述预设部位的关键点；

对所述预设部位的关键点进行回归处理，得到所述预设部位的关键点的位置信息并将所述位置信息作为所述屏幕空间坐标。

4.根据权利要求2所述的交互控制方法，其特征在于，所述拍摄设备包括深度相机，获取所述预设部位的关键点相对于拍摄设备的真实距离包括：

获取所述深度相机采集的包含所述预设部位的第二图像；

对所述第一图像与所述第二图像进行对齐操作；

将所述屏幕空间坐标在对齐后的第二图像上进行取值，以得到所述预设部位的关键点到所述深度相机的所述真实距离。

5.根据权利要求1所述的交互控制方法，其特征在于，根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互包括：

获取与所述虚拟物体进行交互的预设部位的关键点的所述虚拟世界中的三维坐标；

计算所述三维坐标与所述虚拟物体的坐标之间的距离；

若所述距离满足预设距离，则触发所述预设部位的关键点与所述虚拟物体进行交互。

6.根据权利要求5所述的交互控制方法，其特征在于，触发所述预设部位的关键点与所述虚拟物体进行交互包括：

识别所述预设部位的关键点的当前动作；

将所述当前动作与多个预设动作进行匹配，并根据匹配结果响应所述当前动作与所述虚拟物体进行交互；其中，所述多个预设动作与交互操作一一对应。