[发明专利]交互控制方法、装置、电子设备及存储介质

说明书

本公开提供了一种交互控制方法、装置、电子设备及计算机可读存储介质，涉及计算机技术领域，所述交互控制方法包括：获取预设部位的关键点的屏幕空间坐标，并获取所述预设部位的关键点相对于拍摄设备的真实距离；将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标；根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互。本公开能够准确得到预设部位的关键点在虚拟世界的三维坐标，进而控制预设部位的关键点与虚拟物体精准地进行交互。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种交互控制方法、交互控制装置、电子设备以及计算机可读存储介质。

背景技术

在增强现实中，用户与虚拟物体之间实现精准交互尤为重要。相关技术中，先对环境进行重建形成虚拟世界，然后在虚拟世界中放置任意的虚拟物体。为了与放置的虚拟物体产生交互，需要通过利用相机采集到的彩色图像进行手部跟踪，获取手部的位置信息，再与虚拟物体进行例如拿起、放置、旋转等交互。

在上述方式中，手部跟踪获取到的手部的位置信息，只是在屏幕空间上的二维坐标。在与虚拟物体进行交互时，还需要将二维坐标估计成虚拟世界中的三维坐标，从而与虚拟物体的三维坐标进行空间上的计算。但是将二维坐标估计成三维坐标的步骤可能会存在比较大的误差，使得估计的三维坐标并不准确，从而导致不能精准交互。另外，估计三维坐标的过程可能导致操作效率较低，影响交互体验。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种交互控制方法、装置、电子设备及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的无法实现精准交互的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种交互控制方法，包括：获取预设部位的关键点的屏幕空间坐标，并获取所述预设部位的关键点相对于拍摄设备的真实距离；将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标；根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互。

在本公开的一种示例性实施例中，获取预设部位的关键点的屏幕空间坐标包括：获取单目相机采集的包含所述预设部位的第一图像；对所述第一图像进行关键点检测，以得到所述预设部位的关键点的所述屏幕空间坐标。

在本公开的一种示例性实施例中，对所述第一图像进行关键点检测，以得到所述预设部位的关键点的所述屏幕空间坐标包括：通过训练好的卷积神经网络模型对所述第一图像进行处理，得到所述预设部位的关键点；对所述预设部位的关键点进行回归处理，得到所述预设部位的关键点的位置信息并将所述位置信息作为所述屏幕空间坐标。

在本公开的一种示例性实施例中，所述拍摄设备包括深度相机，获取所述预设部位的关键点相对于拍摄设备的真实距离包括：获取所述深度相机采集的包含所述预设部位的第二图像；对所述第一图像与所述第二图像进行对齐操作；将所述屏幕空间坐标在对齐后的第二图像上进行取值，以得到所述预设部位的关键点到所述深度相机的所述真实距离。

在本公开的一种示例性实施例中，将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标包括：根据所述真实距离与所述屏幕空间坐标得到所述预设部位的关键点的投影空间的三维坐标；根据所述拍摄设备的视场角确定投影矩阵；基于所述投影矩阵将所述投影空间的三维坐标转换为所述虚拟世界中的三维坐标。