[发明专利]场景尺度估计及增强现实控制方法、装置和电子设备

说明书

本发明实施例公开了一种场景尺度估计及增强现实控制方法、装置和电子设备，其中一种场景尺度估计方法包括：确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；根据各第一特征点的重投影误差和平面约束分别对各第一特征点的初始三维坐标进行调整，其中，平面约束为各第二特征点与目标水平面的距离之和；根据各第一特征点调整后的三维坐标，确定目标场景的尺度，进而实现对目标场景尺度的准确估计。

技术领域

本发明实施例涉及计算机图像处理技术领域，尤其涉及一种场景尺度估计技术方案以及一种增强现实控制技术方案。

背景技术

在增强现实、虚拟现实、机器人和自动驾驶等领域，需要对场景尺度(即场景的真实三维坐标)进行估计。例如，用户想知道客厅中放置多大的桌子，此时，则需要绘制与实际客厅大小相同的虚拟客厅，在该虚拟客厅中放置不同尺寸的虚拟桌子，以便用户进行选择。例如，在SLAM(Simultaneous Localization And Mapping，实时定位与地图构建)初始化时，需要获得场景的三维坐标，以便地图的绘制。

发明内容

本发明实施例提供一种场景尺度估计技术方案以及一种增强现实控制技术方案。

第一方面，本发明实施例提供一种场景尺度估计方法，包括：

确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差；

将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点；

根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，其中，所述平面约束为各第二特征点与所述目标水平面的距离之和；

根据各所述第一特征点调整后的三维坐标，确定所述目标场景的尺度。

在第一方面的一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，包括：

对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。

在第一方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整，还包括：

在所述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始平面方程系数不变；

或者，

在所述调整过程中对所述双目相机的初始内参与所述目标水平面的初始平面方程系数中的至少一个进行调节。

在第一方面的另一种可能的实现方式中，所述对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和与所述平面约束相加最小，包括：

对各所述第一特征点的初始三维坐标进行调整，直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小，其中，所述重力约束为所述目标平面的法线向量与重力向量之间的差值。

在第一方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整之后，还包括：

根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程，确定各所述第二特征点的固定三维坐标。

在第一方面的另一种可能的实现方式中，所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整之前，还包括：