[发明专利]一种基于双目视觉的激光定位与标注方法及产品和应用

权利要求书

1.一种基于双目视觉的激光定位与标注方法，其特征在于，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。

2.根据权利要求1所述的一种基于双目视觉的激光定位与标注方法，其特征在于，包括以下步骤：

步骤一、预设被投影实物与需要投影的内容

步骤二、视频流目标检测

双目相机的内参与畸变参数预先标定好；

投影设备启动后，通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；

步骤三、双目相机深度估计

通过双目视觉技术确定需要被投影的物体的空间位置；通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；

步骤四、标定与投影平面构建

在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；

步骤五、根据标定信息计算投影坐标

对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；

步骤六、激光投影

激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。

3.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤二中，双目相机中左相机和右相机标定内参分别为，投影设备启动后，分别通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，当检测到需要被投影的物体的本体后，获取需要被投影的物体的图片像素二维坐标，左相机得到一组特征点：

；

右相机得到一组特征点：

；

进而，得到相机坐标系下需要被投影的物体的特征点在双目相机的左相机和右相机中的坐标：

左相机：；

右相机：。

4.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤三中，双目相机外参矩阵为，需要被投影的物体的特征点在世界坐标系下的全局坐标为：

；

其中，为世界坐标系，为相机坐标系，；

进而得到下列公式：

；

其中，Z为通过双目相机模型获得的深度信息。

5.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤四中，使用一个以左上角为原点的一个满是圆圈的Halcon标定板作为标定板进行标定，将Halcon标定板放置在投影范围内，标定板圆点全局坐标与标定板坐标的变换关系P_cal；

假设标定板圆点全局坐标为，标定板坐标，得到：

；

Halcon标定板上任意不共线的三点的全局坐标分别为，，则平面法线为：

；

通过平面法线与该平面上的任意一点P₀即可表述一个平面：。