[发明专利]用于幕墙板材安装及防碰撞预警的位姿估计方法及装置

权利要求书

1.一种用于幕墙板材安装及防碰撞预警的位姿估计方法，其特征在于，该方法具体包括以下步骤：

S1：获取幕墙板材的精准抓取位置：用带有特殊标记点的幕墙板材存放装置存放幕墙板材，使用双目视觉精准定位；

S2：获取数据集，并将其划分为训练集、验证集和测试集；

S3：将训练集输入基于计算机视觉以及深度学习的位姿估计网络模型进行训练，通过验证集和训练集的损失曲线来确认训练终止时间，最后利用训练完成的网络模型估算出相机到安装区域的相对位姿关系(T,q)；

S4：实时位姿的估计：首先对相机与幕墙机器人抓手即幕墙板材的相对位姿关系进行标定，得到相机到机器人抓手的位姿(T₀,q₀)；然后用标定的数据(T₀,q₀)以及位姿估计网络模型估算的数据(T,q)转换为机器人抓手到安装区域的位姿信息(T_e,q_e)。

2.根据权利要求1所述的位姿估计方法，其特征在于，步骤S1中，所述幕墙板材存放装置包括框架(1)、调节装置和固定装置(2)；所述固定装置(2)上设置有特殊标记点(201)；通过固定装置(2)将幕墙板材立放于框架(1)上，利用双目视觉对特殊标记点(201)定位，实现幕墙板材位置的精准定位。

3.根据权利要求2所述的位姿估计方法，其特征在于，步骤S1中，机器人抓手精准抓取幕墙板材位置通过双目视觉定位来获取；利用固定装置上的特殊标记点(201)做特征匹配，得到标记点在左右两图上的坐标分别为像素坐标系下的(u_l,v_l)和(u_r,v_r)；

以左相机为主相机，根据相机本身的焦距f，水平基线b，图片在像素坐标系X、Y方向上的像素密度m_x、m_y和图像物理坐标系原点(o_x,o_y)，得到特殊标记点在相机坐标系下的三维坐标(x,y,z)；

其中，f_x、f_y分别表示在X、Y方向上的焦距；

通过相机坐标系下特殊标记点的坐标和幕墙板材中心的相对位置关系，实现板材的精准抓取位置估计。

4.根据权利要求3所述的位姿估计方法，其特征在于，步骤S2中，采用数据采集系统(3)获取数据集，所述数据采集系统(3)包括双目相机(301)和倾角传感器(302)，倾角传感器贴合在双目相机侧面；

获取数据集的具体步骤为：

S21：在拍摄前将相机拍摄平面与安装区域平面平行放置，对倾角传感器(302)进行标定；

S22：结合安装区域以及相机参数，选定能够拍摄到整个安装区域的拍摄距离范围，在不同影响因素下进行拍摄，获取大量的安装区域的双目RGB图像；

S23：在每次拍摄的同时需要获取倾角传感器(302)的数值，数值通常为按照Z-Y-X顺序旋转的欧拉角(α,β,γ)，其中α、β、γ分别表示倾角传感器(302)相对于原始自身坐标系的X、Y、Z轴旋转的角度；此处记录的数值表示了相机拍摄平面相对于幕墙安装区域平面的旋转量；

S24：对左右双目RGB图像分别进行像素级分割，用直线划分出安装区域，作为语义分割任务的标签；

S25：把双目RGB图像进行数据增强作为数据集的图片，增加训练样本；

S26：将欧拉角(α,β,γ)转换为四元数q_m来表示旋转量；对q_m求逆得到用来表示幕墙板材安装区域平面相对于拍摄平面的旋转量；

其中，w为q_m的实部，决定旋转角的大小；x、y、z为q_m的虚部，决定旋转变换的方向；

S27：用四元数表示的姿态信息作为姿态估计的标签，完成数据集的建立；每份数据包括通过双目相机获取的左右两张RGB图、安装区域分割标签以及姿态估计标签

S28：完成标注后，取数据集的70％作为训练集，20％作为验证集，10％作为测试集。