[发明专利]一种基于多轴机械臂的立体空间触屏设备可视化测试方法

权利要求书

1.一种基于多轴机械臂的立体空间触控屏幕设备可视化测试方法，其特征在于，包括以下步骤：

步骤1、构建用于立体空间触控屏幕设备测试的机器人装置；

所述机器人装置包括多轴机械臂、深度相机、操作台、被测设备；

所述被测设备上安装有触控屏幕；被测设备部署在操作台上，触控屏幕所在面与操作台不在同一水平线上；

所述多轴机械臂与深度相机固定在操作台上，深度相机位于被测设备正前方，多轴机械臂位于被测设备侧方；

所述深度相机无遮挡拍摄被测设备的触控屏幕全貌；

所述多轴机械臂能到达被测设备触控屏幕上任意位置；

所述多轴机械臂末端装有触控笔，用于实现被测设备触控屏幕的控制；

所述深度相机和多轴机械臂之间利用手眼标定技术计算出相机坐标系与机器人坐标系的转换矩阵；

步骤2、利用误差校准机制开展带反馈的触控尝试，基于其结果拟合一个触控位置误差修正函数，利用该修正函数克服由于多轴机械臂本身重力而产生的远端运动偏差，降低深度相机深度数据计算偏差带来的影响；

步骤3、误差校准完成后利用深度相机计算出被测设备触控屏幕所在平面的平面方程并确定触控屏幕的区域范围，构建被测设备触控屏幕的三维空间模型；

步骤4、逐条执行脚本中每一个测试指令，执行指令时，首先从脚本中解析出触控屏幕上动作的类型与目标控件图元；再依据控件图元以及三维控件定位算法，定位目标控件在相机坐标系下的三维空间坐标；然后利用机器人装置手眼标定的结果将相机坐标系下的坐标转化为机器人坐标系下的三维坐标；

步骤5、利用步骤2误差校准的结果修正该机器人坐标系下的三维坐标，提高控件定位的准确度，与解析出的动作类型一并发送给机器人控制程序；

步骤6、机器人控制程序根据接收到的动作类型与目标控件在机器人坐标系下的三维坐标，利用触控运动规划算法规划多轴机械臂的基本运动步骤，将脚本中的一次动作拆解为多个机械臂基本运动步骤，然后利用逆运动学算法与运动规划算法将每一个基本运动步骤转化为多轴机械臂的关节角度序列并发送给多轴机械臂底层驱动，以此驱动多轴机械臂在被测设备触控屏幕不同位置进行点击、滑动操作。

2.根据权利要求1所述的基于多轴机械臂的立体空间触控屏幕设备可视化测试方法，其特征在于，步骤2的误差校准机制通过由平板电脑构成的校准板实现，将校准程序装入平板电脑，构成校准板；将校准板贴附于被测设备触控屏幕的表面，再自动控制多轴机械臂依次点击校准程序中的校准点并收集反馈，完成触控误差校准操作，布置好校准板后的具体校准步骤为：

步骤2.1、启动校准板的校准程序，程序显示S行、S列，共M个校准点，作为待尝试触控的目标；

步骤2.2、先用霍夫变换圆检测算法识别校准点，获得其在深度相机所拍摄的RGB二维图像中的坐标再利用步骤4中三维控件定位算法计算出校准板上校准点在相机坐标系下的三维坐标位置，然后利用手眼标定结果将其转换为机器人坐标系下的三维坐标，作为校准点的目标触控位置A_i，最后利用步骤6的机器人控制程序根据A_i依次点击校准板上的校准点；

步骤2.3、校准程序记录每一次点击在校准板二维坐标系中的坐标位置与触控接触时间；若某一校准点在规定时间内未检测到触控，则利用步骤2.2 重新计算该校准点的三维坐标，并逐步增大触控深度直至校准板检测到触控；若触控接触时间超过规定值，则逐步减小深度，直至触控接触时间在规定范围内；记校准点N_i对应的目标触控位置在机器人坐标系下的坐标为A_i＝(x_i，y_i，z_i)(i＝1...M)，N_i的实际触控位置在以校准板屏幕上边缘向右为X轴正方向、以左边缘向下为Y轴正方向、以校准板屏幕像素为单位的校准板二维坐标系中的坐标为校准板屏幕正视图像坐标系以校准板屏幕正视图像左上角顶点为原点，图像上边缘向右为x轴正方向，左边缘向下为y轴正方向，以图片像素为单位；根据校准板二维坐标系与校准板屏幕正视图像坐标系的比例将转化为校准板屏幕正视图像坐标系中的坐标然后利用步骤4中的三维控件定位算法与手眼标定得到的转换矩阵计算出在机器人坐标系下的坐标为C_i＝(x′_i，y′_i，z′_i)(i＝1...M)；

记校准点的实际触控位置在机器人坐标系下的坐标C_i(x_i′，y_i′，z_i′)与校准点的目标触控位置在机器人坐标系下的坐标A_i(x_i，y_i，z_i)的偏差为d_i＝(x′_i-x_i，y′_i-y_i，z′_i-z_i)(i＝1...M)，然后利用样条插值算法根据C_i与d_i计算出误差修正函数F(x，y)；当目标触控点在被测设备触控屏幕正视图像坐标系中的坐标为(x，y)时，F(x，y)＝(dx，dy，dz)的计算结果表示(x，y)在机器人坐标系下坐标(x′，y′，z′)的修正值为(dx，dy，dz)。