[发明专利]基于相机位姿估计和深度学习的机器人运动状态识别方法

说明书

本发明提供了基于相机位姿估计和深度学习的机器人运动状态识别方法，包括：步骤1，采集连续视频帧序列图像并进行预处理，提取每一帧图像的加速稳健特征点，进行加速稳健特征点的匹配，并对匹配的加速稳健特征点对进行筛选；步骤2，分析提取的加速稳健特征点，并依据随机抽样一致算法，排除的离群值，计算出每一个时间段内相机的欧式变化矩阵；步骤3，把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量，再把经时间修正过的运动描述向量转化为运动描述矩阵；步骤4，构建卷积神经网络，把运动描述矩阵和动作标签矩阵作为输入训练，得到运动预测模型；步骤5，利用运动预测模型实时判断机器人运动状态。

技术领域

本发明涉及行为识别及图像处理的技术领域，具体涉及基于相机位姿估计和深度学习的机器人运动状态识别方法。

背景技术

机器人运动状态识别是机器人状态监测的基础环节，可利用于工业检测、军事侦察、医疗服务、消防等领域。目前常用的机器人运动状态识别方法主要利用角度传感器和惯性传感器完成状态识别。机器人依靠机械装置来测量和识别运动状态，在可转动的关节处装有角度传感器或惯性传感器，可以测得并推算出关节转动角度及关节运动的变化状态。这种方法需在各节点处均绑定一个传感器，并且需利用各节点的多个传感器信息耦合计算运动状态，如有一个传感器出现问题，会影响整体状态识别结果，另外，部分的六轴惯性传感器在进行数据输出时都会产生累积误差，需开发者手动修正数据，算法复杂度较高，使用较为不便。

发明内容

针对现有技术的不足，本发明公开了一种基于相机位姿估计和深度学习的机器人运动状态的识别方法，包括以下步骤：

步骤1，采集连续视频帧序列图像并进行预处理，提取每一帧图像的加速稳健特征点，根据上一帧提取的加速稳健特征点的进行加速稳健特征点对的位置的预判，进行加速稳健特征点的匹配，并对匹配的加速稳健特征点对进行筛选；

步骤2，使用光流法和对极约束的方法分析提取的加速稳健特征点，并依据随机抽样一致算法，排除的离群值，计算出每一个时间段内相机的欧式变化矩阵；

步骤3，把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量，再把经时间修正过的运动描述向量转化为运动描述矩阵；

步骤4，构建卷积神经网络，把运动描述矩阵和动作标签矩阵作为输入训练，得到运动预测模型；

步骤5，利用运动预测模型实时判断机器人运动状态。

步骤1包括如下步骤：

步骤1-1，采集连续视频帧序列图像，所述图像为彩色图像，保留彩色图像，并将彩色图像转化为灰度图像；

步骤1-2，按照光照亮度把彩色图像进行分区，如果临域亮度大于220区域的像素点数大于整个图像所含像素点数的80％，则进行针对高亮度的区域的灰度图像增强对比度，如果临域亮度小于35区域的像素点数大于整个图像所含像素点数的80％，则进行针对低亮度的区域的灰度图像增强对比度，临域是指一个像素点和该像素点的八临域的像素点所构成的区域；

像素点的亮度由以下公式定义：

Y(u,v)＝0.299×R(u,v)+0.587×G(u,v)+0.114×B(u,v)， (1)

其中，Y(u,v)表示像素点(u,v)的亮度，R(u,v)、G(u,v)和B(u,v)分别表示该像素点(u,v)的红色分量值、绿色分量值和蓝色分量值；以图像左上角为基准，u表示像素点所在行数，v代表像素点所在列数；

针对高亮度的区域的灰度图像增强对比度是指对灰度图像内的所有像素点进行灰度值变化，该变化由以下公式定义：

针对低亮度的区域的灰度图像增强对比度是指对灰度图像内的所有像素点进行灰度值变化，该变化由以下公式定义：