[发明专利]基于相机位姿估计和深度学习的机器人运动状态识别方法

权利要求书

1.基于相机位姿估计和深度学习的机器人运动状态识别方法，其特征在于，包括以下步骤：

步骤1，采集连续视频帧序列图像并进行预处理，提取每一帧图像的加速稳健特征点，根据上一帧提取的加速稳健特征点进行加速稳健特征点对的位置的预判，进行加速稳健特征点的匹配，并对匹配的加速稳健特征点对进行筛选；

步骤2，使用光流法和对极约束的方法分析提取的加速稳健特征点，并依据随机抽样一致算法，排除离群值，计算出每一个时间段内相机的欧式变化矩阵；

步骤3，把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量，再把经时间修正过的运动描述向量转化为运动描述矩阵；

步骤4，构建卷积神经网络，把运动描述矩阵和动作标签矩阵作为输入训练，得到运动预测模型；

步骤5，利用运动预测模型实时判断机器人运动状态。

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1，采集连续视频帧序列图像，所述图像为彩色图像，保留彩色图像，并将彩色图像转化为灰度图像；

步骤1-2，按照光照亮度把彩色图像进行分区，如果临域亮度大于220区域的像素点数大于整个图像所含像素点数的80％，则进行针对高亮度的区域的灰度图像增强对比度，如果临域亮度小于35区域的像素点数大于整个图像所含像素点数的80％，则进行针对低亮度的区域的灰度图像增强对比度，临域是指一个像素点和该像素点的八临域的像素点所构成的区域；

像素点的亮度由以下公式定义：

Y(u，v)＝0.299×R(u，v)+0.587×G(u，v)+0.114×B(u，v)， (1)

其中，Y(u，v)表示像素点(u，v)的亮度，R(u，v)、G(u，v)和B(u，v)分别表示该像素点(u，v)的红色分量值、绿色分量值和蓝色分量值；以图像左上角为基准，u表示像素点所在行数，v代表像素点所在列数；

针对高亮度的区域的灰度图像增强对比度是指对灰度图像内的所有像素点进行灰度值变化，该变化由以下公式定义：

针对低亮度的区域的灰度图像增强对比度是指对灰度图像内的所有像素点进行灰度值变化，该变化由以下公式定义：

对于公式(2)和(3)，Gy(u，v)表示当前像素点(u，v)变化后的灰度值，Gy₀(u，v)表示当前像素点(u，v)变化前的灰度值；

步骤1-3，提取图像的加速稳健特征点；

步骤1-4，对所有提取的距离过近的特征点进行筛选：对于两个距离过近的加速稳健特征点，任意选取其中一个加速稳健特征点保留，删除另一个加速稳健特征点；如果两个加速稳健特征点的坐标满足如下公式，则为距离过近：

x₁、y₁分别表示两个加速稳健特征点中的一个加速稳健特征点的横坐标和纵坐标，x₂、y₂分别表示另一个加速稳健特征点的横坐标和纵坐标；width指图像水平方向的像素点的数量，height指图像竖直方向的像素点的数量；

反复判断，直至任意两个加速稳健特征点都不满足不等式(4)；

筛选后的特征点的像素坐标记为p_p[i，j]，i代表当前帧的编号，j代表特征点的编号；

步骤1-5，计算加速稳健特征点的世界坐标；

步骤1-6，计算下一帧图像预测的欧式变化矩阵；

步骤1-7，进行加速稳健特征点对位置的预判；

步骤1-8，依据步骤1-7中得出来的特征点对位置的预判，划分出当前帧图像的旧区域和新区域，其中旧区域为包含原有像素点在新的图像中的区域，新区域为当前帧图像不包含旧区域的区域；使用暴力匹配的方法将当前帧图像的旧区域的特征点和上一帧图像的特征点进行匹配，得出匹配的特征点对集合Matchs_ori，并对匹配的特征点对集合Matchs_ori进行筛选，初步去除离群值，得到筛选后的匹配的特征点对集合Matchs。