[发明专利]一种基于安全强化学习及视觉传感器的机器人避障系统

权利要求书

1.一种基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：包括卷积神经模块，所述卷积神经网络模块包括长短期记忆单元，用于对激光雷达的输入进行编码；包括加入LSTM单元，用于记忆模型学习过程中的信息；还包括第一卷积层，其使用一维卷积核来对LSTM单元编码的结果进行特征提取；还包括第二卷积层，其使用一维卷积核来进行进一步的特征提取；还包括第一全连接层，信息特征输入到所述第一全连接层；还包括第二全连接层，所述第一全连接层的输出连同机器人的目标点的相对坐标和机器人的速度一起输入第二全连接层，最终输出机器人线速度的平均值和角速度的平均值；还包括输出层；还包括训练模型，所述训练模型中，对于移动机器人i在t时刻的奖赏函数设计如下:

其中r^reached表示移动机器人到达设定目的地基时给予的奖励:

r^approaching表示机器人接近目的地的奖赏：

r^collision表示机器人发生碰撞时的奖赏:

r^deviation表示机器人运动方向与目的地连线夹角过大时的奖赏:

其中表示当前移动机器人的坐标，gⁱ是该机器人的目标点坐标，r_a＝30，r_b＝2，r^deviation中的角度为弧度制，0.785弧度是角度制的45度，是当前机器人线速度方向与机器人及目标点连线夹角。

2.如权利要求1所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：所述第一卷积层层使用ReLU作为激活函数；所述第一、二全连接层使用的激活函数也是ReLU；所述输出层针对移动机器人的线速度和角速度分别使用sigmoid和tanh作为激活函数。

3.如权利要求1所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：包括单目视觉传感器和双目视觉传感器，用于完成对图像信息的收集；所述单目视觉系统只使用一个视觉传感器，所述双目立体视觉系统由两个摄像机组成，利用三角测量原理获得场景的深度信息，并且可以重建周围景物的三维形状和位置；所述双目视觉系统通过匹配准确得到立体视觉系统能够比较准确地恢复视觉场景的三维信息。

4.如权利要求1所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：还包括CPO误差模块，用于对收集到的数据进行误差分析，在安全约束条件内更新卷积神经网络模型和目标模型，利用所述CPO误差模块来确保卷积神经网络模型和目标模型的更新都在安全约束条件内。

5.如权利要求1所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：还包括云服务器及储存器，实时采集的实时环境图像信息预处理后结果发送到所述云服务器及储存器中。

6.如权利要求5所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：还包括CPU处理器，用于将预处理后的图像信息发送到CPU处理器中进行运算，其中CPU处理器通过实时与模型训练模块中的目标模型模块进行交互实现对结果的运算。

7.如权利要求6所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：还包括机器人决策模块，用于将所述CPU处理器运算所得出的结果交由此机器人决策模块进行执行并将执行结果发送到云服务器及储存器中。

8.如权利要求6所述的基于安全强化学习及视觉传感器的机器人避障系统，其特征在于：还包括仿真平台，用于根据机器人所处的环境进行所述仿真平台上的建模，构成障碍物仿真环境。