[发明专利]一种基于深度强化学习的自动寻路方法及寻路小车设备

权利要求书

1.一种基于深度强化学习的自动寻路小车设备，其特征在于，包括车体400、摄像机404、智能舵机410、智能电机407、电源408；所述车体400内置有开发板、底部设有4个车轮，所述前两个车轮为一组，连接智能舵机410，后两个车轮为一组，连接智能电机407；所述智能舵机410安装在车体400底部，用于控制车体400前两个车轮的转弯角度；所述智能电机407安装在车体400的底部，用于提供小车动力；所述摄像机404在车体400正前方，通过开发板MIPI接口402与车体400上的开发板相连接，摄像机404用于读取环境的图像数据；所述电源408设置在智能电机407的一侧。

2.如权利要求1所述的基于深度强化学习的自动寻路小车设备，其特征在于，所述开发板为Jetson-nano开发板，开发板内装有ubuntu操作系统；开发板内置有电源接口401、开发板MIPI连接口402、网线接口405、USB接口403，开发板通过USB接口403连接智能舵机410。

3.一种基于深度强化学习的自动寻路方法，其特征在于，包括以下步骤：

1)小车在运动之前先预置目的地图像；

2)启动小车，在行驶时通过摄像机获取环境图像，将当前获取的环境图像和目的地图像进行相似度对比；

3)用两个共享权值的卷积神经网络计算当前图像和目标图像的相似度，通过相似度阈值判断小车是否达到目的地，超过相似度阈值则训练停止；未达到相似度阈值则继续行驶并获取新的环境图像，优化卷积神经网络；

4)完成自动寻路。

4.如权利要求3所述的基于深度强化学习的自动寻路方法，其特征在于，用两个共享权值的卷积神经网络计算当前图像和目标图像的相似度包括：

建立两个共享权值的卷积神经网络Channel Network、Chanel Network将当前图像和目标图像输出为两个向量，计算两个向量的相似度，比值越接近1，图像相似度越高，具体计算公式如下：

其中X、Y为输出的两个向量，其中Cov(X,Y)为X,Y向量的协方差，EX为X向量的期望值，EY为Y向量的期望值，DX为X向量方差，DY为Y向量的方差。