[发明专利]一种移动机器人视听觉融合感知与导航方法

权利要求书

1.一种移动机器人视听觉融合感知与导航方法，其特征在于，包括以下步骤；

对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；

利用视觉传感器系统和标定的参数构建导航栅格地图；

使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；

从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。

2.根据权利要求1所述的移动机器人视听觉融合感知与导航方法，其特征在于，所述对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定，包括：

使用标定板对视觉传感器系统进行内参和外参的标定及校正；

将发声单元放置在所述标定板附近的某一位置，使得所述发声单元能够测量与所述标定板的位置关系；

发声单元唤醒听觉传感器系统得到发声单元发声角度后，根据视觉传感器系统的内参、视觉传感器系统与标定板的外参关系，得到听觉传感器系统与视觉传感器系统的外参关系。

3.根据权利要求1所述的移动机器人视听觉融合感知与导航方法，其特征在于，所述利用视觉传感器系统和标定的参数构建导航栅格地图，包括：

使用视觉传感器系统获取场景的深度信息；

根据深度信息使用视觉立体匹配技术获取视觉传感器系统的视差图，并结合视觉传感器系统的内参和外参构建深度图像，并根据深度图像得到单帧的三维点云图；

使用视觉SLAM技术进行移动机器人的位姿参数计算，根据深度图像和移动机器人的位姿参数进行连续帧三维点云的拼接与融合，并在移动过程中构建起场景的三维点云地图，通过设置最大障碍物高度信息建立起导航栅格地图。

4.根据权利要求3所述的移动机器人视听觉融合感知与导航方法，其特征在于，在建立起导航栅格地图后还包括，根据预定义的目标函数进行无干预的自主环境感知与地图构建，通过视觉传感器系统采集的原图和场景的三维点云地图进行环境要素地图的构建。

5.根据权利要求1所述的移动机器人视听觉融合感知与导航方法，其特征在于，所述端到端手势行为识别，具体为：通过三维卷积神经网络学习手势的短时空特征，基于提取的短时空特征通过卷积LSTM网络学习手势的长时空特征，以挖掘输入的视频序列中帧与帧之间隐含的手势运动轨迹和姿态变换信息。

6.根据权利要求1所述的移动机器人视听觉融合感知与导航方法，其特征在于，所述从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列，包括：

采用多目标检测和追踪方法从视频序列中提取出感兴趣的目标对象并跟踪；

利用听觉传感器系统的声源定位方法和视觉传感器系统的的视线方向检测方法分别对目标对象进行显著性程度分配；

将听觉传感器系统得到的目标对象显著性结果和视觉传感器系统得到的目标对象显著性结果进行融合，得到最终的具有显著性的目标对象序列。

7.根据权利要求6所述的移动机器人视听觉融合感知与导航方法，其特征在于，在进行融合时，当视觉传感器系统推断的移动机器人与目标对象的夹角与听觉传感器系统推断的移动机器人与目标对象的夹角的差值超过阈值时，则以视觉传感器系统推断的目标对象为主，重新进行目标对象的选择与判定，并放弃此次交互任务的执行。