[发明专利]一种移动机器人视听觉融合感知与导航方法

说明书

本发明涉及一种移动机器人视听觉融合感知与导航方法，包括以下步骤：对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；利用视觉传感器系统和标定的参数构建导航栅格地图；使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。本发明能够以更加智能和自然的方式与机器人导航系统进行交互。

技术领域

本发明涉及机器视觉技术领域，特别是涉及一种移动机器人视听觉融合感知与导航方法。

背景技术

视觉和听觉信息是人类感知外界环境的主要信息来源，也是机器人具备人工智能的重要基础。与现有人工智能技术中视觉信息处理与听觉信息作为两个单独的研究方向不同，人类对客观世界的感知与认知，是基于视听等多种不同的感官获取大量不同种类的信息融合实现的。

面向低速移动机器人系统，提供更加自然的交互方式是使其具备高级智能的直接体现。现有移动机器人系统往往提供的交互手段较为单一，多使用语音或交互屏幕进行指令的发出，使用深层次的视听觉融合交互手段未能在移动机器人系统中得以实现。单一的语音控制指令往往受到噪声、远场等环境，实现语音唤醒的召回率和准确率将大幅降低。视觉传感器的大量使用将视觉信息辅助语音并提升交互的准确性和便利性成为可能，也成为解决单一模态信息处理劣势的重要突破方向。

发明内容

本发明所要解决的技术问题是提供一种移动机器人视听觉融合感知与导航方法，能够以更加智能和自然的方式与机器人导航系统进行交互。

本发明解决其技术问题所采用的技术方案是：提供一种移动机器人视听觉融合感知与导航方法，包括以下步骤：

对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；

利用视觉传感器系统和标定的参数构建导航栅格地图；

使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；

从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。

所述对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定，包括：

使用标定板对视觉传感器系统进行内参和外参的标定及校正；

将发声单元放置在所述标定板附近的某一位置，使得所述发声单元能够测量与所述标定板的位置关系；

发声单元唤醒听觉传感器系统得到发声单元发声角度后，根据视觉传感器系统的内参、视觉传感器系统与标定板的外参关系，得到听觉传感器系统与视觉传感器系统的外参关系。

所述利用视觉传感器系统和标定的参数构建导航栅格地图，包括：

使用视觉传感器系统获取场景的深度信息；

根据深度信息使用视觉立体匹配技术获取视觉传感器系统的视差图，并结合视觉传感器系统的内参和外参构建深度图像，并根据深度图像得到单帧的三维点云图；

使用视觉SLAM技术进行移动机器人的位姿参数计算，根据深度图像和移动机器人的位姿参数进行连续帧三维点云的拼接与融合，并在移动过程中构建起场景的三维点云地图，通过设置最大障碍物高度信息建立起导航栅格地图。

在建立起导航栅格地图后还包括，根据预定义的目标函数进行无干预的自主环境感知与地图构建，通过视觉传感器系统采集的原图和场景的三维点云地图进行环境要素地图的构建。