[发明专利]一种人机协作机器人系统

摘要

本发明提供了一种人机协作机器人系统，包括凝视跟踪组件、目标识别定位组件、意图预测组件、预期运动规划组件。凝视跟踪组件通过眼动仪跟踪捕获机器人使用者的凝视焦点；目标识别定位组件分析凝视数据确定机器人使用者所注视的区域，并对区域内的目标进行检测和识别；意图预测组件对机器人使用者关注的目标和使用者的真实意图之间的相关性进行建模，判断出机器人使用者的意图；预期运动规划组件利用意图预测组件提供的预测值对机器人进行运动规划。所述人机协作机器人系统，在人机协作场景中，使机器人系统能够监测操作者的注视模式并预测任务意图，并基于这些预测执行相应的预期运动，实现机器人与机器人使用者之间的流畅、高效的协作。

主权项

1.一种人机协作机器人系统，其特征在于，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：/n所述凝视跟踪组件跟踪捕获眼睛的凝视数据；/n所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；/n所述意图预测组件推断机器人操作者意图并且提供置信度；/n所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务；/n所述凝视跟踪组件包括眼动仪，用于执行双目瞳孔跟踪、三维重建环境和与其它组件进行交互通信，机器人操作者的凝视位置以红点体现在所述三维重建环境和中，通过雅可比矩阵方法和预定义的Aruco标记实现三维重建环境和物理任务空间中的位置与环境项目之间的映射关联；/n所述目标识别定位组件包括视觉行为分类器、注意力提取部分和目标识别部分；/n所述视觉行为分类器区分意图注视行为和无意识注视行为；/n所述注意力提取部分从所述意图注视行为的凝视数据提取注意力信息，通过反向最小生成树将关注范围内的目标点聚类，使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非有意的眼睛运动的影响，用圆形将注意力群集等效表示出来，凝视目标完全或部分地在圆形区域中，且具有最大值的凝视点的群集作为机器人操作者所注视的区域。/n