[发明专利]一种空间遥操作中基于实时重建模型的预测显示方法

说明书

本发明使用KinectFusion三维重构算法完成对未知环境的重构。其次提出了KF‑VPS力觉渲染算法，结合实时三维重构技术和虚拟场景下的力觉渲染技术，解决主端预测环境下虚拟机械臂与真实从端环境之间的力觉预测显示问题。最后，提出了一种基于3D交互式路径规划的图形交互方式。本发明同时解决空间遥操作中大时延问题和环境未知性问题，并提高作业效率。

技术领域

本发明涉及一种空间遥操作中基于实时重建模型的预测显示技术，主要应用于空间未知环境下的遥操作任务，能够同时解决大时延问题和环境未知性问题并且提高作业效率。

背景技术

近几年来人工智能相关技术飞速发展，但是能够自主感知、自主决策、自主规划、并自主执行任务的全自主智能机器人仍然是人类科技需要努力的方向。面对很多人不易到达的危险环境，比如太空、深水环境、核辐射环境等，利用机器人代替人进行任务作业是很好的选择，在避免人受到危险环境的威胁的同时，还能提高作业效率。

目前遥操作机器人技术是解决此类危险环境的作业任务的主要手段。空间遥操作技术的发展主要有两大障碍，天地数据传输的大时延问题和从端场景的非结构化甚至完全未知的问题。大时延问题严重影响了天地控制回路的稳定性和透明性，针对此问题，图形预测显示技术是最好的解决方案。最早预测显示技术必须依靠先验知识对从端环境进行预先建模，主端工作过程中依据从端传回的数据对环境模型进行修正；显然这种预测显示技术有很大的局限性。随着三维重构技术的发展，基于重构模型的预测显示遥操作被认为是同时解决大时延问题和从端场景未知性问题的有效方法。但是也受限于三维重构技术的发展，系统的实时性和操作精度等方面还有很大的缺陷。

本发明是一种基于重构模型的预测显示遥操作方法，利用深度相机获取场景深度信息进行实时三维重构实现视觉预测显示，并且结合KinectFusion三维重构算法和VPS(VoxmapPointShell Algorithm)力觉渲染算法提出KF-VPS(力觉渲染算法，在虚拟机械臂与实时重构的环境模型进行交互的过程中提供力觉渲染，实现空间遥操作中虚拟力觉预测显示。

发明内容

本发明首先使用KinectFusion三维重构算法完成对未知环境的重构。通过三维重构将从端环境结构化，获得了机械臂基座的空间位置信息。在主端将虚拟机械臂注册叠加到视频画面中与三维重构模型一起形成了增强现实视觉预测显示。实时三维重构结果也为后续的力觉预测显示奠定了基础。

其次，针对目前未知环境下基于增强现实的遥操作技术中力觉预测显示困难的问题，提出了KF-VPS 力觉渲染算法，结合实时三维重构技术和虚拟场景下的力觉渲染技术，解决主端预测环境下虚拟机械臂与真实从端环境之间的力觉预测显示问题。算法的关键在于采用了一种三维场景的数据表示方式，既能够方便的表达三维重构的结果，又能方便进行碰撞检测与接触力计算。

最后，对主端人机交互技术进行了研究，提出了一种基于3D交互式路径规划的图形交互方式。针对目前使用手控器、同构机械臂、外骨骼等主端设备直接进行任务操作，在一些多障碍物或狭小空间下操作难度大，操作效率低的问题，该图形交互方式允许操作员在3D的交互界面中通过绘制机械臂期望轨迹的方式完成机械臂的路径规划，指导机械臂完成遥操作任务。任务规划阶段，充分发挥了人的决策判断能力且不需要机械臂的参与，安全高效。任务执行阶段，机械臂自主完成不需要操作员参与，减轻了操作员的压力。

附图说明

图1是三维重构原理流程图

图2是ICP迭代求解相机位姿流程图

图3是KF-VPS力觉生成算法流程图

图4是碰撞检测算法流程图

图5是关键点及绘制的期望轨迹示意图

图6是机械臂运动控制算法流程图

具体实施方式