[发明专利]一种机械臂任务执行序列的语义解析方法、系统及计算机可读介质

说明书

本发明公开了一种机械臂任务执行序列的语义解析方法、系统及计算机可读介质，获取机械臂任务执行点序列和执行点对应场景中所有物体的状态序列，分割任务子过程序列；确定任务子过程机械臂抓手的动作类型及作用的物体，解析作用物体的空间语义关系；整合任务子过程的语义解析结果，构建基于任务的语义解析图，获得机械臂任务动作序列。本发明通过对机械臂任务执行点序列和任务中的所有物体状态数据的变化进行解析，将非结构化环境下的复杂任务演示数据转换成机械臂能够理解并执行的结构化的语义解析图，它可以指导机械臂在不同的初始场景中执行与任务语义表现一致的任务，这使得机械臂具有对任务的学习解析能力。

技术领域

本发明属于机械臂技术领域，涉及一种机械臂任务执行序列的语义解析方法、系统及计算机可读介质。

背景技术

机械臂是在工业制造、医学治疗、国防科技、娱乐服务等领域中得到广泛实际应用的自动化机械装置，能够接受操作指令，精确定位到三维空间上的某一点进行作业，即模仿人的手臂执行任务，代替人类自主完成一些繁重、精密和危险的任务。相对人的手臂执行，机械臂执行任务具有高精度、快速、超安全的任务特性。

在面对语义复杂的任务时，目前通常是使用多个机械臂来分步完成，每个机械臂只专注执行任务中一个动作，因此，在面对不同的任务时，需要将任务进行人工拆分，发布不同指令到多个机械臂来分步完成整个任务。人们期望机械臂具备对任务的自主分析能力，能够根据不同任务的执行数据，将任务解析成一系列可执行的动作序列，然后将动作分发给多个机械臂，共同完成复杂任务。目前，机械臂任务的解析方法较少，其中有一类方法是基于任务描述文本进行解析，通过对自然语言进行句法分析和语法分析获得语法解析树，但该方法缺少对操作物体的空间语义关系的表示。

本发明提出的解析方法是通过对机械臂任务执行点序列和任务中的所有物体状态数据的变化进行解析，将非结构化环境下的复杂任务演示数据转换成机械臂能够理解并执行的结构化的语义解析图，其中包括任务动作序列、动作作用物体以及物体的空间语义关系，它可以指导机械臂在不同的初始场景中执行与任务语义表现一致的任务，这使得机械臂具有对任务的学习解析能力，极大地扩宽机械臂的使用范围，提高其使用性能。

发明内容

为了达到上述目的，本发明提供一种机械臂任务执行序列的语义解析方法、系统及计算机可读介质，通过对机械臂任务执行点序列和任务中的所有物体状态数据的变化进行解析，将非结构化环境下的复杂任务演示数据转换成机械臂能够理解并执行的结构化的语义解析图，其中包括任务动作序列、动作作用物体以及物体的空间语义关系，它可以指导机械臂在不同的初始场景中执行与任务语义表现一致的任务，这使得机械臂具有对任务的学习解析能力，极大地扩宽机械臂的使用范围，提高其使用性能，解决了现有技术中存在的对操作物体的空间语义关系的解析缺乏研究的问题。

本发明所采用的技术方案是，一种机械臂任务执行序列的语义解析方法，包括以下步骤：

获取机械臂任务执行点序列和执行点对应场景中所有物体的状态序列，通过对任务长度为N的机械臂抓手的状态序列中的开合状态进行差值处理来确定任务执行点序列分割点，各分割点将机械臂抓手的状态序列分割为n个连续的任务子过程序列；

确定任务子过程s_j的机械臂抓手的操作类型解析任务子过程s_j中包含的所有物体的运动特征、获取任务子过程s_j中发生变化的物体列表和与机械臂抓手直接接触的物体列表，确定任务子过程s_j机械臂抓手的动作类型及作用的物体，并根据任务子过程s_j结束时所有物体的状态特征，解析作用物体的空间语义关系；

整合任务子过程s_j的语义解析结果，构建基于机械臂任务执行序列的语义解析图，获得机械臂任务动作序列。