[发明专利]基于人机协作的机器人感知与理解方法

权利要求书

1.基于人机协作的机器人感知与理解方法，其特征在于，包括如下步骤：

S1、视听模态感知的自然交互，包括三维手势数据获取和自然语言指令获取；

S2、目标描述和目标理解：通过操作者向机器人讲解环境使得机器人快速地了解环境，采用深度学习方法进行目标识别；所述步骤S2包括以下步骤：

1)目标描述

在目标描述中，操作者主要是辅助机器人对目标进行识别和理解；定义一个六元组Obj＝{种类,颜色,形状,纹理,尺寸,柔软性}对目标进行描述；机器人通过视觉对目标进行初步观察后对目标有一个大概的理解，包括目标的颜色、形状和纹理，机器人通过带有力觉反馈的末端接触目标，以了解其软硬程度；在机器人对目标的操作过程中，操作者在线地对机器人进行目标描述和讲解，以辅助机器人不断深入地了解目标，并做正确的决策；当机器人对目标做出模棱两可或错误的决策时，操作者辅助机器人或矫正机器人的错误决策；

2)目标理解

采取一个两阶段的方法来进行学习，首先，使用一个缩减的特征集来确定最佳候选集，然后，使用一个更大、更可靠的特征集来排列这些候选集；利用深度学习训练两个不同大小的网络，小的用于计算候选集，大的用于重新排列候选检测结果，从而避免复杂的手动调整特征值；

机器人视觉系统是用于获取外界视觉信息的工具，是通过计算机技术对类似于人类视觉信息处理的一种探索和模拟，机器视觉主要包括图像获取、预处理、分割、描述、识别和理解，其中理解是对环境的最高层次的认知行为，识别出当前目标物体的标记，与特征库或模板相匹配，对目标分类，为机器人的决策、行为控制以及人机交互提供依据；在图像描述方面，采用HOG特征描述符对图像中的特征进行描述，HOG算法首先将整幅图像分成设定数量的子图像,再将各个子图像按照设定的规则分割成细胞单元,然后采集细胞单元中各像素点的梯度方向直方图,计算各直方图在子图像中的密度,然后根据这个密度对子图像中的各个细胞单元做归一化处理；最后把这些直方图组合起来构成特征描述器；为了识别出目标的类型，对HOG特征进行概率G^(t)建模，特征值N维向量x是目标类型，利用一个随机变量表示预测概率G^(t)的大小；使用一个有两层S型隐藏单元h^[1]和h^[2]的深层网络，其中每一层分别有K₁和K₂单元，第一层隐藏单元的输出是第二层隐藏单元的输入，第二层隐藏单元输出的逻辑分类器预测其中x^(t)为第t个样本，Θ为参数空间；两层隐藏单元有一系列由它的输入到输出的映射权值W^[1]和W^[2]；通过深度学习更准确地对目标进行分类识别，从而达到在大量数据的支撑下进行快速地学习的效果；

在人机协作模式中，机器人借助于人类的经验知识对未知的物体进行识别，或者从识别错误中得到矫正，需要建立一个带标签数据的训练模型，以更新机器人的学习网络参数；在人类的协作下，一方面机器人通过人类的描述更好地了解未知物体的特征；另一方面，机器人通过人类的共享经验正确地认识物体；在学习过程中，目标是求出使识别精度最佳的参数Θ；将人类辅助过程中产生的输入数据作为一组特征值x及标签数据t＝1,…,M，t为样本序号，M为样本总数；在最深层的学习工作中将使用两阶段学习方法；在第一阶段中，使用无监督特征学习方法来初始化隐藏层的权值W^[1]和W^[2]，在训练前加权是避免过度拟合的关键；

S3、任务示教和学习：在任务示教过程中，通过人机交互模块，机器人能通过操作者的手势和语言感知操作者的意图；在机器人作业过程中，操作者可以始终保持在线教导机器人，以不断地修正机器人的决策。