[发明专利]基于物体检测的物体操作指令跟随学习方法及装置

权利要求书

1.一种基于物体检测的物体操作指令跟随学习方法，其特征在于，包括以下步骤：

构建物体操作指令数据集；

获取目标场景中所有物体的物体检测框和对应的检测框参数，以及物体检测框的图像特征；

通过比对网络将所述物体检测框的图像特征与所述物体操作指令数据集中的物体操作指令的文本特征进行比对，得到物体操作指令对应的抓取物体、参考物体和放置方位；具体包括：通过比对网络得到每个物体检测框的物体分别是物体操作指令中的抓取物体和参考物体的概率，将概率最高的物体作为物体操作指令对应的抓取物体和参考物体；同时对放置方位进行预测，基于物体操作指令的文本特征向量预测前、后、左、右四种放置方位的概率，得到放置方位；

根据得到的所述抓取物体、所述参考物体、所述放置方位以及所述物体检测框对应的检测框参数，生成抓取位置、抓取角度以及放置位置；

放置方位的预测则通过一个多层全连接网络完成，该网络基于文本特征向量预测前、后、左、右四种放置方位的概率，所述多层全连接网络的损失函数为：

其中，C∈R¹⁸是预测的在前、后、左、右4个放置方位上的概率分布，T是对应的标签，K是送入比对网络的检测框数目；p_g∈R^K是网络预测的K个检测框所含物体是操作指令所指抓取物体的概率分布，是对应的标签；p_w∈R^K是网络预测的K个检测框所含物体是操作指令所指参考物体的概率分布，是对应的标签。

2.根据权利要求1所述的方法，其特征在于，所述构建物体操作指令数据集包括：

通过六元组对物体操作指令样本进行描述，所述六元组包括场景图片、场景信息图、物体操作指令、放置方位、抓取物体编号和参考物体编号。

3.根据权利要求1所述的方法，其特征在于，所述获取目标场景中所有物体的物体检测框和对应的检测框参数，以及物体检测框的图像特征，包括：

通过目标检测算法对目标场景中的物体进行检测，基于前端卷积神经网络提取的图像特征对生成的锚框进行前、后景划分，并对其包含物体的锚框进行边框回归，得到物体检测框及其物体检测框参数。

4.根据权利要求3所述的方法，其特征在于，所述目标检测算法的损失函数为：

其中，i是锚框对应的编号，p_i代表锚框中含有物体的概率，t_i＝(t_x，t_y，t_w，t_h)是代表边界框参数的4维向量，p_i^*是锚框是否含有物体的真实标签，1代表有，0代表没有，t_i^*是含有物体的锚框对应边框参数的真实标签，L_cls是一个针对二分类问题的对数损失函数，L_reg是约束边界框回归的损失函数，N_cls和N_reg是归一化参数，其中N_cls是样本数目，N_reg是锚框的数目，λ是用来平衡L_cls和L_reg的权重参数。

5.根据权利要求1所述的方法，其特征在于，还包括：对物体操作指令中的文本特征进行提取。

6.根据权利要求5所述的方法，其特征在于，所述对物体操作指令中的文本特征进行提取，包括：

采用词嵌入方法通过一个浅层神经网络将物体操作指令中的每一个单词映射成稠密向量，再对物体操作指令的向量序列进行处理得到物体操作指令的文本特征。

7.根据权利要求1所述的方法，其特征在于，还包括：对所有物体的物体检测框进行评分，筛选出多个评分大于预设阈值的物体检测框，将筛选出的物体检测框的图像特征输入到比对网络中与物体操作指令的文本特征进行比对。

8.一种基于物体检测的物体操作指令跟随学习装置，其特征在于，包括：

构建模块，用于构建物体操作指令数据集；

目标检测模块，用于获取目标场景中所有物体的物体检测框和对应的检测框参数，以及物体检测框的图像特征；

目标筛选模块，用于通过比对网络将所述物体检测框的图像特征与所述物体操作指令数据集中的物体操作指令的文本特征进行比对，得到物体操作指令对应的抓取物体、参考物体和放置方位；具体用于：通过比对网络得到每个物体检测框的物体分别是物体操作指令中的抓取物体和参考物体的概率，将概率最高的物体作为物体操作指令对应的抓取物体和参考物体；同时对放置方位进行预测，基于物体操作指令的文本特征向量预测前、后、左、右四种放置方位的概率，得到放置方位；

操作参数生成模块，用于根据得到的所述抓取物体、所述参考物体、所述放置方位以及所述物体检测框对应的检测框参数，生成抓取位置、抓取角度以及放置位置；

放置方位的预测则通过一个多层全连接网络完成，该网络基于文本特征向量预测前、后、左、右四种放置方位的概率，所述多层全连接网络的损失函数为：

其中，C∈R¹⁸是预测的在前、后、左、右4个放置方位上的概率分布，T是对应的标签，K是送入比对网络的检测框数目；p_g∈R^K是网络预测的K个检测框所含物体是操作指令所指抓取物体的概率分布，是对应的标签；p_w∈R^K是网络预测的K个检测框所含物体是操作指令所指参考物体的概率分布，是对应的标签。