[发明专利]一种基于知识图谱嵌入的机器人室内场景识别方法

说明书

本发明属于室内场景识别方法，具体地说，是一种基于知识图谱嵌入的机器人室内场景识别方法，具体包括以下步骤：选取足够且合适的物品类别、属类概念和场景名称，构建实体字典；设计关系字典；构建三元组形式的场景描述；以上述三元组场景描述数据为基础，训练可处理非对称关系的模型，得到以嵌入向量表达的场景知识模型；当机器人获取新的场景图片后，由打分函数给出图片中所有可能三元组的评分，将得分最高三元组的尾实体场景名称，作为场景识别的最终结果。本发明从概念层面描述场景，充分利用场景内的实体语义信息完成识别，相比主流场景识别方法，对底层检测器有一定容错能力，并且语义信息丰富、模型具有解释性，便于机器人应用。

技术领域

本发明属于室内场景识别方法，具体地说，是一种基于知识图谱嵌入的机器人室内场景识别方法。

背景技术

传统场景识别方法一般基于端到端的卷积结构深度神经网络设计，其缺点也很明显——缺乏对结果的解释。对于需要经常与人交互的机器人，环境感知任务对相关场景识别方法提出了更高要求，要求感知过程有更多的语义信息参与，并对感知结果能够给出语义解释。

已出现的基于知识图谱的方法仅能利用较为粗略和浅层的图像语义，且所需环境信息较多，与实际应用需求相差较远。例如，东南大学学者在专利CN202011556111.2中提出了一种基于知识图谱推理融合多种异类环境信息的场所识别方法，从各类异源信息中提取构成场所的主要物体、产生的事件、空间结构等主要线索，并将这些线索以自然语言文字进行描述；利用自然语言处理方法对上述描述进行筛选，形成场所描述实体；结合上述描述实体在实际环境中的发生频率，组建场所领域知识图谱；运用深度神经网络实现基于知识图谱的推理分类，给出最终识别结果。该方法的不足在于一方面考虑的线索类别繁多，实体除物体外还包括发生的事件与空间结构，无法采用单一的现有技术提取，多线索下算法调试及超参整定困难，不易在现有技术手段下应用；另一方面，对于概念间蕴含关系的考虑过于单一，未考虑概念间存在语义远、近的事实。

发明内容

为了解决上述技术问题，本发明披露了一种基于知识图谱嵌入的机器人室内场景识别方法，该方法可以处理非对称关系的RotatE模型，将实体映射到复向量空间，更符合场景识别任务中出现的概念特性。同时，本发明提出限制关系下的最终标签生成方法，有效地对RotatE模型输出结果进行筛选和评分，保证了最终评分的聚焦性。综上，本发明方法面向机器人室内场景识别应用，能够对多种相近程度概念和多种关系模式进行知识建模和推断，拥有较强的语义解释性。

本发明结合目标检测与识别算法和知识图谱嵌入技术，从概念层面描述场景并完成识别，在保证良好场景识别正确率的基础上，具有丰富的语义信息，方法具有可解释性。本发明采用的具体技术方案如下：

一种基于知识图谱嵌入的机器人室内场景识别方法，具体包括以下步骤：

步骤一、基于多种室内物品数据集，选择足够且合适的物品类别，并针对所选的物品类别将其划分为不同属类概念集合，将所选物品类别、划分出的属类概念、可能出现的场景名称作为实体一起存入实体字典；

步骤二、根据实体之间存在的关系设计关系字典；

步骤三、对先验数据集中具体一张场景图片，进行描述形式转换，通过目标检测与识别算法得到图片中存在于实体字典内的物品类别(重复出现的物品视作一个物品类别实体)。将得到的物品类别、对应的属类概念、图片标注的场景名称，通过关系字典内的对应关系根据常识和标注构造出多个三元组(h，r，t)形式的场景表达，遍历所有图片，将原始图片数据集转化为三元组形式的数据集；

步骤四、用转化后的三元组数据集训练可处理非对称关系的RotatE模型，得到嵌入向量表达的场景知识；