[发明专利]一种用于机器人智能化服务的空间环境识别方法及系统

权利要求书

1.一种用于机器人智能化服务的空间环境识别方法，其特征在于，包括以下步骤：

获取待识别空间环境区域的至少一幅图像；

根据获取的图像，采用预设的视觉关系获取模型，获取图像中的物品特征和物品间的关系特征，进而得到图像中物品的视觉关系三元组；

物品间的关系特征利用目标间的空间关系来表征，具体为：

三元组特征包括图像中物体的词向量，目标间的关系使用[x₁，x₂，x₃]表示，x₁代表目标1，x₃代表目标3，x₂代表关系，则空间关系s表示如下：

其中，代表目标物体的预测框，其中i＝1或3，为预测框的中心坐标，w_i和h_i分别代表预测框的宽度和高度，W和H代表目标1和目标3预测框相交部分的宽度和高度，是对相关空间关系的编码；

在获取到空间关系s后，将s输入到多层感知器中，得到和词向量维数相同的特征表示x₂，从而获得三元组的特征表达；

根据获得的物品特征，利用预设属性获取模型，得到各个物品的属性；

根据得到的各个物品的视觉关系三元组和各个物品的属性，得到当前图像内的物品多关系图；

对获取的待识别环境区域的每幅图像进行处理得到物品多关系图，根据得到的每幅图像的物品多关系图构建机器人语义视觉空间，实现对空间环境的识别。

2.如权利要求1所述的用于机器人智能化服务的空间环境识别方法，其特征在于，预设的视觉关系获取模型，包括用于目标检测的卷积神经网络和双向循环神经网络，具体为：

根据卷积神经网络对获得的图像进行目标检测，获取目标物品的语义及其检测框的坐标信息，将目标物品和非目标物品的语义进行特征编码，同时根据检测框的坐标信息获取物品间的关系特征，得到三元组特征；

将得到的三元组特征输入到双向循环神经网络中进行视觉关系预测，得到图像中各个物品的视觉关系三元组。

3.如权利要求2所述的用于机器人智能化服务的空间环境识别方法，其特征在于，预设的视觉关系获取模型还包括动态过滤模块，所述动态过滤模块通过预设的动态对象列表，当检测到视觉关系三元组含有动态对象时，将该视觉关系三元组滤除。

4.如权利要求3所述的用于机器人智能化服务的空间环境识别方法，其特征在于，如果某一类对象视觉关系变化速度超过预设阈值，将对象添加进动态对象列表中进行对应的视觉关系三元组的滤除。

5.如权利要求1所述的用于机器人智能化服务的空间环境识别方法，其特征在于，利用预设属性获取模型，得到各个物品的属性，具体为：

以物品的语义为关键字在预设数据库中搜寻物品相关关系，得到多个结果字符串；

根据获得的结果字符串，采用BERT-CRF模型，将结果中的属性关键字识别出来，具体为：

利用BERT模型提取物品的语义文本信息并进行特征编码，将编码输入到CRF层进行信息解码，得到各个物品的标注序列。

6.如权利要求1所述的用于机器人智能化服务的空间环境识别方法，其特征在于，所述物品多关系图包括多个节点和多条边，所述节点用于存储实体语义和物品属性信息，边代表实体之间以及实体和属性之间的关系。