[发明专利]服务机器人自主获取人穿携物品归属语义的方法及系统

权利要求书

1.一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：包括以下步骤：

(1)进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；

(2)获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；

(3)以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系；

模拟人的长短期记忆，提出记忆矩阵来对人与物品归属关系进行表示，记忆矩定义如下：

其中a_ij表示人物i对物品j的归属概率；

人与物品关系的学习以服务周期为时间间隔进行重复学习；在每个服务周期中，机器人通过Kinect设备获取到人物面部图像以及物品点云图像，使用前述方法获取到人物身份以及物品识别信息，对此次获取到的人物归属物品信息进行统计，最终当一个周期结束时，统计各个物品的归属概率将其以记忆矩阵的形式进行存储；经过多个短期周期的迭代学习获取到多个记忆矩阵，最终求取所有记忆矩阵的均值，以每一列中概率最大的人物作为本物品的归属，获得最终的人与物品归属关系的表示，并将此关系存储到云端实现数据的云化。

2.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，使用Kinect设备获取到深度信息，以深度信息为基础对不同姿态、光照和/或背景条件下的人脸图像进行自主采集。

3.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，在获取人脸图像的同时，采集人的衣物图像，对其进行颜色和纹理特征提取，以这些特征作为区分不同人物的标签对人物图像进行标定，将获取到的图像以相应身份为区分指标进行存储，并定期与云平台进行交互，将图像以云数据的形式进行存储，图像获取完成后，使用获取到的人脸图像对深度模型进行训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份。

4.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，以获取到的深度信息为基础，通过对人物头部及颈部进行空间位置进行标定，得到两者的空间坐标，通过空间距离计算公式得到两者之间的空间距离信息，以此空间距离信息为边界信息对人脸图像进行采集。

5.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，使用SeetaFace Detection对采集到的人脸图像进行人脸位置修正，SeetaFace Detection为级联的漏斗结构，使用多层针对多姿态的快速LAB级联分类器和多层粗多层感知器级联后由一个粗多层感知器级联结构来处理所有姿态的候选窗口，最终得到人脸的位置信息。

6.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，利用反向传播算法对卷积神经网络进行微调：前向传播过程中，先使用预训练好的CNN模型提取特征，并使用全连接层作为特征与后端分类器的转换层，将经过全连接层进行数据转换后的人脸特征送入后端分类器进行身份识别，选用交叉熵代价函数表示分类器识别结果对真实结果的误差，完成卷积神经网络的前向传播过程；

反向传播过程中，由链式求导法则计算前向传播的误差对各层神经元之间的连接强度和各层神经元的偏置参数的梯度，并不断更新，完成反向传播过程。

7.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(2)中，根据深度信息获取的人体关节点标定，通过关节点信息进行穿戴物品定位分割，并采集到相应的点云数据，利用云端语义样本库进行匹配，得到物品的类别信息。