[发明专利]一种面向老年陪护机器人的意图理解方法和系统

权利要求书

1.一种面向老年陪护机器人的意图理解方法，其特征在于，包括以下步骤：

实时获取老年人的行为图像，所述行为图像包括手势图像和姿态信息，对所述手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集；

将所述手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将所述姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集；

基于混淆矩阵的融合算法将所述手势识别概率集和姿态识别概率集进行意图融合，在不同意图分类下，采用F1分数计算手势识别概率集和姿态识别概率集融合时不同意图下的权重占比；进而确定出最终识别意图；所述基于混淆矩阵的融合算法将所述手势识别概率集和姿态识别概率集进行意图融合的过程为：

搭建意图融合模型f＝F(I,Cin,Hin)；其中f为意图融合的模型；I为意图权重矩阵；Cin为手势识别概率集；Hin为姿态识别概率集；

为Cin分配权重值形成n*1维权重矩阵Cconfi；为Hin分配权重值分别形成n*1维权重矩阵Hconfi；

将Cconfi和Hconfi做模糊变化得到最新意图概率矩阵C；其中C＝CconfiοCin+HconfiοHin；其中о称为综合评价合成算子；

所述在不同意图分类下，采用F1分数计算手势识别概率集和姿态识别概率集融合时不同意图下的权重占比的方法为：

在不同意图下采用F1分数赋值给作为Cin各意图分类下的权重值；赋值给作为Hin各意图分类下的权重值；其中

基于可得到Cin的n*1维权重矩阵基于可得到Hin的n*1维权重矩阵

将Cin,Hin和Cconfi、Hconfi进行模糊变化得到一维矩阵[λ₁,λ₂,…,λ_n]^T；选出矩阵中最大值γ_i；则i意图则为用户最终识别意图；其中[λ₁,λ₂,…,λ_n]^T＝Cin×Cconfi+Hin×Hconfi。

2.根据权利要求1所述的一种面向老年陪护机器人的意图理解方法，其特征在于，在所述实时获取老年人的行为图像之前，还包括获取语音通道信息，并提取语音通道信息的关键字启动所述机器人。

3.根据权利要求1所述的一种面向老年陪护机器人的意图理解方法，其特征在于，训练神经网络模型和训练隐马尔可夫模型的方法为：

获取若干老年人操作机器人的手势图像样本和姿态信息样本；对所述手势图像样本和姿态信息样本均采用大津算法进行分割，形成老年行为特征集；

采用老年行为特征集对神经网络模型进行训练得到可识别手势意图的神经网络模型；采用老年行为特征集对隐马尔可夫模型进行训练得到可识别姿态意图的隐马尔可夫模型。

4.根据权利要求1所述的一种面向老年陪护机器人的意图理解方法，其特征在于，在所述机器人根据最终意图未完成指定动作时：

启动目标识别，采用图像采集设备判断具体障碍物的距离；

在到达指定目标区后，通过语音交互抓取目标物体，目标物体的起始坐标为(x,y)；机器人将所述目标物体移动至视频框中得到坐标(x1,y1)；则目标物体的变换过程为(x→x1，y→y1)；

完成目标物体的定位后，进行抓取操作；在抓取接收后，实时捕获老年人的意图，进行机器人移动。