[发明专利]一种多模态意图逆向主动融合的人机交互方法

说明书

本发明公开一种多模态意图逆向主动融合的人机交互方法，包括：获取环境数据、用户的手势数据以及用户的语音数据；对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图；进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；对所述融合意图进行信任度评价获取目标融合意图；按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得，使得意图识别更加准确；能够避免老年人因健忘而重复某一意图；通过主动问询的方式确认发生概率较低的融合意图是否用户本意，获取反映用户本意的目标融合意图。

技术领域

本发明涉及人机交互技术领域，尤其涉及一种多模态意图逆向主动融合 的人机交互方法。

背景技术

据调查，我国有27.1％的老年人是过独居生活或是与老伴一起生活的，这 个数字还在随着时间而不断增长，老年陪护工作者在未来社会中会出现供不 应求的现象。因此，让机器人代替年轻人照顾老人，让机器人成为新时代的 “保姆”，成了社会的迫切需求。现在的很少有机器人系统是针对老年人的 特点设计的，对于老年人的表达模糊、健忘等特性往往使得机器人陪护无法 很好的理解老年人的意图。

由于老一辈人的人文化水平有限或随着年龄增长表达能力下降等原因， 老年人无论是语言、手势还是体式姿态的表达可能不清晰或存在歧义，通过 单模态数据去理解老年人意图不能准确的获知老年人意图。在与老人得社交 过程中，不难发现，只要我们反复提问老人表达的不清楚的数据，或是对于 老人表达的意图进行反复确认，他们大概率是可以并且能意识到自己表达的 错误之处，并进一步解释清楚自己想表达的内容。而且，老年人往往在特定 环境特定时间中会有特定的行为动作，因此识别环境数据对于老年人的陪护 工作是十分重要的。在现阶段的研究中，鲜有机器人综合考虑时间和地点数 据来作为意图可行性评价的参数，导致意图识别准确率低。

发明内容

本发明提供的多模态意图逆向主动融合的人机交互方法，旨在解决现有 技术中在与老年人进行人机交互过程中，由于老年人的歧义表达导致对老年 人的真实意图的识别的准确率低的问题。

为实现上述目的，本发明提供一种多模态意图逆向主动融合的人机交互 方法，包括：

获取环境数据、用户的手势数据以及用户的语音数据；

对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势 信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图； 进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；

对所述融合意图进行信任度评价获取目标融合意图；

按所述目标融合意图进行交互反馈。

优选地，对所述环境数据进行场景感知获取环境信息包括：

构建环境信息库，所述环境信息库包括地点以及各个地点中存放的物品；

通过深度摄像设备获取视频形式的所述环境数据；

对所述环境数据进行关键帧提取；

通过YOLOv3目标检测对关键帧进行物品检测分析；

根据所述物品匹配所述环境信息库，获取所述环境信息。

优选地，通过YOLOv3目标检测对所述关键帧图像中的物品进行识别并 进行语义提取，选取语义信息正确率为50％以上的语义组成每帧的语义集合， 根据所述语义集合和所述环境信息库计算匹配度，将所述环境信息库匹中配 度最高的元素提取出来作为所述环境信息。