[发明专利]一种多模态意图逆向主动融合的人机交互方法

权利要求书

1.一种多模态意图逆向主动融合的人机交互方法，其特征在于，包括：

获取环境数据、用户的手势数据以及用户的语音数据；

对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图；进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；

对所述融合意图进行信任度评价获取目标融合意图；

按所述目标融合意图进行交互反馈。

2.根据权利要求1所述的多模态意图逆向主动融合的人机交互方法，其特征在于，对所述环境数据进行场景感知获取环境信息包括：

构建环境信息库，所述环境信息库包括地点以及各个地点中存放的物品；

通过深度摄像设备获取视频形式的所述环境数据；

对所述环境数据进行关键帧提取；

通过YOLOv3目标检测对关键帧进行物品检测分析；

根据所述物品匹配所述环境信息库，获取所述环境信息。

3.根据权利要求2所述的多模态意图逆向主动融合的人机交互方法，其特征在于，通过YOLOv3目标检测对所述关键帧图像中的物品进行识别并进行语义提取，选取语义信息正确率为50％以上的语义组成每帧的语义集合，根据所述语义集合和所述环境信息库计算匹配度，将所述环境信息库匹中配度最高的元素提取出来作为所述环境信息。

4.根据权利要求2所述的多模态意图逆向主动融合的人机交互方法，其特征在于，多模态意图提取包括：构建意图库，所述意图库包括所有的意图；统计学习所述意图库中的任一意图在不同的所述地点发生的概率，构建意图地点概率集；统计学习所述意图中的任一意图在不同时刻发生的概率，构建意图时刻概率集。

5.根据权利要求4所述的多模态意图逆向主动融合的人机交互方法，其特征在于，多模态意图提取融合意图包括：

对所述语音数据进行语音信息提取获取语音意图，构建包含提取的所述语音意图的语音意图集，对所述语音意图集中的所述语音意图按意图地点概率和意图时刻概率的乘积顺序排序，按概率值提取最可能发生语音意图构建的第一意图集；

对所述手势数据进行手势信息提取获取手势意图，构建包含任一所述手势意图的手势意图集，对所述手势意图集中的所述手势意图按意图地点概率和意图时刻概率的乘积顺序排序，按概率值提取最可能发生手势意图构建的第二意图集；

对第一意图集和第二意图集取交集获取第三意图集；

分析第三意图集中的意图获取所述融合意图。

6.根据权利要求5所述的多模态意图逆向主动融合的人机交互方法，其特征在于，分析第三意图集中的意图获取所述融合意图包括：

获取所述第三意图集中的任一意图上次发生时刻，并计算上次发生时刻与当前时刻的时间差，根据意图可能发生的时间间隔分析所述时间差来获取所述融合意图。

7.根据权利要求1所述的多模态意图逆向主动融合的人机交互方法，其特征在于，对所述融合意图进行信任度评价获取目标融合意图包括：

获取融合意图的融合信任度，将所述融合信任度与融合信任度阈值比较，

将融合信任度大于等于所述融合信任度阈值的融合意图作为目标融合意图；

如果融合意图融合信任度低于所述融合信任度阈值，且融合意图的地点概率小于等于设定的第一概率阈值，则融合意图不是目标融合意图，提示用户无法执行意图；

如果融合意图融合信任度低于所述融合信任度阈值，融合意图中的意图地点概率大于设定的第一概率阈值，且则融合意图的意图时刻概率小于等于第二概率阈值，则提示用户是否执行当前融合意图，如果用户确认执行，则将该融合意图当做目标融合意图，如果用户未确认认执行则提示重新输入语音数据和手势数据；

如果融合意图融合信任度低于所述融合信任度阈值，融合意图中的意图地点概率大于设定的第一概率阈值，且则融合意图的意图时刻概率大于第二概率阈值，计算获取单模态信任度并与单模态信任度阈值对比，如果单模态信任度小于单模态信任度阈值则融合意图不是目标融合意图，主动从用户获取增强数据；如果单模态信任度大于等于单模态信任度阈值，则将融合意图作为目标融合意图。