[发明专利]基于视频图像识别用户意图的方法及相关设备

权利要求书

1.一种基于视频图像识别用户意图的方法，其特征在于，所述方法包括：

提取用户的视频图像中的对话文本和用户图像，以及提取所述用户图像中预设位置对应的表情特征和肢体特征；

提取所述对话文本的第一文本向量，并将所述第一文本向量编码为第一编码特征，将所述第一编码特征映射到目标空间得到第一特征点；

使用计算模型计算所述第一特征点与所述目标空间中的多个第二特征点之间的多个特征度量值，并根据所述多个特征度量值对应的意图类别计算得到第一用户意图，其中，所述计算模型为：其中，W_ij为所述特征度量值，d_ij为所述第一特征点与第二特征点之间的距离，σ为超参；

将所述表情特征输入至预先训练好的表情识别模型中得到表情识别结果，将所述肢体特征输入至预先训练好的肢体识别模型中得到动作识别结果；

根据所述表情识别结果和所述动作识别结果确定第二用户意图；及

通过设置所述第一用户意图的权重和所述第二用户意图的权重来确定用户的目标意图。

2.如权利要求1所述的基于视频图像识别用户意图的方法，其特征在于，所述方法还包括：

获取多个意图类别对应的多个意图文本；

提取所述意图文本的第二文本向量；

将所述第二文本向量编码为第二编码特征；

根据同一个意图类别对应的多个第二编码特征计算得到第一离散度矩阵；

根据多个意图类别对应的多个第二编码特征计算得到第二离散度矩阵；

基于所述第一离散度矩阵和所述第二离散度矩阵构建目标矩阵；

计算所述目标矩阵的多个特征值；及

根据所述目标矩阵及所述多个特征值计算所述目标空间。

3.如权利要求1所述的基于视频图像识别用户意图的方法，其特征在于，所述根据所述多个特征度量值对应的意图类别计算得到第一用户意图包括：

从所述多个特征度量值中筛选大于预设度量阈值的多个目标特征度量值；

确定所述多个目标特征度量值对应的目标意图类别；

计算同一个目标意图类别对应的目标特征度量值的个数；

确定最大个数对应的目标意图类别为所述第一用户意图。

4.如权利要求1所述的基于视频图像识别用户意图的方法，其特征在于，根据所述表情识别结果和所述动作识别结果确定第二用户意图包括：

将获取的表情识别结果与表情与意图关系对照表中的表情信息进行匹配，以确定与所述获取的表情识别结果相对应的意图信息；

将获取的动作识别结果与肢体动作与意图关系对照表中的动作信息进行匹配，以确定与所述获取的动作识别结果相对应的意图信息；

根据所述获取的表情识别结果相对应的意图信息和所述获取的动作识别结果相对应的意图信息作为所述第二用户意图。

5.如权利要求4所述的基于视频图像识别用户意图的方法，其特征在于，根据所述第一用户意图和所述第二用户意图确定用户的目标意图包括：

若所述视频图像中没有对话文本，确定所述用户的目标意图为所述第二用户意图；或者

若所述视频图像中没有表情特征和肢体特征，确定所述用户的目标意图为所述第一用户意图。

6.如权利要求5所述的基于视频图像识别用户意图的方法，其特征在于，所述方法还包括：

从意图标签知识库中查询与所述目标意图对应的多个话术；

按照预设的优先级拼接所述多个话术得到目标话术；

根据所述目标话术进行下一轮的对话。