[发明专利]基于视频图像识别用户意图的方法及相关设备

说明书

本发明涉及人工智能技术领域，提供一种基于视频图像识别用户意图的方法及相关设备，所述方法包括：提取用户的视频图像中的对话文本和用户的图像，以及提取所述用户图像中预设位置对应的表情特征和肢体特征；提取所述对话文本的第一文本向量，并将所述第一文本向量编码为第一编码特征，将所述第一编码特征映射到目标空间得到第一特征点；使用计算模型计算所述第一特征点与所述目标空间中的多个第二特征点之间的多个特征度量值，并根据所述多个特征度量值对应的意图类别计算得到第一用户意图；将所述表情特征和肢体特征确定第二用户意图；及根据所述第一用户意图和所述第二用户意图确定用户的目标意图。通过本发明可以提供更加优质准确的服务。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于视频图像识别用户意图的方法及相关设备。

背景技术

目前，对于国内的各大银行机构，银行业务办理大厅都设有人工询问业务办理的窗口和数量不一的业务办理窗口。在业务办理高峰期的时候，常常容易出现排号过多，造成大量业务咨询或者办理人员排队等候的局面。由此出现了咨询人员通过智能语音终端执行银行业务操作。然而，在一些环境不太好的场景(例如噪音太大)下，所述智能语音终端识别咨询人员的意图的识别率较低。从而出现需要多次识别的现象，严重影响了客户体验和办公效率，不利于满意度分析。

发明内容

鉴于以上内容，有必要提出一种基于视频图像识别用户意图的方法及相关设备，可以解决以上问题。

本发明的第一方面提供一种基于视频图像识别用户意图的方法，所述方法包括：

提取用户的视频图像中的对话文本和用户的图像，以及提取所述用户图像中预设位置对应的表情特征和肢体特征；

提取所述对话文本的第一文本向量，并将所述第一文本向量编码为第一编码特征，将所述第一编码特征映射到目标空间得到第一特征点；

使用计算模型计算所述第一特征点与所述目标空间中的多个第二特征点之间的多个特征度量值，并根据所述多个特征度量值对应的意图类别计算得到第一用户意图；

将所述表情特征输入至预先训练好的表情识别模型中得到表情识别结果，将所述肢体特征输入至预先训练好的肢体识别模型中得到动作识别结果；

根据所述表情识别结果和所述动作识别结果确定第二用户意图；及

根据所述第一用户意图和所述第二用户意图确定用户的目标意图。

根据本申请一些实施方式，所述方法还包括：

获取多个意图类别对应的多个意图文本；

提取所述意图文本的第二文本向量；

将所述第二文本向量编码为第二编码特征；

根据同一个意图类别对应的多个第二编码特征计算得到第一离散度矩阵；

根据多个意图类别对应的多个第二编码特征计算得到第二离散度矩阵；

基于所述第一离散度矩阵和所述第二离散度矩阵构建目标矩阵；

计算所述目标矩阵的多个特征值；

根据所述目标矩阵及所述多个特征值计算所述目标空间。

根据本申请一些实施方式，所述根据所述多个特征度量值对应的意图类别计算得到第一用户意图包括：

从所述多个特征度量值中筛选大于预设度量阈值的多个目标特征度量值；

确定所述多个目标特征度量值对应的目标意图类别；

计算同一个目标意图类别对应的目标特征度量值的个数；

确定最大个数对应的目标意图类别为所述第一用户意图。