[发明专利]一种结合图像的意图识别方法及装置、终端设备

说明书

本发明公开了一种结合图像的意图识别方法及装置、终端设备，涉及意图识别领域，该结合图像的意图识别方法包括以下步骤：获取待识别图像；从所述待识别图像中提取出所有的待识别图像元素；从不同类别的图像元素库中匹配所有所述待识别图像元素对应的关键特征信息；通过预设权重模型对所述关键特征信息和各所述待识别图像元素进行分析，识别出所述待识别图像所对应的意图。本发明可直接通过图像进行意图的识别，无需用户采用过多的语言描述，简化了用户的操作过程，提高用户的使用体验。

技术领域

本发明涉及意图识别领域，尤其涉及一种结合图像的意图识别方法及装置、终端设备。

背景技术

现在有很多适合中小学生学习使用的终端设备，例如：家教机，其上可存储有小学、初中、高中部分语文、数学、英语等科目的辅导资料，例如：同步的视频以及教辅、练习资料。

低年级小学生的作业会涉及到很多图片形式的题目，例如：看图写字、看图写话等。低年级小学生想使用语音描述的方式在终端设备上搜索相关题目时，因其无法准确用语言描述题目的内容，使终端设备在对其的语料进行语义解析时出现偏差，无法给出准确的意图(或者说结果)，使终端设备的使用受到限制。

发明内容

本发明的目的是提供一种结合图像的意图识别方法及装置、终端设备，可仅通过图像进行意图的识别，无需语音描述，扩大了使用范围，且操作简单、方便。

本发明提供的技术方案如下：

一种结合图像的意图识别方法，包括以下步骤：获取待识别图像；从所述待识别图像中提取出所有的待识别图像元素；从不同类别的图像元素库中匹配所有所述待识别图像元素对应的关键特征信息；通过预设权重模型对所述关键特征信息和各所述待识别图像元素进行分析，识别出所述待识别图像所对应的意图。

在上述技术方案中，终端设备可直接通过图像进行意图的识别，无需用户采用过多的语言描述，简化了用户的操作过程，提高用户的使用体验。另外，在意图识别时，采用关键特征信息和预设权重模型的双重分析，使识别出来的意图精准度更高。

进一步，还包括：收集多种图像题目；提取出各图像题目中的图像元素；根据各图像题目中的所述图像元素，分类创建多个不同类别的图像元素库；其中，一个所述图像元素库中包括相同类别的多个不同的图像元素和其对应的关键特征信息。

在上述技术方案中，不同类别的图像元素库的创建为后续意图的识别打下基础。

进一步，还包括：将各图像元素进行组合，得到不同的组合图像并标记其对应的意图；采用不同的组合图像中的各图像元素、各图像元素对应的关键特征信息和不同的组合图像对应的意图进行模型训练，得到预设权重模型。

在上述技术方案中，通过不同的组合图像进行模型训练，提高训练出来的预设权重模型的识别精度。

进一步，所述的获取待识别图像包括：当接收到语音触发指令时，记录接收到所述语音触发指令的时间点；根据所述时间从拍摄的学习影像中获取所述时间点用户的动作所对应的图像作为所述待识别图像。

在上述技术方案中，从拍摄的学习影像中根据时间点和用户的动作截取待识别图像，准确度更，无需用户过多的操作，提高用户的使用体验。

进一步，还包括：根据所述待识别图像所对应的意图搜索对应的答案并展示。

在上述技术方案中，将答案一并展示出来，无需用户再次询问答案，简化了用户的操作过程，提高用户的使用体验。

本发明还提供一种结合图像的意图识别装置，包括：获取模块，用于获取待识别图像；提取模块，用于从所述待识别图像中提取出所有的待识别图像元素；匹配模块，用于从不同类别的图像元素库中匹配所有所述待识别图像元素对应的关键特征信息；识别模块，用于通过预设权重模型对所述关键特征信息和各所述待识别图像元素进行分析，识别出所述待识别图像所对应的意图。