[发明专利]一种结合语音的意图识别方法及装置

说明书

本发明属于意图识别领域，公开了一种结合语音的意图识别方法及装置，其方法包括：在触摸屏上显示文本信息；接收用户在所述触摸屏上的唤醒信号；当唤醒信号满足唤醒条件时，开启拾音功能和截图功能；接收用户输入的语音信息；截取用户在触摸屏上选取的文字的图片信息；根据语音信息和所述图片信息，识别用户的意图。本发明设置唤醒条件，可防止在不需要使用意图识别功能时，出现误触发意图识别功能的情况，提高用户的使用体验；本发明结合语音和图片来识别用户的意图，相比于现有技术中的单纯屏幕交互，能够更加精确的识别出用户的意图，减少用户的信息查找，并且不会因为过大信息量而分散用户的注意力。

技术领域

本发明属于意图识别技术领域，特别涉及一种结合语音的意图识别方法及装置。

背景技术

随着智能终端及网络技术的迅速发展，人们越来越习惯地使用智能终端完成各种需求，如在学习的过程中，碰到不理解的知识点、不会解的习题时，通过家教机等智能终端来完成学习辅导。

目前，在人机交互场景中，随着智能语音技术的成熟而慢慢不局限于已有的屏幕交互方式，但是屏幕交互和语音交互还是相对独立的去解决用户的某些问题，屏幕交互方式能够承载更大的信息量，而语音交互方式能够更精准的识别出用户的实际意图，以儿童类学习平板为例，儿童在使用学习平板学习过程中遇到难题或看不懂的字时，若使用纯屏幕交互解决方案则是点击屏幕后会有多种让用户选择的选项，而无法精准的识别出用户的实际意图，这种解决方案会影响用户的学习效率，并容易使用户被其他无关信息所打扰，不利于儿童的学习。

发明内容

本发明的目的是提供一种结合语音的意图识别方法及装置，能够精确的识别出用户的意图，减少用户的信息查找，避免因过大信息量而分散用户的注意力。

本发明提供的技术方案如下：

一方面，提供一种结合语音的意图识别方法，包括：

在触摸屏上显示文本信息；

接收用户在所述触摸屏上的唤醒信号；

当所述唤醒信号满足唤醒条件时，开启拾音功能和截图功能；

接收用户输入的语音信息；

截取用户在所述触摸屏上选取的文字的图片信息；

根据所述语音信息和所述图片信息，识别所述用户的意图。

进一步优选地，所述根据所述语音信息和所述图片信息，识别所述用户的意图具体包括：

将所述语音信息转换为第一文本；

识别所述图片信息中的文字，并转换为第二文本；

从预设的文本库中查找与所述第一文本匹配的目标文本；

根据所述目标文本预先标注的替换词，确定所述第一文本中的替换词；

将所述第一文本中的替换词替换为所述第二文本；

根据替换后的所述第一文本，识别所述用户的意图。

进一步优选地，还包括：

根据所述用户的意图在预设题库中搜索对应的答案并展示。

进一步优选地，所述截取用户在所述触摸屏上选取的文字的图片信息具体包括：

接收用户在所述触摸屏上的触摸信号；

当所述触摸信号为连续触摸信号，且所述触摸信号的起点和终点不在同一水平线上时，以所述触摸信号的起点和终点构成的直线为对角线构建矩形框；

截取所述矩形框内的文字的图片信息。

进一步优选地，还包括：