[发明专利]一种自动问答方法和系统

说明书

本发明公开了一种自动问答方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：对接收到的图像信息进行图像识别，根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果；根据应用场景和所述图像理解结果，从预先训练的图像编码模型中选择一个子模型；将所述图像信息输入到所述子模型中进行编码，以输出编码结果以用户进行答复。该实施方式通过在自动问答中增加对图像信息的理解和编解码处理，提升了自动问答的理解能力和应答能力，并增加了答复内容的多样性和流畅性。

技术领域

本发明涉及计算机领域，尤其涉及一种自动问答方法和系统。

背景技术

随着自然语言处理技术的发展，自动问答系统受到了极大的关注。一个优质的自动问答系统可以解决用户常见的问题，降低人工开销。基于自动问答技术实现的聊天机器人在智能客服、在线导购、订餐、订机票、手机充值等领域已经获得了广泛的应用。现有的自动问答技术主要包括：自动语音识别、文本转语音、问答语料库、知识库构建、意图识别、问答匹配、槽填充、规则树等技术。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的自动问答系统仅能够实现文本信息的交互，问题和答案的呈现模式都是文本信息，无法理解图像信息，也无法处理图像信息，缺乏与用户进行图像信息交互的能力，影响用户的全局体验。

发明内容

有鉴于此，本发明实施例提供一种自动问答方法和系统，通过在自动问答中增加对图像信息的理解和编解码处理，提升了自动问答的理解能力和应答能力，并增加了答复内容的多样性和流畅性。

实现上述目的，根据本发明实施例的一个方面，提供了一种自动问答方法。

本发明实施例的一种自动问答方法，包括：对接收到的图像信息进行图像识别，根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果；根据应用场景和所述图像理解结果，从预先训练的图像编码模型中选择一个子模型；将所述图像信息输入到所述子模型中进行编码，以输出编码结果对用户进行答复。

可选地，所述对接收到的图像信息进行图像识别，根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果，包括：通过文字识别技术提取所述图像信息中的文字信息；通过图像分类技术对所述图像信息进行分类，以得到分类信息；通过预先训练的图文转换模型将所述图像信息转换为文本描述信息；根据所述文字信息、分类信息和文本描述信息对所述图像信息进行图像理解，以得到图像理解结果。

可选地，所述图像编码模型包括图像到图像模型和图像到文本模型，所述图像到图像模型和所述图像到文本模型均包括至少一个子模型；所述将所述图像信息输入到所述子模型中进行编码，包括：将所述图像信息输入到选择出的所述图像到图像模型的子模型或者所述图像到文本模型的子模型中进行编码处理，以得到对应的目标图像信息或者文本序列信息。

可选地，所述图像编码模型为端到端的模型，所述图像到图像模型为对抗神经网络模型或者变分自动编码器神经网络模型，所述图像到文本模型为卷积神经网络-时间递归神经网络模型。

可选地，所述对接收到的图像信息进行图像识别的步骤之前，还包括：通过预先训练的表情识别模型对所述图像信息进行表情识别，以得到表情识别结果；所述根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果的步骤之后，以及所述对用户进行答复的步骤之前，还包括：当识别出有效表情类型时，根据所述表情识别结果查找预先配置的规则树，以获取对应的规则节点；根据所述规则节点生成答复信息，输出所述答复信息。

可选地，所述根据所述规则节点生成答复信息，包括：根据所述规则节点从语料库中获取对应的回复信息，和/或从模板图像库中选择相应的模板图像信息；将所述回复信息或者所述模板图像信息或者所述回复信息和所述模板图像信息组合成的新图像信息作为所述答复信息。

为实现上述目的，根据本发明实施例的一个方面，提供了一种自动问答系统。