[发明专利]一种自动问答方法和系统

权利要求书

1.一种自动问答方法，其特征在于，包括：

对接收到的图像信息进行图像识别，根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果；

根据应用场景和所述图像理解结果，从预先训练的图像编码模型中选择一个子模型；

将所述图像信息输入到所述子模型中进行编码，以输出编码结果对用户进行答复。

2.根据权利要求1所述的方法，其特征在于，所述对接收到的图像信息进行图像识别，根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果，包括：

通过文字识别技术提取所述图像信息中的文字信息；

通过图像分类技术对所述图像信息进行分类，以得到分类信息；

通过预先训练的图文转换模型将所述图像信息转换为文本描述信息；

根据所述文字信息、分类信息和文本描述信息对所述图像信息进行图像理解，以得到图像理解结果。

3.根据权利要求1或2所述的方法，所述图像编码模型包括图像到图像模型和图像到文本模型，所述图像到图像模型和所述图像到文本模型均包括至少一个子模型；

所述将所述图像信息输入到所述子模型中进行编码，包括：将所述图像信息输入到选择出的所述图像到图像模型的子模型或者所述图像到文本模型的子模型中进行编码处理，以得到对应的目标图像信息或者文本序列信息。

4.根据权利要求3所述的方法，其特征在于，所述图像编码模型为端到端的模型，所述图像到图像模型为对抗神经网络模型或者变分自动编码器神经网络模型，所述图像到文本模型为卷积神经网络-时间递归神经网络模型。

5.根据权利要求1或2所述的方法，其特征在于，所述对接收到的图像信息进行图像识别的步骤之前，还包括：通过预先训练的表情识别模型对所述图像信息进行表情识别，以得到表情识别结果；

所述根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果的步骤之后，以及所述对用户进行答复的步骤之前，还包括：

当识别出有效表情类型时，根据所述表情识别结果查找预先配置的规则树，以获取对应的规则节点；

根据所述规则节点生成答复信息，输出所述答复信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述规则节点生成答复信息，包括：

根据所述规则节点从语料库中获取对应的回复信息，和/或从模板图像库中选择相应的模板图像信息；

将所述回复信息或者所述模板图像信息或者所述回复信息和所述模板图像信息组合成的新图像信息作为所述答复信息。

7.一种自动问答系统，其特征在于，包括：

识别理解模块，用于对接收到的图像信息进行图像识别，根据图像识别结果对所述图像信息进行图像理解，以得到图像理解结果；

选择模块，用于根据应用场景和所述图像理解结果，从预先训练的图像编码模型中选择一个子模型；

编码输出模块，用于将所述图像信息输入到所述子模型中进行编码，以输出编码结果对用户进行答复。

8.根据权利要求7所述的系统，其特征在于，所述识别理解模块，还用于：通过文字识别技术提取所述图像信息中的文字信息；

通过图像分类技术对所述图像信息进行分类，以得到分类信息；

通过预先训练的图文转换模型将所述图像信息转换为文本描述信息；以及

根据所述文字信息、分类信息和文本描述信息对所述图像信息进行图像理解，以得到图像理解结果。

9.根据权利要求7或8所述的系统，所述图像编码模型包括图像到图像模型和图像到文本模型，所述图像到图像模型和所述图像到文本模型均包括至少一个子模型；

所述编码输出模块，还用于：将所述图像信息输入到选择出的所述图像到图像模型的子模型或者所述图像到文本模型的子模型中进行编码处理，以得到对应的目标图像信息或者文本序列信息。