[发明专利]对话内容的处理方法、装置及相关设备

权利要求书

1.一种对话内容的处理方法，其特征在于，包括：

对第一对话内容进行检索得到由M个目标文本向量与N个目标图片向量组合得到的第一答案，其中，所述M个目标文本向量与所述第一对话内容中的文本对应，所述N个目标图片向量与所述第一对话内容中的图片对应；所述第一对话内容包括提问型内容；

基于图文编码模型对所述第一对话内容进行编码得到由L个文本编码向量与Y个图片编码向量组合得到的第二答案；其中，所述L个文本编码向量由所述第一对话内容中的文本编码得到，所述Y个图片编码向量由所述第一对话内容中的图片编码得到；

将所述第一对话内容、所述第一答案和所述第二答案输入目标网络模型，输出与所述第一对话内容匹配的目标答案，其中，所述目标答案为所述第一答案和所述第二答案中的答案，M、N、L、Y均为正整数。

2.根据权利要求1所述的方法，其特征在于，所述对第一对话内容进行检索得到由M个目标文本向量与N个目标图片向量组合得到的第一答案，包括：

从所述第一对话内容中识别M个文本向量和N个图片向量；

确定所述M个文本向量对应的第一业务类型，并确定所述N个图片向量对应的第二业务类型；

根据所述第一业务类型与第一映射关系确定第一索引，并根据所述第二业务类型与第二映射关系确定第二索引，其中，所述第一映射关系用于指示文本向量的业务类型与索引之间的关系，所述第二映射关系用于指示图片向量的业务类型与索引之间的关系；

根据所述第一索引从文本向量库中确定M个目标文本向量，并根据所述第二索引从图片向量库中确定N个目标图片向量，其中，所述文本向量与每一个所述目标文本向量的相似度低于第一阈值，所述图片向量与每一个所述目标图片向量的相似度低于第二阈值；

基于所述M个目标文本向量与所述N个目标图片向量的组合得到所述第一答案。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一对话内容进行编码得到由L个文本编码向量与Y个图片编码向量组合得到的第二答案，包括：

对所述第一对话内容中的文本进行编码得到所述L个文本编码向量；

对所述第一对话内容中的图片进行编码得到所述Y个图片编码向量；

对所述L个文本编码向量和所述Y个图片编码向量进行融合得到所述第二答案。

4.根据权利要求1所述的方法，其特征在于，在对第一对话内容进行检索得到由M个目标文本向量与N个目标图片向量组合得到的第一答案之前，所述方法还包括：

获取历史问答内容，其中，所述历史问答内容包括提问型内容；

将所述历史问答内容划分为文本内容和图片；

确定所述文本内容和所述图片的业务类型；

根据所述业务类型将所述文本内容存储在对应的文本知识库中，以及将所述图片存储在对应的图片知识库中。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述文本知识库中的文本内容生成为对应的文本向量，以及将所述图片知识库中的图片生成对应的图片向量；

创建所述文本向量的索引，以及创建所述图片向量的索引；

将创建索引后的文本向量存储入文本向量库，并将创建索引后的图片向量存储入图片向量库。

6.根据权利要求5所述的方法，其特征在于，在所述将所述第一对话内容、所述第一答案和所述第二答案输入目标网络模型，输出与所述第一对话内容匹配的目标答案之前，所述方法包括：

对所述文本向量库和所述图片向量库中的应答内容对应的答案进行编码得到标识符，其中，所述标识符用于指示所述答案的答案类型，所述答案类型包括基于编码向量得到的答案和基于向量得到的答案；

通过目标训练集对初始网络模型进行训练得到所述目标网络模型，其中，所述目标训练集包括所述文本向量库中的文本、所述图片向量库中的图片和所述标识符。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述第一对话内容、所述第一答案和所述第二答案输入目标网络模型，输出与所述目标答案对应的标识符。