[发明专利]对话方法以及装置

说明书

本说明书实施例提供对话方法以及装置，其中所述对话方法包括：获取用户的对话信息的语言特征向量；获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量；将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量；基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

技术领域

本说明书实施例涉及智能技术领域，特别涉及一种对话方法。本说明书一个或者多个实施例同时涉及一种对话装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

在一些对话产品中，给定用户的对话历史和当前提问，从答案候选集中选出正确的答案给予回复，是比较常见的对话任务。目前，基本是在语言模型上简单地进行分类计算，选择回复。

但是，由于人们在问问题时，关注的重点不同，导致分类选择的回复不一定准确。

发明内容

有鉴于此，本说明书实施例提供了一种对话方法。本说明书一个或者多个实施例同时涉及一种对话装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种对话方法，包括：获取用户的对话信息的语言特征向量；获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量；将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量；基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

可选地，所述基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复，包括：获取用户的历史对话信息的语言特征向量；基于所述历史对话信息的语言特征向量以及所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

可选地，所述候选回复的计算，包括：将参与候选回复计算的特征向量经过全连接运算，得到各个维度的联合特征；将所述各个维度的联合特征输入基于似然值打分的解码器，得到打分满足要求的候选回复。

可选地，所述将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，包括：将所述语言特征向量与所述图像特征向量进行点乘，得到相似向量；将所述相似向量全连接层，得到各个维度的权重系数；利用所述权重系数与所述语言特征向量进行加权求和，得到所述融合特征向量中的语言特征向量；利用所述权重系数与所述图像特征向量进行加权求和，得到所述融合特征向量中的图像特征向量。

可选地，还包括：通过对话界面接收用户输入的当前轮对话信息；通过所述对话界面显示的图像确定所述当前轮对话信息对应的图像。

可选地，还包括：如果所述当前轮对话信息对应的图像为多张图像，将所述多张图像拼接为一张图像。

根据本说明书实施例的第二方面，提供了一种对话装置，包括：语言特征获取模块，被配置为获取用户的对话信息的语言特征向量。图像特征获取模块，被配置为获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量。注意力模块，被配置为将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量。回复计算模块，被配置为基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：获取用户的对话信息的语言特征向量；获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量；将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量；基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。