[发明专利]对话方法以及装置

权利要求书

1.一种对话方法，包括：

获取用户的对话信息的语言特征向量；

获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量；

将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量；

基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

2.根据权利要求1所述的方法，所述基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复，包括：

获取用户的历史对话信息的语言特征向量；

基于所述历史对话信息的语言特征向量以及所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

3.根据权利要求1或2所述的方法，所述候选回复的计算，包括：

将参与候选回复计算的特征向量经过全连接运算，得到各个维度的联合特征；

将所述各个维度的联合特征输入基于似然值打分的解码器，得到打分满足要求的候选回复。

4.根据权利要求1所述的方法，所述将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，包括：

将所述语言特征向量与所述图像特征向量进行点乘，得到相似向量；

将所述相似向量全连接层，得到各个维度的权重系数；

利用所述权重系数与所述语言特征向量进行加权求和，得到所述融合特征向量中的语言特征向量；

利用所述权重系数与所述图像特征向量进行加权求和，得到所述融合特征向量中的图像特征向量。

5.根据权利要求1所述的方法，还包括：

通过对话界面接收用户输入的当前轮对话信息；

通过所述对话界面显示的图像确定所述当前轮对话信息对应的图像。

6.根据权利要求5所述的方法，还包括：

如果所述当前轮对话信息对应的图像为多张图像，将所述多张图像拼接为一张图像。

7.一种对话装置，包括：

语言特征获取模块，被配置为获取用户的对话信息的语言特征向量；

图像特征获取模块，被配置为获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量；

注意力模块，被配置为将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量；

回复计算模块，被配置为基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

8.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

获取用户的对话信息的语言特征向量；

获取所述对话信息对应的图像的图像特征向量，所述图像特征向量是图像的若干个提议区域的特征向量在空间维度上的合并向量；

将所述语言特征向量与所述图像特征向量基于注意力机制进行特征融合，得到融合特征向量；

基于所述融合特征向量进行候选回复的计算，得到满足要求的候选回复。

9.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至6任意一项所述对话方法的步骤。