[发明专利]一种基于多模态词向量的生成式对话系统编码方法及编码器

权利要求书

1.一种基于多模态词向量的生成式对话系统编码方法，其步骤包括：

1)根据当前语料与单词的上下文语境训练多模态词向量，其中每个单词生成多个词向量，每个词向量分别对应单词不同方面的意思；使用multimodal词向量模型对当前语料进行训练多模态词向量，构建词向量矩阵；语料中每一单词训练得到k个词向量；

2)使用双向LSTM神经网络与步骤1)得到的词向量对问句进行编码，然后将每个单词对应的前向神经网络的隐层状态与后向神经网络的隐层状态进行拼接作为该单词的上下文表示；

3)将该单词的上下文表示与该单词的每一词向量分别计算相关度得分，取得分最高的词向量作为该单词的词向量；

4)使用LSTM与该问句的各单词词向量对该问句进行编码，将该问句编码为其对应解空间的均值与方差，得到该问句的一组正态分布形式；

5)对步骤4)得到的该问句的一组正态分布形式进行随机采样得到该问句的编码。

2.如权利要求1所述的方法，其特征在于，步骤2)中，首先使用双向LSTM对问句进行编码，然后将前向和后向神经网络的每一步进行拼接得到问句中每个单词的下文表示，然后利用注意力机制对每个单词的上下文表示进行挑选，得到与单词的上下文相关的词向量。

3.如权利要求2所述的方法，其特征在于，利用注意力机制对每个单词的上下文表示进行挑选的方法为：

21)计算每一个单词的上下文表示；

22)使用全连接神经网络计算单词的上下文表示与对应单词每个词向量的相关度；

23)选出相关度最大的词向量作为单词的词向量。

4.一种基于多模态词向量的生成式对话系统编码器，其特征在于，包括多模态词向量训练模块、单词的上下文表示生成模块、单词的词向量表示选取模块和编码模块；其中，

多模态词向量训练模块，用于根据当前语料与单词的上下文语境训练多模态词向量，其中每个单词生成多个词向量，每个词向量分别对应单词不同方面的意思；其中使用multimodal词向量模型对当前语料进行训练多模态词向量，构建词向量矩阵；语料中每一单词训练得到k个词向量；

单词的上下文表示生成模块，用于使用双向LSTM神经网络与词向量对问句进行编码，然后将每个单词对应的前向神经网络的隐层状态与后向神经网络的隐层状态进行拼接作为该单词的上下文表示；

单词的词向量表示选取模块，用于将该单词的上下文表示与该单词的每一词向量分别计算相关度得分，取得分最高的词向量作为该单词的词向量；

编码模块，用于使用LSTM与该问句的各单词词向量对该问句进行编码，将问句表示为其对应解空间的均值和方程的形式，从而得到问句的一组正态分布形式；然后对得到的该问句的一组正态分布形式进行随机采样得到该问句的编码。

5.如权利要求4所述的编码器，其特征在于，首先使用双向LSTM对问句进行编码，然后将前向和后向神经网络的每一步进行拼接得到问句中每个单词的上下文表示，然后利用注意力机制对每个单词的上下文表示进行挑选，得到与单词的上下文相关的词向量。